25-A05 ローカルAIの同時利用

ブログを書いたり、画像のアップスケールをしたりと、何かとよく使うAI。

さすがに一度に一つのことしかできない、というのは手間がかかってめんどくさい。

そこで複数のAIを同時に使えないか、試してみた。

もちろん使うのはローカルAIである。

（以下本文）

現在のこのマシンには RTX3070と RTX4070Tiの2台のGPUを搭載している。

2枚のGPUを搭載しているのであれば、同時に2つのことを行ってもいいのではないかと考えたのだ。

どの道コンシューマー向けの、出来合いのAIでは2つのGPUを1つのアプリが同時に使うことなどできないと考えたのだ。

また、RTX3070は片落ちと言えども。
軽いAIを回すには十分すぎる性能を持っている。

最近何を考えているのかは別問題として、ローカルAIで動画を生成する機会が増えたのは事実だ。

だが、RTX3070ではメモリもプロセッサも動画生成にはとてもじゃないが堪えられない。

そこで必然的に動画用にはRTX4070Tiを使うことになる。

そしてRTX4070Tiが動画生成を頑張っている間に、音声入力をRTX3070で処理することにより、手入力による手間を省けないか考えた。

その結果は、概ね満足のいくものだと考えている。

いろんな事情があって動画生成の画面については見せることができないが。

間違いなく重たい動画生成と、片手間でもできる音声入力の処理を別々のGPUに分けることは実際に可能だったし、やってよかったと思っている。

↑問題があるとすれば使いたいアプリをいちいちこの画面から設定しないといけないことだろうか。

使っていて気づいたのだが、このパソコンのメモリ容量の32GBは、さすがにそろそろ足りなくなってきているのかもしれない。

いろいろソフトを開いたりするから当然といえば当然なのだが。

そもそも4070Tiのメモリ12GBというのが足りていない。

そうなるともっとRAM容量の大きいグラフィックボードに乗り換える必要があるようにも思える。

だが4070Tiの2倍以上の演算能力を持ちながら、それなりの価格で手に入るグラフィックボードというのが現在存在していない。

さすがにあの5000番台の殿様商売っぷりは腹が立ってくるが…
それでも対応できるソフトの数などを考えると、どうしてもあの緑のグラボを使わないといけないのだ。

AIのデータセンターが原因でメモリもGPUも まともに供給されていないのが何よりの問題ではある。

根本的には90番台と80番台の性能差があまりにも大きすぎることと、
AIありきでの性能に全振りしてしまっていることが話をややこしくしているようにも思えるのだが。

多少愚痴ったところでそろそろ結論に移ろうか。

まず、マルチGPUという特殊な環境下であれば、複数のAIをローカルで同時に動かすことは一応は可能だ。

シングルGPUの通常の環境でどうなるかは残念ながら検証する余地がないのだが。

しかし、ローカルでAIを動かすにあたっては、やはりいくら機材に余裕があるかというのが問題になってくる。

私のようにAIブームが始まる前にパソコンを組み立てその中で伸ばせる範囲で伸ばしたがという人にはなかなか厳しいというのが正直なところだろう

私のように…AIブームが始まる前にパソコンを組み、その中で伸ばせる範囲で伸ばした…という人にはなかなか厳しい、というのが正直なところだろう。

かといって、これからローカルでAIをやりたい人がAI用のパソコンを組むには、とんでもないコストがかかってしまう。

残念ながら、AI向けPCを使うにあたって一番難しいのは今の時代なのかもしれない。

技術的には不可能ではないだけに。

（終…？）