格安GPUでAIキャラと会話できる — RTX 3050 6GBローカルで実現

高価なGPUを使えば、何でもスムーズにできますが、誰もが高いGPUを保有できるわけではありません。格安GPUで動くものは、誰もが試しやすいというメリットがあります。

スクリプト自体は、先日、Githubでオープンソースで公開した「Recdoor Lite」を少し改良してチャット型にしたものです。

APIを使うと余計なコストとプライバシー懸念があるので、ローカルPCで実現することに意味があります。先ずは、補助電源なしで３万円で買えるGPUである3050 6GBでテストします。

AIキャラクターとチャット

現在のChatGPTなどは、キャラクター性を持ち合わせたものではありません。そこで、AIにキャラクター性をもたせる実験を行っています。

補助電源なしRTX 3050 6GB

RTX3050 6GBは、補助電源なしで作動するGPUです。タワー型PCであれば、専門知識がなくても、差し込むだけで気軽に導入することができるGPUになっています。だから、汎用性が高いこのGPUで動かします。

実装で必要になるソフト

必要となるソフトは、主に３つです。

私が自分で動作させることは成功していますが、フリーソフトで配布できない理由は、これらの依存関係の設定がやや面倒で、１つのスクリプトを配布したところで、すぐに動かすことができないからです。

いずれも、ローカルで動かすフリーソフトを利用します。

RTX 3050 6GBの限界点

格安GPUであれば、限界点も見えてきます。まず、高度なモデルは動かないので、Qwen7bぐらいが限界になります。14bを動かそうとすると、応答が遅くなって、スムーズにチャットしません。

• 7bだと中国語/英語が混ざることがある（システムで抑制）

• 14bは6GBに収まらず遅すぎて実用外

• AivisSpeech CPU合成は遅い（約4秒/発話）が成立

Recdoor Liteを改良

このスクリプト自体は、気軽に動くように設計・公開した「Recdoor Project」のRecdoor Liteスクリプトを改良したものです。

Recdoor Liteを是非試してみてください。