ローカルLLMって、結局なんなの？
noteなどのブログ記事、ネット記事などでよく見かける「ローカルLLM」という言葉。これって人によって指しているものが全然違う印象がある。
バスワード化している。
ある人はOllamaで9Bモデル動かしてる話をしてるし、別の人はセキュアなクラウド専用インスタンスの話をしてる。僕みたいに自宅のPCでLLMを動かしてる場合もあれば、Raspberry Piで小さいモデルを動かしてる人もいる。全部「ローカル」で括られる。
これ、たぶん複数の軸が混ざってる。そこで僕なりに整理してみた。
軸を並べてみる
思いつく軸を並べるとこんな感じ。
推論がどこで走るか：クラウドか、手元か
記憶や人格がどこにあるか：サービス提供者のサーバか、自分の管理下か
判断ロジックが誰の管理下か：ブラックボックスか、自分で読めるか
落ちた時に誰に頼るか：プロバイダの復旧待ちか、自分で切り替えられるか
「ローカルLLM」という言葉の多くは、恐らく１の軸のことを言っているじゃないかな。でも実際に気にしてるのは、下の２～４も含めた全体なんじゃないかと思う。
たとえば僕のAICOS（AI基盤）は、対話部分のメインLLMはGemini APIを使ってる。つまり１の軸で言えば「ローカルじゃない」。でも記憶もペルソナも判断ロジックも全部手元にあるし、Geminiが落ちたら自宅のGemma4に切り替わる。これを「ローカルLLM基盤」って呼ぶのはなんか違ってて、でも「クラウドAI使ってます」でもない。
じゃあ何なの、というのが今回の話。
でも本当に問いたいのはこれ
上の4軸って、実は全部「どこにあるか」の話なんだよね。
でももうひとつ、次元の違う軸があると思ってて。
主権を誰が握ってるか。
これは「どこにあるか」じゃなくて「誰が決めるか」の話。他の軸と比べてメタな軸。「推論の場所を変える権限」「記憶を移す権限」「判断ロジックを書き換える権限」
これらを誰が持ってるかを問う軸。
自宅で動かしてても、モデルの選定やアップデートをサービス提供者に任せっぱなしなら、ユーザーの主権は薄い。逆にクラウドAPIを使ってても、いつ切り替えるか、何を渡すか、どう組み合わせるかを自分で決めてるなら、主権はユーザーにある。
僕がAICOSを「プライベートAI基盤」って呼んでるのは、実はこの主権を意識している。
みんな「コスト」って言うけど
ローカルLLMを触り始める理由、たいてい「API課金がキツい」とか「レート制限が」とか、コストの話で説明している。
でもコストが本当の理由なら、一番安いクラウドに乗り換えれば済むはず。FlashとかHaikuとか、GPUを用意するよりもずっと安い。
それでもユーザーが自宅にGPU積むのは、たぶんコストじゃない。
サービスが勝手にモデルをアップデートして応答の質感が変わった時。
ポリシー変更で今まで通ってた会話が拒否された時。
アカウント停止やレート制限で使えなくなった時。
料金体系が変わって、使い方を変えざるを得なくなった時。
こういう瞬間に感じるのは、コストの話に見えて、実は「自分の使い方を他人の都合で変更される」っていう主権侵害の感覚だと思う。だから人はローカルを考えてみる。
「なんとなく手元で動かしたい」「勉強になるから」って説明されがちだけど、根っこにあるのはたぶんこれ。自分のAIを、他人の判断で止められたくない。変えられたくない。
ちなみに
主権を握ると、次に起きることは「欲しいサービスがない時に、自分で足せる」ようになる。既存サービスの中では絶対にやれないことが、自分の環境ならできる。ただ、これはまた別の話。
とりあえず、「ローカルLLM」って言葉を使うとき、自分がどの軸の話をしてるか、ちょっと意識してみると見通しがよくなるかもしれない。
たぶん本当に議論したいのは、「ローカルかクラウドか」じゃなくて、「主権をどこに置くか」なんだと思う。
