ローカルLLM運用に心折れた投稿から見える、境界線の引き方

Mac Studio M1 Ultra 128GBを手放す、という投稿がr/LocalLLaMAで話題になっていました。半年ほどClaude Codeでコーディングを任せてきた身として、他人事とは思えない内容でした。読んで最初に浮かんだのは「境界線の引き方を間違えると、どんなに強いハードでも消耗する」ということです。この記事では、その投稿の要点と、私が自分のマルチエージェント構成で通ってきた同じ壁について書きます。

背景:なぜこの投稿が気になったか

私はここ最近、Claude Codeを使ってバイブコーディングの記事をnoteで書き続けています。その過程でexplorer・implementer・tester・reviewer・advisorという役割分担のパイプラインを組み、モデルごとに得意不得意があることを何度も痛感してきました。だからこそ、同じ壁にぶつかって機材を手放した人の投稿は、遠い国の話に見えませんでした。

投稿の要点:120kトークンで崩れたカンバン運用

元の投稿はこちらです(r/LocalLLaMA)。

投稿主は、frontierモデルの代わりにローカルモデルでコーディングタスクの9割を置き換えられると期待して128GBのMac Studioを購入したそうです。opencode、openhands、hermesなど複数のハーネスを試し、最終的にはkanban形式でplanner・executor・reviewerの役割をモデルごとに分担する構成にたどり着きました。

しかし、文脈の深さが10万〜12万トークンに達すると、Qwen 27Bクラスのモデルはコンテキストを見失い、指示されていないディレクトリを探し回ったり、同じエラーを繰り返したりする状態に陥ったといいます。あるタスクでは300回以上リトライを重ねても収束しなかったとのことでした。コメント欄では「スキル不足」という指摘が多数寄せられましたが、投稿主自身もそれを否定せず、それでも「一晩かけて何も生成できなかった」ことが引き金になったと述べています。

自分の環境で試したら、もっと手前で詰まった

投稿を読んで気になり、手元のWindows機でも同じ土俵に乗せてみました。スペックは実装RAM32.0GB、プロセッサは11th Gen Intel Core i7-1185G7（定格3.00GHz、実クロックは1.80GHz駆動）です。Ollamaでローカルサーバーを立て、120B級のモデルにチャットで一問投げただけで、返答が返ってくるまで数十秒かかりました。

エージェントループを何百回も回す以前に、単発のチャット一往復の時点で実用速度に届いていません。32GBのRAMで120Bクラスのモデルを動かせば、パラメータの大部分がディスクへのスワップ経由でロードされていた可能性が高いです（実測はしていないため未検証です）。投稿主はMac Studioの統合メモリという恵まれた土俵の上で、それでもエージェント運用の限界にぶつかっていました。一方こちらの環境では、そもそも土俵に上がる段階で詰まっています。ローカルLLMの現実的なハードルは、思っている以上に手前にあると実感しました。

詰まった点:モデルの問題か、ハンドオフ設計の問題か

この投稿で一番刺さったのは、投稿主が途中で「モデルだけの責任ではなく、ハーネスがタスクの引き継ぎを扱う設計そのものに問題がある」と気づいている点です。次のタスクに前工程の文脈が正しく渡っていない、という指摘は、私が自分のパイプラインを組んでいたときに最も苦労した部分と一致します。

私の場合、この問題に対してPreToolUseフックによるコミット前チェックと、セッションをまたいで知見を蓄積する「instincts」の仕組みを`~/.claude/instincts/`に置くことで対処しました。モデルの性能を上げる前に、引き継ぎの粒度を設計し直すほうが効果が大きい、というのが半年運用してきた実感です。投稿主のケースでも、モデル自体よりもカンバンのハンドオフ設計が破綻の主因だった可能性が高いと見ています。

筆者の見立て:ローカルLLMは「置き換え」ではなく「役割分担」の道具

コメント欄では、要約や分類のような一発勝負のタスクではローカルモデルが十分機能する、という意見が複数出ていました。投稿主自身も、構造化されたエージェント作業でこそ限界を感じたと明言しています。これは私の感覚とも一致します。

frontierモデルをローカルモデルの完全な代替として扱おうとすると、コンテキストが伸びるほど破綻しやすくなります。逆に、計画立案はfrontierに任せ、定型的な実装や検証をローカルに振るという役割分担であれば、コストと精度のバランスは取りやすいはずです。投稿主が最後に「3090はまだ手元にある、必要になればまた使う」と書いていたのも、完全撤退ではなく境界線の引き直しだと読めます。

ローカルLLM運用を検討している人に伝えたいのは、ハードウェアへの投資よりも先に、タスクをどこで区切ってモデルに渡すかを設計する方が優先度が高い、ということです。128GBのメモリがあっても、引き継ぎ設計が甘ければ同じ結末をたどります。