ハーネスを見直す

第28回で、私が使っている Claude Code の開発体制「ハーネス」について書きました。

その最後に「連休中に見直してみようかと。モデルのエフォートを下げてみるとか。」と書きました。
そして9/23に着手しました。

ただ、想定していなかったOpus5.5のリリースがありました。
今回は、前回までのハーネスの仕組みから何を変えたのかの話です。

前回までの形

おさらいで、以下がこれまでのハーネスの形です。
私が話す相手はチーフだけ。
チーフが依頼の重さを軽・通常・重に分けて、必要ならサブAgentに回します。

前回の時点のメンバーはこうでした。

• チーフ：Fable 5.1（エフォート high）

• 設計Agent：Opus 5（high）

• 実装Agent・テストAgent：Opus 5（medium）

• 進捗Agent：Sonnet 5（low）

チーフだけ一番上のモデルにして、手を動かす側は一段下のモデルで回す考え方です。
エフォートは、ざっくり言うと「1回ごとにどれだけ考えるか」のつまみです。

まずはエフォートを下げた

前回の記事を書いた週は、週間制限ギリギリまで使っていました。
何に使っているのか、Claude Code に1か月分の使用量を集計してもらいました。

結果は、8割以上がチーフ。
サブAgentは全部合わせても1割ちょっと。
ここ最近の開発はベースを作り終わった後の調整が中心だったのもあったが、
事前の設計段階の壁打ちを結局チーフとやり取りして、方針が決まったあとサブAgentに回しているので、
トークン消費の大半はチーフだったというオチ。
Fableばかり使っていたらそりゃ減ります。

手を付けるならチーフ。
9/22、チーフのエフォートを high から medium に下げました。
モデルは Fable 5.1 のまま。

モデルとエフォートを同時に変えると効果測定ができない。
ということでエフォートだけをまず落として、効果は2週間ほど使ってから、
来週末くらいに同じ集計をして比べる予定、にしていました。

そこに Opus 5.5 が出た

その夜、Opus 5.5 が出ました。

Fable 5.1 並みの頭で、値段は Fable 5.1 の4割。

まずサブAgent（設計・実装・テスト）を Opus 5 から Opus 5.5 に上げました。
設計Agentのエフォートは high から medium に。
公式が「5.5 の medium は 5 の high と同じくらい」と言っているので。

チーフは、エフォートを下げたばかりなので来週末まで Fable 5.1 のまま、
と決めたのに、あっさり前言撤回してチーフも Opus 5.5 にすることにしました。

理由は、チーフの使用割合が大きかったから。
Opusまで落とすことでどの程度のトークン節約になるのか、はっきりと確認してみたいという興味もあって。
もし1/4まで減るのであれば、Max5xプランに下げても問題ないということが証明されるから。

それにもう一つの理由が。
本当に私の使うレベルの仕事でFableが必要なのかという純粋な疑問。
Fable5が約4ヶ月前の6月上旬に発表されてからずっと使っているが、
その前まではOpusで不足なくやれていた。
Fableを使っているのは単に一番頭のいいモデルを使っていれば安心という
「心理的安全性」が理由になっていないか。
一度原点に帰って確認してみよう、と思った。
今週だけでは判断難しいので、来週一杯使ってみて判断してみよう。

今回の形

流れ自体は変えていません。
軽・通常・重の分け方も、差し戻しは2回まで、もそのままです。
変えたのはメンバーの顔ぶれだけ。

進捗Agent以外は全員 Opus 5.5 でそろいました。
進捗Agentは Sonnet 5 のまま。Sonnet 5.5 が出たら考えます。

指示書も少し整理した

Claude Code には、チーフに毎回読ませる指示書があります。
モデルが変わるたびに、ここも見直しています。
今回やったのは2つ。

1つは、中に溜まっていた変更の履歴を別のファイルに移したこと。
いつ何を変えたかを指示書に書き足していたら、けっこうな量になっていました。
毎回読ませる必要はないので外に出しました。

もう1つは、「どれだけ考えるかはエフォートで調整する」という一文を足したこと。
「深く考えて」「考えすぎないで」のような言葉を指示に書いても、Opus 5.5 には効きにくい。
考える量のつまみはエフォートだけ、と公式の移行ガイドにあります。

結果は来週末に。

今日はここまで。