結局Fableに戻った

先週チーフを Fable 5.1 から Opus 5.5 に替えて来週まで試すと書きました。

結果的に1週間で元に戻しました。
今回はその経緯です。

Opus 5.5 リリースの後、1週間経たないうちに Sonnet 5.5 が出て、
1週間ずつ使ってトークン比較しようと思ってましたが、
早く使ってみたくてモノづくりを通してトークン比較は行うことにしました。

販売管理システムで比べる

題材は、デモ用に作っている販売管理システム。
Windows のデスクトップアプリで、C# と SQLServer の組み合わせの
オーソドックスなもの。

受注・売上・請求・入金は、先に作っていたので、
残りの購買業務の実装およびテストを Opus 5.5 と Sonnet 5.5 で比較。
同じ設計書、同じ出発点、同じ依頼文でそれぞれ流してみる。
出来上がりの審査はFable5.1に依頼。

コードの量はほぼ同じ。
重大な不具合はどちらも0件。
審査の Fable 5.1 が、評価のためにテストをクロスで掛けました。
Sonnet が書いたテストを Opus のプログラムで、Opus のテストを Sonnet のプログラムで。結果はどちらもほぼ全部通る。
動いていた時間も10分程度の違い。
使ったトークンもほぼ同じでした。

違うのは値段だけ。
Sonnet 5.5 は Opus 5.5 の半分です。

実装やテストにおいてはSonnet5.5で事足りる、という結果になりました。

画面は少し違った

画面も見比べてみました。発注入力の画面です。

明細も合計欄もFキーも同じ。違うのは上の項目の並びだけ。

Opus 5.5 は設計書の絵のとおり縦に1列。
Sonnet 5.5 はおそらく受注入力を参考にして収まりよく2列に。

これは判断が難しい。
Opusでも何かヒントが見つかっていれば同じような動きをしたように思う。

チーフをOpus5.5に

一方、チーフの Opus 5.5 です。
こちらは、私の頼んだことと違う方向に走ることが続きました。

お客さん向けの Cowork のスキルを、Claude Code を使って作ってもらっていたときのこと。
時間が30分ほどかかっていたので気になって聞きました。

Coworkで動かすスキルにすることは理解してるよね？

Claude「はい、理解しています。」

それからさらに数時間。
あまりに終わらないので、もう一度聞きました。

もしかしてプログラム作ってたりしてないよね？

Claude「はい、プログラムを作っています。」

何で？　止めて。

他にも。

• 販売管理のUIテストの仕組みを利用してExcelから受注入力するところをデモしたくて、「Excelを見ながら受注を入力して」と頼んだら、入力する仕組みを作り始めた。入力してほしかっただけなのに。

• 要望や不具合の対応で、お客さんと方向性を詰めるべく資料を作りたいと宣言した上で「この不具合から着手して」と言ったら、いきなりコード修正を始めてしまった。

なぜこんなことになったのか。
同じような取り違えは Fable のときにもあったけど、ただこの1週間は回数が多く、1つ1つの乖離の度合い、後々の影響が大きかった。

明らかに私の言葉足らずが起因しているのだが、決してこれまでと比べてやり方を変えたつもりもない。

人に例えると

Fable 5.1 は、ベテラン社員。
社内のあれこれや人間関係も把握していて、誰に何を聞いたら最短で解決するのかを分かっている。
「あれ、やっといて」で通じる。
迷ったら必要なポイントだけ聞いてくる。

Opus 5.5 は、腕は確かな中途入社のエース。
言われた言葉の理解に疑問があっても
これまでの経験に基づいて解釈して全力で走る。
ただ、最初のボタンの掛け違いがあることに気が付かず、
間違ったと気づいた時にはかなり進んでしまってる。

Sonnet 5.5 は、きっちり仕上げる優秀な若手。
テストもしっかりやる。払う給料は安い。
ただドメイン知識が薄いのか、頼んだ内容と仕様書に食い違いがあったときに、Opus と Fable なら「食い違ってますよ」と言ってくるところを
Sonnet はそのまま仕様書の通りに作る。

みんな頭がいいのは確か。
違いは指示側の意図を正しくくみ取り、全体を俯瞰して作業できるかどうか。

今の形

チーフは 一旦Fable 5.1 に戻しました。
あいまいな指示に対する受け手の反応の違いが
のちのちの手戻りの大きさに直結することを肌で感じたので。

コスト削減のための実験ではありましたが、
信頼感に対してコストを払うことで余計な時間とやり直しのコストを
払わずに済むと思えば、Fableのメリットは大きいです。

実装とテストに関しては Opus 5.5も Sonnet 5.5も互角だったので、実装をSonnet 5.5、テストは Opus 5.5 のような形でトークンを抑えてみようかと思っています。

おわりに

私の直属の部下は Fable 5.1 が今のところ合っているようです。
もしかすると私が Fable 5.1 に最適化してしまっている、悪く言えばあいまいな部分の判断を頼っているのかもしれません。
ベテラン社員に頼るように。

簡単な判断は「やっといて」で片づけてくれるのは非常に便利、だけど要所の判断は間違わないように細かく指示をする、丸投げしていいかどうかの方向付けが重要のようです。

指示にあいまいな部分が結構ある、という私自身の反省点も露呈しました。
当初はOpus 5.5 と Sonnet 5.5 の性能テストだったはずなのに、別の懸念が生まれたテストになりました。

LLMの性能向上の幅が鈍化した今、人間がいかに的確に指示を与えられるかがその後の精度に直結するのだと思います。

OpusやSonnetをもっと活用するには、私自身の指示精度向上も必要のようです。

今日はここまで。