メインコンテンツへスキップ
見出し画像

「全部読んで」と指定したのに、1.24%しか読んでいなかった

    外部のAIに、自分のAIチームのファイルを読ませてみました。

    社員が全員AIの会社をやっています。私はプログラミングができません。ふだんは Claude というAIに仕事をさせていて、その品質を見る「社外監査人」の役として、別の会社のAI(Codex)を置いています。

    今回はやり方を変えて、Codex に Claude 側のファイルを直接読ませ、おかしいところを出させました。書き込みはさせず、読むだけ。

    指摘は3件返ってきました。うち1件は、報告が届く前にこちらで直っていました。

    問題は、道具の側だけではありませんでした。

    画像

    「全部」と指定しても、1.24%しか返っていなかった

    日報を読むためのコマンドがあります。--all(全部)と --full(省略なし)を両方付ければ全部読める、という約束のものです。

    Codex の報告はこうでした。「--all --full で7,967字、# 省略: あり」。全部読むと言いながら途中で切って、しかも成功として終了していた。

    数字は報告書を写さず、自分で測り直しました。

    日報の総量: 568,346 字(現行 70,950 + 過去分 497,396)
    1回の呼び出しで取れる量: 7,047 字
    割合: 1.24%
    (2026-08-23 20:48 時点)

    「全部読んだ」と思った人は、1.24%しか読んでいません。残り561,299字は、エラーも警告もなく消えていました。

    捨てた事実自体は画面に出ていました。# 省略: 残り ◯◯ 字 という行です。でも終了コードが0でした。機械にとっては成功です。人が読み飛ばせば、誰も気づきません。

    ここまでなら「道具の不具合」で終わります。

    画像

    もう1階層ありました

    うちには、AIが朝いちばんに何をするかを書いた起動手順があります。担当のAIが立ち上がると、まずこれを読みます。

    そこにはこう書いてありました。

    daily-get --all --who ◯◯ --last 2 を実行する(日報の全文は読まない)

    手順のほうが、切り詰めることを前提にしていました。しかも「全文は読まない」と明記してあります。同じ形が3箇所ありました。

    道具を直しても、手順が「これでいい」と指定したままなら、次の担当は同じ状態から1日を始めます。

    私はこの点を、道具の是正を担当している別の担当へ申し送りました。その担当は同じ日に、起動手順の側にも1文を足しました。

    exit=4 なら末尾行の 続き: をそのまま実行し、truncated=false が返るまで「前回の続き」を判断しない

    「全文は読まない」の一文は今も残っています。消したのではなく、同じ行に条件を足してあります。全文を読まないこと自体は費用の都合で意図的に選んでいて、問題は「読まなかった分があることに気づけない」ことのほうでした。直すべきは分量ではなく、欠けを黙って通す点でした。

    画像

    指摘の1件は、報告が届く前に直っていました

    3件のうち1件は「申し送りに番号が振られていない」という指摘でした。ところが受け取った時点で、こちらは既に直していました。

    報告書には、参照したファイル5件のハッシュが記録されていました。その時点の指紋のようなものです。手元で照合すると、こうなりました。

    変化 daily-get
    変化 test_daily_get.sh
    一致 check_deferral_tickets.py
    変化 daily_report.md
    一致 archive/daily_report_2026-08-08_2026-08-22.md

    5件中3件が既に変わっています。つまり、その3件に関する指摘は「報告書が見た版」に対するもので、いま同じことが起きているとは限りません。

    「この指摘はまだ有効か」を、議論ではなく1コマンドで確定できました。外部にファイルを見せる時は、見せた瞬間の指紋を残してもらう。これが今回いちばん再現性のある収穫でした。

    画像

    同じ日のうちに、朝と夜で挙動が変わりました

    同じコマンドを、夜にもう一度実行しました。

    $ daily-get --all --full
    exit=4
    # truncated=true expected=324 acquired=17 続き: daily-get --all --full --offset 17

    朝は exit=0(成功)で黙って切れていました。夜は exit=4 で、何件のうち何件を取れたかと、次に打つコマンドそのものを返すようになりました。

    ついでに、わざと3通り間違えてみました。

    ① 一覧ファイルを作らずに照合しようとする
    exit=2 判定不能: manifest ... が無い
    ② リポジトリの外から実行する
    exit=2 判定不能: ... を持つリポジトリが見つからない(cwd から親へ辿った)
    ③ 一覧ファイルをリポジトリの中に置こうとする
    exit=2 判定不能: 保存先が ... の中を指している(リポジトリ外に置く)

    3回とも止まり、3回とも「何が悪いか」を1行で返しました。朝の exit=0 と並べると、違いがはっきりします。黙って通すか、止めて教えるか。

    画像

    外部の目を入れた当日に、受け取る側が4回外しました

    ここからは自分たちの話です。

    外部監査を入れたその日、受け取って処理する側が、同じ型の失敗を4回しました。

    • 仕事を割り振る役が、外部の判定を自分で確かめずに他の担当へ中継した

    • 同じ役が、同じ日に同じ穴へ2回落ちた(うち1回は上の1件と同じ出来事。どちらも、自分が他の担当へ注意していたことそのものでした)

    • 私が「記録した」と書きながら、記録していなかった(指摘を受けて数えたら0件)

    • 私が出典を確かめずに書いた(ある規程の9章を根拠に挙げたが、実際は別の文書の119行目だった)

    4件とも「確かめずに、そうだと思った」型です。

    そして4件とも、機械か、別の担当が止めました。私の2件は、採点役のAIが報告文を鵜呑みにせず現物を数えたから止まりました。

    外部監査は、内部の目が届かない場所を照らします。ただし、報告を受け取る側が確かめなければ、照らされた先で同じことが起きます。「外部の目を入れれば解決する」ではありませんでした。

    この記事を書きながら、同じ失敗をしました

    最後に、書いている最中に起きたことを書いておきます。

    この記事の数字を最初に測ったとき、日報は67,306字でした。書き終えて見直したら、70,950字になっていました。書いている数十分の間に3,644字増えていたわけです。

    動く数字を確定値として書く。まさにこの記事が扱っている失敗を、書いている本人がやっていました。

    数字を差し替えて済ませることもできましたが、そうせずに書いておきます。上の数字には全部「測った時刻」を添えてあります。過去分(アーカイブ)は凍結してあるので動きません。動くのは現行の日報だけです。

    分かったこと

    道具の不具合を探しに行ったつもりが、規程が不具合を前提に組まれていたほうが本体でした。「全文は読まない」と手順に書いてある限り、道具をいくら直しても、読んでいない状態から1日が始まります。

    もし同じことを試すなら、2つだけ勧めたいです。

    見せた瞬間の指紋(ハッシュ)を残してもらうこと。指摘が古びたかどうかを、1コマンドで確定できます。

    指摘の原因を、道具だけで探さないこと。その道具を「これでいい」と指定している手順が、たいてい別の場所にあります。

    限界

    • 読ませたのは日報まわりだけで、チーム全体ではありません

    • 同じ手順を他のAIで試していないので、Codex 固有の性質かどうかは分かりません

    • 失敗を4回と数えたのは、その日に気づいた分だけです。気づかなかった分はこの数に入っていません

    あなたへのおすすめ