AIは自分のミスに甘すぎる？研究データが裏付ける精度を上げるWチェック方法

Claude Codeに何かを作ってもらう。

完成したところで「問題がないか確認して」と頼む。

すると「確認しました。問題ありません」
みたいな返事が90％以上の確率で返ってくる。（あくまで体感）

・・・本当か？笑

私は最近Claude Codeで作ったものを、そのままClaude Codeだけのチェックで終わることはほぼ無くなった。

コードや明確な成果物以外でも、例えば作業のフローでも、Claude Codeが作ったものを盲目的に信用していない。

今までの積もり積もった過程で、それだけ信用が落ちたとも言えるが笑

特に自分が中身をチェックしてもわからない成果物の場合は、必ず第三者のレビューを入れている。

という使い方をすることが多い。

理由は単純で、過去にFableで作ったものをCodexにレビューさせたら穴がかなり見つかったのが、第三者レビューの必要性を感じたきっかけだ。

それ以来、Codexでレビューをすることが格段に増えた。

下記は直近のCodexがレビューした案件を振り返ってもらった内容。

これがCodexの意見だ。

Codexにレビューさせていると「え？こんなに穴があったの？」という毎回新鮮な驚きがある（半分嫌味）

そこで調べてみると、これに近い現象が実際に研究されていた。

AIは自分に甘くて他人に厳しい？

3つの興味深い実験がある。

【実験1】自分の回答を好む傾向

2024年にACLで発表された研究で、GPT-4、Gemini、Llama 2、DeepSeekなど複数のAIを調査し、自分で生成した回答を好む傾向が確認されている。

AIに自分の回答を何度も見直させると、文章は読みやすくなっても、本来の正確さはあまり改善しないケースもあった。

それでもAI自身は「前より良くなった」と評価する傾向が強まったのだ。

出典：Pride and Prejudice: LLM Amplifies Self-Bias in Self-Refinement

【実験2】品質に関わらず「自分」を高く評価する

2025年の研究では「AIが自分の回答を高く評価するのは、単に自分の回答の出来が良いからでは？」という点まで調べている。

回答そのものの品質を考慮して比較しても、AIは自分が作った回答を必要以上に高く評価しやすい傾向が確認された。

出典：Beyond the Surface: Measuring Self-Preference in LLM Judgments

【実験3】他人の回答の間違いには容赦なく気付く

さらに面白い研究もあった。

2026年の研究では、2つの間違った内容をAIに見せた。

この2種類をAIに見せる。

するとBでは、間違いを訂正する割合が大きく上がった。

中身は同じなのに、自分の回答としてチェックするか、外から来た回答としてチェックするかで結果が変わったのだ。

出典：The Self-Correction Illusion: Role Relabeling Gates Explicit Error Flagging in Large Language Models

要するに、AI＝自分の出力に甘く、他人の出力に厳しいってことだ笑

AIは自分のミスを絶対に気づけないってことではないが、「もう一回確認して」と同じAIに頼むだけでは不十分なことがわかる。

Claude Code × CodexによるWチェック体制

私は今はこんな感じで役割を分担することが多い。

成果物を作成したClaude Codeに「Codexにレビューさせるから、プロンプト出して」と依頼し、Codexに投げるだけ。

この方法でClaude Code側が見落としていた穴をCodexが見つけることが多い。（というか無事にパスした事がないんじゃないかレベル）

感覚として少なくとも4回以上のラリーが続く。

そうしたWチェックを経て、抜けや漏れを塞いだ成果物となる。
（それでも完璧じゃないことも多々あるが、やらないよりは良いだろう）

直近2回のレビューを通じて、Codexが出した結論がこれだ。

「Claude Codeだけじゃダメだよね」とCodexが言ってるようにも見える。

とはいえ、私のように2つのAIに課金している人ばかりではない。

そこで誰でもできるAIの成果物チェックの方法を紹介するので参考にして欲しい。

課金AIが1つでも今からできる『精度向上テクニック』

紹介する方法は、Claude CodeやCodex しか使ってなくてもOKだ。

1.別チャットでのチェック

作成したチャットの続きで「チェックして」と頼むのではなく、新しいチャットでレビューをしてもらう。

別のチャットでレビューしてもらうからプロンプト出して

と依頼し、出てきたプロンプトを別チャットに貼るだけ。

最もシンプルな方法だが、先ほどの研究を見る限り、これだけでも一定の意味はある。

2.チェックしてではなく「壊して」と頼む

逆転の発想からのレビュー方法だ。

と依頼し、AIを採点役ではなく「あら探し役」にする。
問題ないか確認してよりも、チェックすべき方向が明確になる。

3.別の無料AIに意見を聞く

無料で使える別のチャットAIからの意見をぶつける方法だ。

例えばClaude Codeで何か成果物が完成した際に、こんなプロンプトを投げてみる。

今回作成した成果物について、別のAIに設計上の見落とし・要求漏れが
ないか第三者レビューしてもらいます。
コードそのものをレビューしてもらう目的ではありません。
別AIはローカル環境やファイルにはアクセスできないため、
今回の成果物について判断するための「設計概要」を作ってください。

これで出てきた内容を別の無料のチャットAIに投げる。

無料のチャットAIはPCのファイルにアクセスできないなどの制限があるが、「そもそも作ろうとしているものに穴がないか」を確認することはできる。

無料で複数のAIの視点を取り入られる方法だ。

AIだって完璧じゃないから

私のような非エンジニアでもClaude CodeやCodexの力を借りれば、自分では絶対に作れないものを作ってくれるのは間違いありません。

ただ・・・
特に最近のClaudeCodeの出力精度に不満を感じることが増えてます。

でも別にCodexなら完璧！というわけでもないのが悩ましい笑

（これは私の使い方や指示の仕方に問題があるんだろうけどさ）

だからこそ余計に、1つのAIだけではなく「第三者のAIによる最終仕上げレビュー」の必要性を感じてるのが現状です。

もし今まで他のAIによるレビューをやったことがないなら、一度試してみてください。

「え！そんなに修正箇所があったの！？」と驚くはずです笑

ちなみに私はClaude Code × Codexでやってますが、正直これがベストかはわかってません。

「この組み合わせが良かった」というのがあれば、コメントで教えてもらえると嬉しいです。