AIの最初の回答が使えないのは、失敗したからではなかった──『失敗の科学』を研究して分かったこと
AIに仕事の文章を頼んで、返ってきた回答を読む。
言葉は整っている。丁寧でもある。けれど、使いたかったものとは違う。
「そうじゃないんだよな」と思いながら、画面の前で止まってしまう。
こんなとき、二つの考えが浮かびませんか。
「このAIは使えない」
「自分の指示が下手だった」
AIはときどき、頼まれていない立派な前置きまで添えて、完成披露会のような顔で回答を出してきます。こちらが欲しかったのは、会議メモの要約だったはずなのですが。
そこで会話を閉じて、最初からやり直す。あるいは、別のAIを開く。
でも、最初の回答が使えなかったことは、本当に対話の失敗を意味するのでしょうか。
『失敗の科学』と生成AIの研究を照らし合わせると、その回答は失敗と決めつけなくてよいことが分かってきました。
最初の回答は完成品ではなく、AIが依頼をどう受け取ったかを初めて見られる試作品かもしれません。
「使えない」の中身は、ひとつではない
最初の回答を思い浮かべてみてください。
本当に、全部が使えなかったでしょうか。
たとえば、こんな違いがあります。
内容は合っているが、長すぎる
要点はあるが、読む相手に合っていない
形式はよいが、必要な項目が抜けている
文章は自然だが、事実が正しいか確認できない
依頼そのものを別の意味に受け取っている
どれも「使えない」と言えますが、次に取る行動は同じではありません。
長すぎるなら短くする。相手に合わないなら読者を示す。必要な項目が抜けているなら追加する。
一方、事実の正しさを確認できないなら、書き直しを重ねる前に、信頼できる情報源を調べる必要があります。
つまり、最初の回答から分かるのは、AIの合否だけではありません。
自分が何を「違う」と感じたかも、そこで初めて見えてきます。
最初の依頼では言葉にできなかった評価基準が、回答と比べることで分かることがあるのです。
『失敗の科学』は、失敗のあとを見ていた
マシュー・サイドの『失敗の科学』は、失敗そのものより、失敗をどう扱うかに注目します。
出版社の紹介では、象徴的な例として航空分野のブラックボックスが挙げられています。事故や異常が起きたとき、記録を調べ、原因を分析し、事実を共有し、手順を変える。
反対に、失敗を隠したり、個人の能力だけの問題にしたりすれば、検証が止まります。同じ原因が残っていても、次へ戻す情報がありません。
この考えをAIとの対話へそのまま当てはめることはできません。本書は2015年刊で、現在の生成AIを扱った本ではないからです。
それでも、使える部分があります。
成長を生むのは、失敗した経験そのものではない。
予想と結果の差を調べ、その情報を次の試行へ戻すことです。
AIの初回回答も、「失敗だった」で閉じれば、それ以上の情報は残りません。
けれど、「どこが期待と違ったのか」まで言葉にできれば、次の回答を変える材料になります。
研究でも、初回回答のあとに改善していた
では、AIの回答は本当に反復でよくなるのでしょうか。
2023年のNeurIPSで発表された「Self-Refine」という研究があります。
この研究では、AIが最初の出力を作り、その出力へフィードバックを出し、さらに修正する流れを繰り返しました。対話文、文章、コード、推論など7種類の課題を調べた結果、一回だけ生成する方法より、全体として成績が改善しました。
興味深いのは、最初の案を何個も出すだけでなく、前の案へのフィードバックを使って直すことに意味があった点です。
同じく2023年の「Reflexion」という研究でも、前回の試行で得た結果を言葉のフィードバックとして残し、次の試行で参照する仕組みが、コーディングや言語推論など複数の課題で改善を示しました。
OpenAIの公式ガイドも、最初の回答を確認し、その結果に応じて文言を変える、文脈を足す、依頼を単純にするといった反復を勧めています。文章作成の案内では、「もっとよくして」のような広い依頼より、変更箇所を絞った具体的なフィードバックが示されています。
ここまでは、『失敗の科学』の見方と重なります。
初回回答は終点ではない。結果を確認し、次へ情報を戻せば、改善につながる可能性がある。
ただし、話はここで終わりません。
「もう一度考えて」だけでは、悪くなることもある
AIにフィードバックを任せれば、自動的に正しくなるのでしょうか。
別の研究は、そこへ注意を促しています。
ICLR 2024の研究では、外部から正解や誤りの情報を与えず、AIに自分の推論を見直して修正させました。しかし、性能は一貫して改善せず、正しかった最初の回答を誤答へ変える場合もありました。
さらにACL 2024の研究では、複数のAIが、論理的な誤りを自力で見つけることに苦戦しました。一方で、誤りの場所を教えると、修正能力は改善しました。
この違いは重要です。
AIは、間違っている場所が分かれば直せることがある。でも、どこが間違っているかをAI自身が正しく見抜けるとは限らない。
「違います。もう一度よく考えてください」と返すだけでは、AIも困ります。困っているようには見せず、前回と同じくらい堂々と別の回答を出すこともあります。
反復が役立つかどうかは、回数よりも、何を手がかりとして返すかに左右されるのです。
直す前に、人が決めること
AIの回答を改善材料にしやすいのは、次のような場面です。
文章、要約、構成、表現など、まず草稿を作れる
誰向けか、どの形式か、何を残すかを自分で判断できる
修正後に、よくなったかを確認できる
やり直しても大きな損失がない
反対に、利用者自身が正しさを判断できず、外部の確認手段もない場面では、反復だけに頼れません。
AIにない知識やデータは、「もう一度」で突然現れるとは限りません。同じ指示で再生成を繰り返しても、新しい手がかりがなければ、違う言い方の誤答が増えるだけかもしれません。
そのため、まず人が決めるのは、「この回答のどこを評価できるか」です。
たとえば、文章の長さ、語調、構成は自分で比べやすいでしょう。
一方、引用、統計、固有名詞、制度の内容は、自然な文章になっただけでは正しいと判断できません。信頼できる資料との照合が必要です。
HAROの暫定評価
「AIの最初の回答は、失敗ではなく改善材料になりうる」という見方は、条件付きで支持できます。
低リスクの文章作成やアイデア整理で、自分が期待との差を判定できるなら、初回回答は有用な試作品です。どこが違うかを具体的に返すことで、対話を改善へつなげられます。
ただし、初回回答が常に救えるわけではありません。
AI自身による誤り発見は、論理・推論課題で限界が確認されています。具体的な手がかりがないまま反復しても、正しくなる保証はありません。
また、次のような場面では、AIとのやり取りより外部確認を優先する必要があります。
重大な判断に関わるもの
機密情報を含むもの
取り消しにくい操作を伴うもの
方向性は妥当ですが、「失敗から学べばAIは正解へ近づく」とまで一般化はできません。
大切なのは、失敗を肯定することではなく、観測したずれを具体的な情報へ変えることです。
今日、これだけやってみる
使えなかったAIの回答があれば、最も困るずれを一つだけ選んで、次の一文を返してみてください。
「この回答で期待と違うのは【箇所】です。【基準】に合うように、ほかは変えず【変更内容】だけ直してください。」
たとえば、
「期待と違うのは冒頭です。結論を急いで知りたい読者向けに、ほかは変えず最初の3文だけ短くしてください」
と伝えます。
事実の正しさは、文章がよくなったように見えても別に確認してください。また、修正のために機密情報を追加しないでください。
最初の回答は、合否を決める最終試験ではありません。
次に何を一つ変えるかを見つけられたとき、それは対話を進めるためのブラックボックスになります。
次に進みたい方へ
この記事の考え方を、実際の仕事で一度試してみたい方へ。
AIに任せる作業を一つ選び、短く依頼し、一つだけ調整して、次も使える形で残すところまで進められます。
参考資料
マシュー・サイド『失敗の科学 失敗から学習する組織、学習できない組織』
Matthew Syed, Black Box Thinking, 2015
Aman Madaan et al., “SELF-REFINE: Iterative Refinement with Self-Feedback”, NeurIPS 2023
Noah Shinn et al., “Reflexion: Language Agents with Verbal Reinforcement Learning”, NeurIPS 2023
Jie Huang et al., “Large Language Models Cannot Self-Correct Reasoning Yet”, ICLR 2024
Gladys Tyen et al., “LLMs cannot find reasoning errors, but can correct them given the error location”, Findings of ACL 2024
OpenAI Academy, “Writing with ChatGPT”
