うまくいったAIの使い方を再現できないのは、記憶力が低いからではなかった──『アナタはなぜチェックリストを使わないのか？』を研究して分かったこと
昨日、AIから驚くほど使いやすい回答が返ってきた。
今日、似た仕事を頼んでみた。
ところが、今度は微妙に違います。
文章が長い。欲しかった項目がない。相手に合わない言葉が混ざっている。
昨日は、何と頼んだのだろう。
会話履歴をさかのぼり、使えそうな一文を探す。でも、どの指示が効いたのかは分かりません。
AIとの成功体験は、ときどき夢のようです。起きた直後は覚えていたのに、午後には大事な部分だけ消えています。AI側も「昨日のあれですね」とは言ってくれません。
「自分はAIの使い方を覚えられない」
「毎回うまくいく人は、特別なプロンプトを暗記しているのだろう」
そう思うことがあります。
けれど、『アナタはなぜチェックリストを使わないのか？』とチェックリストの研究を調べると、問題は記憶力だけでは説明できませんでした。
複雑な仕事で、重要なことを毎回すべて思い出すのは難しい。
だから必要なのは、記憶力を鍛えることではなく、次回も確認したい条件を外へ置くことかもしれません。
成功したプロンプトを保存しても、再現できない
「それなら、うまくいったプロンプトを保存すればいい」
たしかに、それは役立ちます。
ただ、AIの回答はプロンプトの一文だけで決まるとは限りません。
たとえば、次のようなものが影響します。
誰に向けた成果物なのか
何のために使うのか
どの資料を渡したのか
どの長さや形式を求めたのか
何を含めないよう伝えたのか
返ってきた内容をどう確認したのか
どのモデルや機能を使ったのか
昨日の依頼では読者を伝えていたのに、今日は忘れた。
昨日は元資料を添えたのに、今日は題名だけで頼んだ。
昨日は一度目の回答へ修正を返したのに、記憶の中では最初から完成していたことになっている。
成功は、一つの魔法の文章ではなく、いくつかの条件がそろった結果かもしれません。
プロンプト全文を保存するだけでは、その中の何が重要だったかまでは分からないのです。
チェックリストは、初心者のためだけではなかった
アトゥール・ガワンデの『アナタはなぜチェックリストを使わないのか？』は、複雑な仕事で起きる失敗を扱います。
そこで注目されるのは、「知らなかったための失敗」だけではありません。
知っていた。
普段ならできる。
それでも、忙しさや割り込みの中で重要な一項目が抜ける。
専門家であっても、頭の中だけですべてを管理することは難しいのです。
チェックリストは、専門知識を短い手順へ置き換えるものではありません。
状況に応じた判断は人が行う。そのうえで、重大だけれど抜けやすい基本事項を、必要な瞬間に確認する道具です。
航空、建築、医療のような複雑な仕事で使われてきたのも、「覚えていない人」がいるからではありません。
覚えている人でも、毎回必ず実行できるとは限らないからです。
この見方をAI利用へ移すと、再現できない経験の意味が変わります。
必要なのは、昨日の自分を完璧に思い出すことではない。
今日の自分が、重要な条件を確認できる仕組みです。
19項目の確認で、手術結果は変わった
チェックリストの代表的な研究に、WHOの手術安全チェックリストがあります。
2009年に『New England Journal of Medicine』へ掲載された研究では、8か国8病院で19項目のチェックリストを導入しました。
確認したのは、患者、手術部位、麻酔、安全装置、感染予防、機器、チーム内の共有などです。手術のすべてを記述した説明書ではありません。
麻酔前、皮膚を切る前、手術室を出る前という重要な節目で、チームが必要事項を確認しました。
導入後、主要な合併症は11.0%から7.0%へ、入院中の死亡は1.5%から0.8%へ低下しました。
もちろん、医療の結果をそのままAI利用へ当てはめることはできません。
それでも、この研究から参考にできる点があります。
チェックリストが確認したのは、仕事の全知識ではない。
抜けると結果へ影響する項目を、決まったタイミングで確認したことです。
AI利用なら、確認するタイミングは「依頼を送る前」と「回答を採用する前」に置けます。
送る前には、目的、読者、素材、形式を確認する。
採用する前には、事実、数字、禁止事項を確認する。
すべてを覚え直すより、ずっと小さな仕事です。
長いチェックリストは、読まれなくなる
では、思いつく条件を全部チェックリストへ入れればよいのでしょうか。
WHOの実装マニュアルは、反対のことを勧めています。
チェックリストは網羅的にしない。
重要な項目へ焦点を絞る。
短時間で終えられるようにする。
各項目を、具体的な行動へ結びつける。
たとえば、「分かりやすい依頼にする」では、何をすれば終わりなのか分かりません。
「読む人を書く」なら、確認できます。
「正確にする」ではなく、「数値を元資料と照合する」。
「よい回答を出してもらう」ではなく、「出力形式の例を一つ添える」。
チェックを付けたとき、実際の行動が一つ変わる項目にします。
AIに頼む前のチェックが47項目になったら、たぶん私たちは48項目目として「このチェックリストを見なかったことにする」を追加します。
役立つのは、成功時の会話を丸ごと規則にしたものではありません。
次回、忘れると困る少数の条件です。
チェックリストを置くだけでは、効果が出ない
チェックリストには、うまくいかなかった研究もあります。
2014年、カナダ・オンタリオ州の病院で、手術安全チェックリスト導入前後の結果が調べられました。
先ほどの8病院の研究とは異なり、手術の死亡率や合併症率に有意な改善は確認されませんでした。
複数研究をまとめた系統的レビューでも、効果は一貫していません。
記録上は「チェックリストを使用した」ことになっていても、実際には項目が十分に完了していない例がありました。教育、試験導入、現場に合わせた修正、実際の遵守が結果を左右します。
つまり、チェックリストというファイルを作っただけでは不十分です。
長すぎて開かない。
抽象的で何をすればよいか分からない。
仕事が変わっても古い項目を残し続ける。
それでは、記憶の負担が、読まれない文書へ移っただけです。
AI利用でも同じです。
一度作ったリストを正解にせず、実際に使い、不要な項目を消し、抜けていた項目を足す必要があります。
同じ手順でも、同じ回答にはならない
もう一つ、AI特有の限界があります。
同じ指示を送っても、以前と同じ文章が返るとは限りません。
OpenAIの技術文書は、モデル出力は本質的に変動し、モデルの版が変わると同じ指示でも挙動が変わりうると説明しています。一貫性を高めるには、使用モデルの版を固定し、評価を行うことが推奨されています。
Google Cloudの技術文書でも、生成設定をそろえても完全な決定性は保証されず、モデルや設定が変われば出力も変わりうるとされています。
一般的なチャット画面では、モデル版や細かな設定を自分で固定できないこともあります。
そのため、チェックリストで再現する対象を間違えないことが大切です。
以前と一字一句同じ回答を再現するのではありません。
何を目的にしたか。
何を渡したか。
どんな形を求めたか。
どう品質を確かめたか。
同じ条件で試し、同じ基準で判断できる工程を再現します。
回答が違っても、使えるかどうかを同じように確認できれば、再現性は少し高まります。
また、この方法が向かない場面もあります。医療、法律、金融、人事など、誤りが重大な判断へ影響する用途では、簡易なチェックリストを専門的な確認の代わりにはできません。送信、公開、契約、購入、削除など、取り消しにくい結果に直結する作業も同様です。モデルの更新やサービス仕様が変わったときは、過去の確認項目が今も有効かを見直す必要があります。
HAROの暫定評価
「うまくいったAIの使い方を再現できないのは、記憶力が低いからではなかった」という見方は、条件付きで支持できます。
AI利用には、目的、読者、入力素材、形式、禁止事項、確認方法など複数の条件が関わります。それらを毎回記憶だけから取り出すより、重要な項目を外へ残す方向は妥当です。
ただし、チェックリストは万能なプロンプトではありません。
効果を期待できるのは、繰り返す仕事で、少数の具体的な項目を、決まったタイミングで本当に確認するときです。
項目が多すぎる、抽象的である、仕事やモデルが変わっても更新しない場合は、役立たない可能性があります。
そして、同じチェックをしても、同じAI回答は保証されません。
再現するのは結果そのものではなく、成功しやすい条件をそろえ、出力を検証する流れです。
今日、これだけやってみる
最近うまくいったAIのやり取りを一つだけ開いてください。
そして、「次回も忘れたくない条件」を一つ選び、動詞で始まる確認項目として保存します。
「読む人を書く」
「元資料を添える」
「数値を元資料と照合する」
この中から選ぶ必要はありません。自分の成功に関係した一項目だけで十分です。
会話に機密情報が含まれる場合は、コピーや保存をせず、組織のルールに従ってください。
昨日の自分を丸ごと覚えておく必要はありません。
次の自分へ、大事な一項目だけ渡せればいいのです。
次に進みたい方へ
この記事の考え方を、実際の仕事で一度試してみたい方へ。
AIに任せる作業を一つ選び、短く依頼し、一つだけ調整して、次も使える形で残すところまで進められます。
参考資料
アトゥール・ガワンデ『アナタはなぜチェックリストを使わないのか？ 重大な局面で“正しい決断”をする方法』
Alex B. Haynes et al., “A Surgical Safety Checklist to Reduce Morbidity and Mortality in a Global Population”, 2009
World Health Organization, “Implementation Manual WHO Surgical Safety Checklist 2009”
David R. Urbach et al., “Introduction of Surgical Safety Checklists in Ontario, Canada”, 2014
Jonathan R. Treadwell, Scott Lucas, and Amy Y. Tsou, “Surgical checklists: a systematic review of impacts and implementation”, 2014
Lauren L. Richmond and Ryan G. Taylor, “The benefits and potential costs of cognitive offloading for retrospective information”, 2025
OpenAI, “API backward compatibility”
Google Cloud, “Content generation parameters”
