【JAMA Netw Open 2024】診断能力は「AI単独92点、AIを使う医師76点、医師だけ74点」なぜ人間が加わるとAIの成績が下がるのか？
「AIは医師の仕事を奪うのか？」
医療AIが話題になると、必ず出てくる議論です。
これに対して、医療界では「AIは医師を代替するのではなく、医師を支援するものだ」という説明がよくなされます。
ところが、この常識に疑問を投げかける研究が、2024年10月28日、医学雑誌『JAMA Network Open』に発表されました。
米国のスタンフォード大学などの研究チームが、50人の医師を対象に、AIを使った場合と使わなかった場合の診断推論能力を比較したランダム化比較試験（RCT）です。
その結果は、驚くべきものでした。
AI単独：92点
AIを使う医師：76点
AIを使わない医師：74点
つまり、今回の研究では、
AI ＞ AI＋医師 ＞ 医師
という順番になったのです。
しかも、AIを使った医師と使わなかった医師の成績には、統計学的に有意な差がありませんでした。一方、AI単独は医師だけの場合を有意に上回りました。まぁなので
AI ＞ AI＋医師 、 医師
なわけです。
「AIと医師が協力すれば、AI単独より優れた結果になる」
そんな期待が、少なくとも今回の実験では実現しなかったのです。
ただし、この研究の対象は内科・家庭医療・救急医療の医師で、研修医も約半数含まれています。
また、AI単独とAIを使う医師の差については、正式な優越性の検定結果が報告されていません。
したがって、厳密には「AIが熟練専門医に勝った」とまで一般化することはできません。
それでも、医療AIの未来を考えるうえで、非常に重要な研究だと思います。
今回は、この論文を詳しく解説します。
研究の概要：医師50人をランダムに振り分けた
今回紹介する論文はこちらです。
Goh E, et al.
Large Language Model Influence on Diagnostic Reasoning: A Randomized Clinical Trial.
JAMA Network Open. 2024;7(10).
原著論文：https://doi.org/10.1001/jamanetworkopen.2024.40969
研究が行われたのは、2023年11月から12月です。
対象は、米国の大学医療機関などから募集された50人の医師でした。
専門分野の内訳は、
内科：44人
救急医療：5人
家庭医療：1人
です。
このうち26人は指導医クラスの医師（attending physicians）、24人は研修医（residents）でした。
臨床経験年数の中央値は3年です。
研究者たちは、参加者をランダムに2群へ振り分けました。
第1群：AIを使う医師（25人）
従来の医学情報源に加えて、ChatGPT Plus（GPT-4）を使用できる群です。
第2群：AIを使わない医師（25人）
UpToDateやGoogleなど、従来の情報源は使用できますが、生成AIは使用できない群です。
そして、両群に最大6症例の診断問題を与えました。
制限時間は60分。
単に病名を当てるのではありません。
鑑別診断を最大3つ挙げ、それぞれについて診断を支持する所見と否定する所見を説明し、最も可能性の高い診断と次に必要な検査を提示します。
つまり、医学知識の暗記ではなく、臨床推論（clinical reasoning）の質を評価する研究だったのです。
さらに研究者たちは、同じ症例をGPT-4単独にも解かせました。
こちらは探索的な追加解析です。
こうして、3つの条件を比較することが可能になりました。
結果①：AI単独の92点が圧倒的だった
最も注目したいのは、診断推論スコアの中央値です。
第1位：AI単独 92%
第2位：AIを使う医師 76%
第3位：AIを使わない医師 74%
AI単独は、医師だけの場合より18ポイント高いスコアを獲得しています。
研究者が統計モデルで補正して比較したところ、AI単独と従来の情報源を使う医師の差は16ポイントでした。
95%信頼区間は2〜30ポイント、p＝0.03です。
つまり、AI単独は医師だけの場合より統計学的に有意に優れていたのです。
一方、AIを使う医師とAIを使わない医師の差は、わずか2ポイント。
95%信頼区間は−4〜8ポイント、p＝0.60でした。
こちらには統計学的に有意な差がありません。
ここが非常に興味深いところです。
AIそのものには高い診断推論能力がある。
しかし、医師がAIを利用できるようにしても、その性能を十分に引き出せなかった。
AIの能力が高いことと、AIを使う医師の能力が高くなることは、必ずしも同じではないという結果なのです。
なお、この92%、76%、74%は、正しい病名を当てた割合ではありません。鑑別診断、所見の解釈、追加検査などを評価した診断推論スコアです。
結果②：医師にAIを与えても、診断能力は有意に改善しなかった
この研究はRCTです。
主要な研究目的は、医師がAIを利用すると診断推論能力が改善するかどうかを検証することでした。
ところが結果は、予想に反するものでした。
AIを利用できる医師のスコアは76%。
従来の情報源だけを利用する医師は74%。
わずかな改善はありましたが、統計学的に有意ではありませんでした。
さらに、診断に要した時間も比較しています。
AIを利用する医師は、1症例あたり中央値519秒。
利用しない医師は565秒。
約46秒の短縮です。
しかし、この差も統計学的に有意ではありませんでした。
つまり今回の研究では、AIを利用できるようにしただけでは、診断推論の質も時間効率も明確には改善しなかったのです。
もちろん、これは「AIを使っても意味がない」という話ではありません。
重要なのは、AIの提供方法です。
高性能なAIが存在していても、医師が適切に質問し、その回答を適切に活用しなければ、十分な効果が得られない可能性があります。
なぜ「AI＋医師」が「AI単独」に及ばなかったのか？
私は、この研究の最も重要な論点はここにあると思います。
普通に考えれば、優秀な医師が高性能なAIを利用すれば、AI単独よりも良い結果になると期待したくなります。
ところが、今回の結果はそうなりませんでした。
なぜでしょうか。
① 医師はAIの提案を十分に採用していない可能性
医師には、自分の医学知識と臨床経験があります。
これは本来、大きな強みです。
しかし、AIと協力するときには、その経験が逆に障害になる可能性もあります。
例えば、AIが自分の考えていなかった診断を提示したとします。
医師は、その診断を自分の知識や経験に照らして評価します。
その結果、AIの正しい提案を採用しないこともあり得ます。
逆に、AIの誤った提案に引きずられることも考えられます。
つまり、AIと人間を組み合わせれば自動的に能力が足し算されるわけではありません。
ただし、この研究では医師がAIの提案をどの程度採用・棄却したかについて、十分な因果分析が行われているわけではありません。
これは結果を説明する一つの仮説です。
② 医師がAIを使いこなせていなかった可能性
今回の研究では、AIを使用する医師に対して、特別なプロンプトエンジニアリングの訓練は行われませんでした。
一方、AI単独の解析では、研究者が設計・調整したプロンプトを使用しています。
これは重要な違いです。
AIの回答品質は、入力する指示によって変わります。
単に「この患者の診断は何ですか？」と質問する場合と、鑑別診断、支持所見、反証、追加検査を系統的に検討するよう指示する場合では、回答が異なる可能性があります。
今回の研究は、ある意味で「適切にプロンプトを設計されたAI」と「自由にAIを使う医師」を比較した側面もあるのです。
したがって、AI単独の方が医師との協働より本質的に優れている、と結論づけることはできません。
むしろ、AIの能力を引き出すためには、医師側の教育や利用方法の標準化が必要という示唆があります。
③ 人間とAIの協働そのものが難しい
医療現場では、「AIが提案して、最後に医師が判断する」という運用がよく想定されています。
確かに、最終判断を医師が担うことは、医療安全や責任の観点から重要です。
しかし、医師が最終判断することと、医師が判断に介在することで診断スコアが改善することは別問題です。
AIの提案を人間が修正するとき、その修正が常に正しいとは限りません。
これは医療以外にも通じる問題でしょう。
AIを使いこなすためには、AIの提案を無条件に受け入れるのでも、医師の経験だけで否定するのでもなく、両者を比較・検証する仕組みが必要だと思います。
「専門医の方がAIより優秀」という前提は、再検討が必要ではないか
医学の世界では、専門医資格や長年の臨床経験が重視されます。
もちろん、これは当然のことです。
専門医には、医学知識だけでなく、患者の診察、病歴聴取、検査の選択、治療方針の決定、患者とのコミュニケーションなど、幅広い能力が求められます。
一方、今回の研究は、そのうちの診断推論の一部分を切り出して評価しました。
その結果、GPT-4単独が、内科などの医師を上回る成績を示したのです。
これは、医師にとって無視できない結果でしょう。
これまで専門医の価値は、高度な医学知識や診断能力に大きく依存してきました。
しかし、その一部をAIが高い水準で実行できるようになったとすれば、医師の役割も変化する可能性があります。
例えば、複雑な鑑別診断の候補を網羅的に挙げる作業はAIに任せ、医師は患者の身体診察、検査所見の妥当性確認、治療選択、患者の価値観を踏まえた意思決定に集中する。
そうした役割分担が、今後ますます重要になるのではないでしょうか。
ただし、今回の研究では約半数が研修医で、臨床経験年数の中央値は3年でした。
したがって、「熟練専門医よりAIが優れている」とまでは証明されていません。
それでも、医師が専門的に行ってきた診断推論の一部について、AIが人間を上回り得ることを示した研究として重要です。
この研究には限界もある
結果は非常に刺激的ですが、解釈には注意が必要です。
第一に、症例数は6例です。
実際の医療現場で遭遇する疾患や患者背景の多様性を、十分に反映しているとはいえません。
第二に、実際の患者を診察したわけではありません。
医師が整理した病歴、身体所見、検査結果などの情報を使い、症例問題を解いています。
実臨床では、必要な情報を患者から聞き出す能力や、重要な身体所見に気づく能力も必要です。
第三に、今回評価されたのはGPT-4です。
研究が行われたのは2023年末であり、現在利用可能なAIモデルすべてに、そのまま結果を当てはめることはできません。
第四に、AI単独の評価は探索的な追加解析でした。
AI単独と医師単独には有意差が報告されていますが、AI単独とAIを使う医師の差については、正式な統計学的検定結果が示されていません。
したがって、「AI＞AI＋医師＞医師」は、今回観察されたスコアの順位を示すものであり、3群すべての優劣が統計学的に確定したという意味ではありません。
さらに、研究のスコアが高いことと、実際の患者の死亡率、合併症、QOLなどが改善することも同義ではありません。
この点は明確に区別する必要があります。
医療AIの本当の課題は、AIの性能ではなく、人間との接続なのかもしれない
今回の研究を読んで、私は非常に興味深い逆説を感じました。
AIは高い診断推論スコアを示した。
しかし、医師にAIを使わせても、医師の成績は明確には改善しなかった。
これは、今後の医療AIの開発にとって重要な問題だと思います。
AIそのものの性能をさらに高めることも必要でしょう。
しかし同時に、AIの能力を医療現場でどう引き出すのか、という問題があります。
例えば、AIが医師の鑑別診断を確認し、見落としている重要な疾患を指摘する。
医師が診断を確定する前に、AIが反証となる所見を提示する。
医師が意識していない代替診断について、追加検査の必要性を助言する。
このような使い方なら、人間とAIの協働による相乗効果が期待できるかもしれません。
また、医師がAIの出力を自由に読み書きするよりも、電子カルテなどに組み込まれた標準化された診断支援システムの方が、性能を安定して発揮できる可能性もあります。
もちろん、これらは今後検証すべき仮説です。
まとめ：「AIは医師を支援する」という常識を疑う必要がある
今回の研究で観察された診断推論スコアは、改めて示すと次のとおりです。
🥇 AI単独：92%
🥈 AIを使う医師：76%
🥉 AIを使わない医師：74%
AI ＞ AI＋医師 ＞ 医師
少なくとも今回の症例問題では、こうした順位になりました。
しかも、AI単独は医師単独より統計学的に有意に高い成績を示しました。
一方で、医師にAIを使わせても、明確な改善効果は確認できませんでした。
私はこの結果を、単純に「AIが医師を超えた」と解釈すべきではないと思います。
むしろ、もっと重要なのは、次の問題です。
「高性能なAIに人間が加わったとき、なぜ必ずしも成績が改善しないのか？」
これまで医療界では、AIは医師を支援するものだと説明されることが多くありました。
しかし、AI単独の能力が高くなればなるほど、人間が介在することの付加価値を、具体的に検証する必要が出てきます。
もちろん、患者との対話、身体診察、治療の実施、価値観を踏まえた意思決定など、医師の仕事は診断推論だけではありません。
それでも、診断推論という医師の中核的な能力の一部で、AIが人間を上回る結果を示したことには、大きな意味があります。
これからの医療AI研究では、AIと医師のどちらが優秀かという比較だけでなく、どの業務をAIに任せ、どの業務に医師が関与すれば、患者にとって最も良い結果になるのかを検証することが重要でしょう。
医師の専門性は、AIを使うこと自体ではなく、AIを含めた医療システム全体を適切に機能させることに、より大きな価値を持つようになるのかもしれません。
参考論文
Goh E, Gallo R, Hom J, et al. Large Language Model Influence on Diagnostic Reasoning: A Randomized Clinical Trial. JAMA Network Open. 2024;7(10).
https://doi.org/10.1001/jamanetworkopen.2024.40969
ハッシュタグ（20個）
#医療AI #人工知能 #ChatGPT #GPT4 #生成AI #医師 #専門医 #総合診療 #総合内科 #診断 #臨床推論 #医学研究 #医学論文 #論文解説 #エビデンス #RCT #JAMA #デジタルヘルス #医療DX #医療の未来
