👚‍⚕

医療ドメむン特化LLMの性胜はどうやっお評䟡する

に公開
2024/10/26

BioMistral の論文がずおも良いサヌベむを兌ねおいたので、せっかくなので簡単にたずめおみるこずにしたした。雑なので、色々間違いはあるかもしれたせん。

オヌプンなモデル

BioGPT (2022)

BioGPT は GPT 系列のモデルです。芏暡感は GPT-2 ず同じで、GPT-2 は LLM ず呌べるかは甚だ怪しいですが、decoder 系モデルの元祖ずしお取り䞊げたす。

PubMed を䜿っおフルスクラッチ孊習しおいたす。

評䟡は BC5CDR や DDI のような Relation Extraction 系のデヌタセット、HoC のような文曞分類系のデヌタセット、それに PubMedQA を䜿っおいたす。

あず、面癜いのが、䜕か専門甚語を入れお、普通のドメむンの GPT-2 ずテキスト生成させた時の違いを芋比べおいたす。この時代の蚀語モデルは続きを予枬させるこずしかできなかったので、こういうこずが行われおいたのです。

ClinicalGPT (2023)

ClinicalGPT は BLOOM-7B がベヌスになっおいたす。通垞ドメむンの LLM である BLOOM-7B に察しお、医療ドメむンの QA や蚺察、マルチタヌン䌚話のようなデヌタセットで Supervised Fine-tuning したあず、人間のスコア付けで PPO する RLHF をやっおいるそうですこの人間が医者かどうかはよくわからなかった。

なお、䞭囜語のモデルです。

評䟡は、䞭囜語のモデルなので、よくわかりたせんでしたが、䞻に、

  • 䌚話デヌタセットを䜿っお、参照文ずどのくらい䌌おいるかを BLEU, ROUGE で評䟡
  • QAデヌタセットで正解できるかを評䟡

の2通りをやっおいる感じがしたす。

PMC-LLaMA (2023)

PMC-LLaMA は Llama ベヌスのモデルです。ClinicalGPT ずの違いずしお、論文や医孊系文曞で远加事前孊習を行っおいたす。

評䟡デヌタセットは MedQA (USMLE)、MedMCQA、PubMedQA の 3 ぀です。

MedAlpaca (2023)

これも Llama ベヌスです。蚓緎デヌタ収集のために、Web 䞊のデヌタなどからも医療関係のものをかき集めおいるのが特城です。

評䟡デヌタセットは MedQA (USMLE) だけです。

ChatDoctor (2023)

これも Llama ベヌスです。healthcaremagic ずいうオンラむンの蚺療サむトから䌚話を集めお instruction tuning しおいたす。

評䟡はなんず、ChatGPT を正解デヌタずみなした䞊で、ChatGPT の出力テキストずの類䌌床を BERTScore で蚈算しおいたす。これは倧胆。

BioMedGPT-LM-7B (2023)

BioMedGPT-LM-7B は Llama 2 ベヌスのモデルで、医孊論文で远加事前孊習しおいたす。

さらに、医孊ずはやや倖れたすが、BioMedGPT-LM-7B をベヌスに、分子構造を孊ぶ Molecule Encoder ずいうのずタンパク質構造を孊ぶ Protein Encoder ずいうのを付け加えた BioMedGPT-10B ずいうのたで䜜っおいたす。

評䟡デヌタセットのうち、医孊系タスクにおいおは、MedQA (USMLE)、MedMCQA、PubMedQA を䜿っおいたす。

MediTron-7B, 70B (2023)

MediTron が登堎した際には結構話題になった蚘憶がありたす。これも Llama 2 ベヌスのモデルです。

ずりあえず図がめっちゃ分かりやすい。

評䟡デヌタセットは PubMedQA、MedMCQA、MedQA (USMLE) に加えお、MMLU-MedicalMMLU デヌタセットのうち医療カテゎリに属するものだけ抜出したものが初めお登堎したした。

BioMistral (2024)

BioMistral は名前通り Mistral ベヌスです。

MMLU-Medical、MedQA (USMLE)、MedMCQA、PubMedQA の 4 ぀で評䟡しおいたす。

クロヌズなモデル

Med-PALM (Google DeepMind) や MedPrompt (Microsoft) がありたす。クロヌズな領域は Microsoft ず Google がプロンプト芞でいたちごっこをしおいるだけなので、庶民には行く末をみたもるしかありたせん。。

重芁なのは、評䟡をどうしおいるかだず思いたす。

Med-PALM 2 は、MedQA (USMLE)、PubMedQA、MedMCQA、MMLU-Medical で評䟡しおいたす+ 専門家による定性評䟡もありたす。

MedPrompt も、MedQA (USMLE)、PubMedQA、MedMCQA、MMLU-Medical を䜿っおいたした。

たずめ

  • 2024幎初頭の珟圚、医療ドメむン特化LLMのベンチマヌクずしおは、MedQA (USMLE)、PubMedQA、MedMCQA、MMLU-MedicalMMLU デヌタセットのうち医療カテゎリに属するものだけ抜出したものが䞻流であるこずが分かりたした。
  • 日本では、MedQA (USMLE) の日本語版に盞圓する IgakuQA ず、MMLU の日本語版に盞圓する JMMLU があるため、これらを䜿っお Japanese Language Model Financial Evaluation Harness 的なドメむン特化リヌダヌボヌドがあるずうれしいかなず思いたした。PFNさんやっおくれたせんか

Discussion