近年の大規模言語モデル（LLM）の進歩は著しく、医師国家試験に合格するAIや対話型AIなど多岐にわたる能力を発揮している。Google関連企業の研究チームはこのほど、診断推論に最適化した大規模言語モデルAMIE（Articulate Medical Intelligence Explorer）が、臨床医の診断推論の精度を向上させることを発表した。
Natureに掲載された本研究では、NEJMのCPCに掲載されたケースレポート302件に対し、AMIEが単独で鑑別診断リストを挙げる能力と臨床医を支援するツールとしての能力の両方を評価した。AMIEは、GoogleのPaLM2を基盤モデルとし、様々なMedQA、独自の医療面接会話データ、MIMIC-Ⅲの電子カルテ要約を用いて、ファインチューニングされたモデルである（よって本評価指標は学習に用いられていない）。鑑別診断リストについて、医師による鑑別診断の質の評価（鑑別リストに正解となる診断または近しい診断が入っているか）および「ground truth 診断」との一致率による評価を行ったところ、AMIE単独の性能は臨床医を大きく上回り、10の鑑別診断を挙げるタスクでは、臨床医の正答率が33.6％、AMIEが59.1％という結果を得た。また、臨床医支援の点では、AMIEを支援ツールに用いた臨床医の正答率が51.7％、AMIE以外の検索ツールを用いた臨床医で44.4％と、AMIEは臨床医の診断能力向上に寄与する結果となった。一方、AMIEを導入してもタスクにかかる時間にはほとんど影響がなく、従来の検索手段と同等の操作性であることも担保されている。
研究チームは「AMIEの弱みは、全体を俯瞰するよりも、特徴的なキーワードや所見など、個別の症状にフォーカスする傾向があることである。他のAIにも散見される傾向であり、その点で複雑な症例を扱うNEJM-CPCはLLM評価の有用なベンチマークとなりうる」と述べている。今後はマルチモーダル入力への対応、ハルシネーションの改善といった検討を進めることとなる。
参照論文：
Towards accurate differential diagnosis with large language models
関連記事：
1.Google – 医療面接のためのAIベース診断対話システム
2.生成AIと医師の診断精度を比較：システマティックレビュー&メタアナリシス
3.医療LLMに潜む社会的バイアス
