大規模言語モデル（LLM）は医療分野への応用が急速に進んでいるが、診断や臨床推論では医療データで追加学習を行った医療特化型AIの優位性が期待されてきた。一方、近年は汎用LLMの性能が大幅に向上しており、その優位性が現在も維持されているかは十分に検証されていなかった。ドイツの研究チームは、汎用LLMと医療特化型AIの医学的能力を包括的に比較・評価することを目的に、3種類のベンチマーク用いた解析を実施し、その成果をNature Medicineに発表した。
研究では、GPT-5.2、Gemini 3.1 Pro、Claude Opus 4.6などの汎用LLMと、OpenEvidenceやUpToDateなどの医療特化型AIを比較した。評価は、①医学知識の正確性（MedQA）、②臨床医との回答一致度（HealthBench）、③実臨床で医師が入力した匿名化質問 （Real Clinical Queries; RCQ）の3軸で実施された。その結果、MedQAにおける正答率は、Geminiが97.4%、GPTが94.2%、Claudeが90.2%であり、OpenEvidenceの89.6%やUpToDateの88.4%を上回った。HealthBenchの評価スコア（0～100）では、GPTが88.0と最高値を記録し、Geminiが79.3、Claudeが77.0であったのに対し、OpenEvidenceは62.6、UpToDateは61.3と低い値を示した。さらに、RCQにおいても汎用LLMが一貫して高い評価を獲得した。
本研究の意義は、医療特化型AIが必ずしも優位ではなく、汎用LLMが医療タスク全体において安定して高い性能を示した点にある。筆者らはその理由について、「汎用LLMは大規模データによる事前学習を通じて幅広い知識の検索と推論能力を獲得しており、多くの医療問題はこれらの能力の組み合わせで対応可能であるため、優位性につながった可能性がある」と考察している。ただし、本結果は現時点の「スナップショット」にすぎず、今後の技術進歩で序列は変化し得る。さらに、汎用LLMの性能向上が頭打ちとなれば、医療特化型AIへの追加学習や医師のフィードバックを取り入れた最適化が、再び性能向上において重要となる可能性があると結論付けている。
参照文献：
General-purpose large language models outperform specialized clinical AI tools on medical benchmarks
関連記事：
