全身疾患を持ち、侵襲的な歯科処置を予定している患者では、医科への紹介状を介した多職種連携に紹介状が欠かせないが、医師の文書作成における負担が課題となっている。韓国カトリック大学恩平聖母病院とソウル大学らの研究グループは、大規模言語モデル(LLM)3種で歯科から医科への紹介状を生成し、その臨床的実用性と品質を比較評価した。人による盲検評価ではGemini-2.5-Proが最も高い評価を得た一方、評価者間の一致度の低さなどの課題も示された。その成果をInternational dental journalに発表した。
研究チームは、同院歯科の問診票と初診記録153組を収集し、うち117組のテストセットで、Gemini-2.5-Pro、GPT-5、MedGemmaに標準化プロンプトで紹介状を生成させた。歯科医2人が内容(明瞭さ・正確性)と文体(構成・簡潔さ・誤字脱字)の9下位項目を3段階で盲検評価した結果、総合平均スコアはGemini-2.5-Proが2.9487(95%信頼区間2.9345-2.9606)で、GPT-5の2.8818(2.8613-2.9008)、MedGemmaの2.8613(2.8338-2.8865)を有意に上回った(p<0.05)。GPT-5とMedGemmaの差は有意でなかった(p=0.3519)。一方、評価者間一致度(QWK)はプロンプト調整用データの0.7175に対し、テストセットでは0.1505にとどまった。また、GPT-5に評価させると自身の出力を最も高く評価し、人の評価と順位が食い違った。
著者らは、LLMの活用は事務的負担を減らし、医療者が安全で共感的なケアに集中できる将来的な可能性を持つ有望なアプローチだとしている。ただし、GPT-5とMedGemmaではGemini-2.5-Proよりハルシネーションが多く、元の記録にない治療計画を書き加える例もあった。医師が書いた紹介状との比較がない点、単施設・評価者2人である点も限界として挙げられており、著者らは結果を予備的なものと位置づける。LLMはあくまで臨床医の監督下で使う補助ツールであり、日常診療への導入には前向きの多施設研究や実際の業務フローでの検証が必要だとしている。
参照文献:
Evaluation of LLMs for Automated Dental-to-Medical Consult Letter Generation: Comparative Study
関連記事:
