臨床医は、日々患者の状態をアセスメントし、種々の検査・処方オーダーを入力する。オーダーセットを用いることで、煩雑なオーダ入力を簡略化する工夫が行われているが、ガイドラインの更新等に合わせ、オーダセットを手動でレビューする過程は非常に時間を要するものであった。これに対し、米国の研究チームは、オーダーセットの精度向上・効率化に向けて、LLMマルチエージェントシステムの有用性を示す研究成果を発表した。同研究はJAMA Network Openに掲載されている。
本研究では、5つのLLMベースのエージェント（内容評価/文献探索/知識獲得/医学的検証/提案要約）を組み合わせ、既存のオーダセットに対する最適な改善案を生成した。各提案に関して、正確性や実行可能性、有用性の観点で医師がスコアリングを行ったところ、54％の提案が高い正確性を持つと評された一方、高い有用性を持つとされたのは19％であった。また、提案評価に際するLLMの活用を模索し、医師による評価ポイントを学習させたところ、LLMと医師による評価の一致度を表す指標（Cohen κ係数）が、0.06から0.41まで増加し、中等度の一致度が見られた。このLLMにより評価を代替させると、総提案数を29％削減し、有用な提案の92％を保持することが可能であった。
研究チームらは「本研究で示したようなAIモデルを用いることで、一貫したアプローチでオーダセットの最適化を行うことが可能となった。専門家の役割を、手動での改善点の発見から、的を絞った効率的な提案検証へと移行させる一歩になるだろう」と述べている。今後は、電子カルテへの組み入れ等によって、リアルワールドでの活用検証が期待される。
参照論文：
Optimizing Order Sets With a Large Language Model–Powered Multiagent System
関連記事：
1.オーダリングシステムの再設計が検査リソースを節約
2.AI診断システムが医療費を削減 – 米マイクロソフト
3.医療LLMに潜む社会的バイアス
