チャットボット技術の進歩は、患者・医療者間のコミュニケーションを支援する可能性を示しているが、より踏み込んだ「臨床的役割」を果たすには慎重な検証が必要となる。米ニューヨーク大学の研究チームは、「医療に関連する質問におけるChatGPTの回答が、人間の回答とほとんど区別がつかない」とする研究結果を報告した。
JMIR Medical Educationに掲載された同研究では、電子カルテから抽出された代表的な患者の質問10項目に対し、回答の半分は人間の医療者が、残り半分はChatGPTが人間の回答と同等の語数で作成した。18歳以上の392名に及ぶ被験者にこれらの質問と回答を提示し、回答がAIによるものか人間によるものか判断させる「チューリングテスト」を行った。その結果、被験者はChatGPTの回答を65.5%（1284/1960件）、人間の医療者の回答を65.1%（1276/1960件）の割合で正しく識別した。これは、ChatGPTの回答と人間の回答をほぼ区別できないことを示唆している。
さらに、ChatGPTの回答への信頼度を「1.全く信頼できない」から「5.完全に信頼できる」の5段階で評価させたところ、平均スコア3.4であった。特に、予約スケジューリングや保険に関する事務的な回答への信頼度が高く（平均3.94）、一方で、より複雑なタスクである診断に関する回答（平均2.90）や治療に関する回答（平均2.89）への信頼度は低下していた。研究チームは、チャットボットの役割が管理業務からより臨床的なものへと移行するにつれて、患者とチャットボットとの相互作用を評価することの重要性を強調している。
参照論文：
Putting ChatGPT’s Medical Advice to the (Turing) Test: Survey Study
関連記事：
