ChatGPTの専門領域への回答性能が検証される中、カナダ・トロント大学の研究チームは、放射線科専門医試験における検証を行い、画像以外の多肢選択問題で合格基準レベルに達するパフォーマンスを確認した。
Radiologyに発表された同研究では、最頻用バージョンのChatGPT(GPT-3.5)に対して、カナダ王立大学と米国放射線学会の試験の形式に合わせた150問の多肢選択問題を出題した。試験に画像問題は含まず、61問の低次思考問題(知識・基本的理解)と89問の高次思考問題(応用・分析)にグループ分けしている。結果、ChatGPTは69%の正答率(104/150問)を示し、これはカナダ王立大学が提供する診断放射線学試験の合格基準70%に迫る結果であった。その内訳は、低次思考問題で良好な正答率84%(51/61問)の一方で、高次思考問題で60%(53/89問)と苦戦していた。
追跡調査で、新バージョンのGPT-4を用いたところ、正答率81%(121/150問)で合格基準を上回り、特に高次思考問題の正答率が81%に向上したという。しかし、GPT-3.5の正解していた12問がGPT-4では不正解になるなど、情報収集の信頼性に一定の疑問が残った。研究チームは大規模言語モデルの現状における最大の課題として、不正確な回答を自信過剰に行う点を指摘し、初学者が誤った回答を見抜けない可能性があると注意喚起している。著者のRajesh Bhayana氏は「現状のChatGPTはアイデアの着想や記述プロセスの起点、データの要約への利用がベストだ。情報の簡易な呼び出しに使用する場合は、常に事実確認が必要である」と語った。
参照論文:
関連記事: