医療とAIのニュース医療におけるAI活用事例最新医療AI研究ChatGPT - 放射線科専門医試験で合格基準に到達

ChatGPT – 放射線科専門医試験で合格基準に到達

ChatGPTの専門領域への回答性能が検証される中、カナダ・トロント大学の研究チームは、放射線科専門医試験における検証を行い、画像以外の多肢選択問題で合格基準レベルに達するパフォーマンスを確認した。

Radiologyに発表された同研究では、最頻用バージョンのChatGPT(GPT-3.5)に対して、カナダ王立大学と米国放射線学会の試験の形式に合わせた150問の多肢選択問題を出題した。試験に画像問題は含まず、61問の低次思考問題(知識・基本的理解)と89問の高次思考問題(応用・分析)にグループ分けしている。結果、ChatGPTは69%の正答率(104/150問)を示し、これはカナダ王立大学が提供する診断放射線学試験の合格基準70%に迫る結果であった。その内訳は、低次思考問題で良好な正答率84%(51/61問)の一方で、高次思考問題で60%(53/89問)と苦戦していた。

追跡調査で、新バージョンのGPT-4を用いたところ、正答率81%(121/150問)で合格基準を上回り、特に高次思考問題の正答率が81%に向上したという。しかし、GPT-3.5の正解していた12問がGPT-4では不正解になるなど、情報収集の信頼性に一定の疑問が残った。研究チームは大規模言語モデルの現状における最大の課題として、不正確な回答を自信過剰に行う点を指摘し、初学者が誤った回答を見抜けない可能性があると注意喚起している。著者のRajesh Bhayana氏は「現状のChatGPTはアイデアの着想や記述プロセスの起点、データの要約への利用がベストだ。情報の簡易な呼び出しに使用する場合は、常に事実確認が必要である」と語った

参照論文:

Performance of ChatGPT on a Radiology Board-style Examination: Insights into Current Strengths and Limitations

関連記事:

  1. AIは放射線科専門医試験に合格できるか?
  2. 循環器科におけるChatGPTの回答能力検証
  3. 微生物学問題に対するChatGPTの回答能力
TOKYO analytica
TOKYO analyticahttps://tokyoanalytica.com/
TOKYO analyticaはデータサイエンスと臨床医学に強力なバックグラウンドを有し、健康増進の追求を目的とした技術開発と科学的エビデンス構築を主導するソーシャルベンチャーです。 The Medical AI Timesにおける記事執筆は、循環器内科・心臓血管外科・救命救急科・小児科・泌尿器科などの現役医師およびライフサイエンス研究者らが中心となって行い、下記2名の医師が監修しています。 1. 岡本 将輝 信州大学医学部卒(MD)、東京大学大学院専門職学位課程修了(MPH)、東京大学大学院医学系研究科博士課程修了(PhD)、英University College London(UCL)科学修士課程最優等修了(MSc with distinction)。UCL visiting researcher、日本学術振興会特別研究員、東京大学特任研究員を経て、現在は米ハーバード大学医学部講師、マサチューセッツ総合病院研究員、SBI大学院大学客員教授など。専門はメディカルデータサイエンス。 2. 杉野 智啓 防衛医科大学校卒(MD)。大学病院、米メリーランド州対テロ救助部隊を経て、現在は都内市中病院に勤務。専門は泌尿器科学、がん治療、バイオテロ傷病者の診断・治療、緩和ケアおよび訪問診療。泌尿器科専門医、日本体育協会認定スポーツドクター。
RELATED ARTICLES

最新記事

注目の記事