大規模臨床言語モデル「GatorTron」

電子カルテを処理・解釈するAIシステムへの関心が高まっている。ここでは、事前に学習させた言語モデルによる自然言語処理(NLP)がキーテクノロジーとなる。しかし、臨床言語モデルの数は限られており、臨床領域で学習させた最大の言語モデルは1億1000万パラメータ(パラメータは言語モデルの性能指標の1つ)程度と小さく、一般領域における数十億パラメータと比較すると大きく見劣りする現状があった。

数十億以上のパラメータを持つ大規模な臨床言語モデルが、医療AIシステムによる非構造化EHRの活用にどのように役立つかを明らかとするため、米フロリダ大学の研究チームは、900億語以上のテキスト(820億語以上の非識別化臨床テキストを含む)を用いた大規模臨床言語モデル「GatorTron」をゼロから開発した。研究成果は、npj Digital Medicineから26日公開された。研究中では、GatorTronについて臨床概念抽出、医療関係抽出、意味テキスト類似性、自然言語推論(NLI)、医療質問応答(MQA)という5つの臨床NLPタスクで系統的に評価した。結果、GatorTronは、5つの臨床NLPタスク全てで改善を認め、特にNLIとMQAでは9.6%と9.5%の精度向上を確認した。

著者らは「GatorTronは医療AIシステムに適用し、ケア提供を改善することが可能な水準にある」と結論付けた上で、パラメータ数が臨床NLPタスクの処理に大きな利益をもたらす点を強調している。なお、GatorTronモデルは、ウェブサイトで一般公開されている。

関連記事:

  1. 自然言語処理による早期肺がん検出プロジェクト
  2. 化合物とタンパク質間の相互作用を「自然言語でモデル化」
  3. UCI – 自然言語処理によるEHR分析環境を構築
TOKYO analytica
TOKYO analyticahttps://tokyoanalytica.com/
TOKYO analyticaはデータサイエンスと臨床医学に強力なバックグラウンドを有し、健康増進の追求を目的とした技術開発と科学的エビデンス構築を主導するソーシャルベンチャーです。 The Medical AI Timesにおける記事執筆は、循環器内科・心臓血管外科・救命救急科・小児科・泌尿器科などの現役医師およびライフサイエンス研究者らが中心となって行い、下記2名の医師が監修しています。 1. 岡本 将輝 信州大学医学部卒(MD)、東京大学大学院専門職学位課程修了(MPH)、東京大学大学院医学系研究科博士課程修了(PhD)、英University College London(UCL)科学修士課程最優等修了(MSc with distinction)。UCL visiting researcher、日本学術振興会特別研究員、東京大学特任研究員を経て、現在は米ハーバード大学医学部講師、マサチューセッツ総合病院研究員、SBI大学院大学客員教授など。専門はメディカルデータサイエンス。 2. 杉野 智啓 防衛医科大学校卒(MD)。大学病院、米メリーランド州対テロ救助部隊を経て、現在は都内市中病院に勤務。専門は泌尿器科学、がん治療、バイオテロ傷病者の診断・治療、緩和ケアおよび訪問診療。泌尿器科専門医、日本体育協会認定スポーツドクター。
RELATED ARTICLES

最新記事

注目の記事