米マサチューセッツ工科大学（MIT）の研究グループは、放射線科領域で取り扱われる画像解析AIの性能向上を目指し、医療画像に付随する膨大な「読影報告書」に注目している。画像情報とテキスト情報を同時に解析し、相互情報として運用することで強力な性能を達成できるか、新たなアプローチに関心が集まっている。
MITが27日明らかにしたところによるとこの手法では、まずニューラルネットワークに、肺のX線画像から特定疾患の重症度を判断できるようにし、数字情報として表現させる。またさらに別のニューラルネットワークを用意し、今度は読影報告書内のテキスト情報を別の数字の集まりとして表現させる。そして、3番目のニューラルネットワークが、これら画像とテキストの情報を統合し、2つのデータセットの相互情報を最大化するように調整する。MITのPolina Golland教授は「画像とテキストの相互情報量が多いということは、画像はテキストを、テキストは画像を高度に予測しているということだ」と話す。
本アプローチは画像や読影報告書全体を取り扱うのではなく、報告書を個々の文章に分け、その各単一文章が「画像を関連箇所に分解する」ことで成立する。これにより、1. 画像全体やレポート全体を見るよりも、より正確に疾患重症度を推定することができ、また、2. モデルはより小さなデータを対象とするので学習が容易で、学習サンプル数も多くなる、としている。画像およびテキストを対象としたこの新しい手法は、医療内外での活用が検討されている。なお、本研究成果は、今秋開催される医用画像コンピューティングに関する国際会議「MICCAI 2021」で発表される。
関連記事：
