世界五大医学誌のひとつBMJは、毎年クリスマスになると普段の権威性や格調を打ち破る「面白論文」の特集号を出版する。例えば2016年は「Gotta catch’em all! Pokémon GO and physical activity among young adults（全部ゲットしろ！ポケモンGOと若年成人の活動性研究）」が公表され、話題を呼んだ。同誌は2021年クリスマス特集号に向けて「AIはもっともらしいクリスマスBMJ研究のタイトルを生成できるか？」というテーマの研究を掲載し、相変わらずのユーモアを発揮している。
BMJのリリースでは、同クリスマスBMJ研究を紹介している。手法としてはGPT-3ベースのAI技術によって、過去10年間のBMJクリスマス号で人気だった論文タイトルを学習し、オリジナルタイトルを自動生成させた。研究者らはAIが生成したタイトルを、科学的メリット・エンターテイメント性・妥当性の観点から採点した。高評価・低評価・実在タイトルに相当する各10本を、無作為抽出で世界各国の医師25名が評価した。その結果、AIが生成したタイトルは、実在のタイトルと比べて「少なくとも楽しめる（at least as enjoyable）」、「魅力的（attractive）」と評価された一方、実在タイトルの方が「よりもっともらしい（more plausible）」と評価された。さらに、AI生成タイトルの方が「科学的・教育的価値が低い（less scientific or educational merit）」と評価されたものの、AIの出力を人間が精選することでその差は有意ではなくなった。
なおAI生成タイトルで特に「もっともらしい」と評価されたのは「咽頭痛に対するペロペロキャンディの臨床的効能」と「観察研究：無償のグルメコーヒーが救急外来の待ち時間に与える影響」であった。最もくだらないタイトルは「Superglue your nipples together and see if it helps you to stop agonising about erectile dysfunction at work（※日本語訳は割愛）」であり、著者らは「AIが”研究の現実世界への適用”を見極めることができず、タイトルの不快さを理解できていないことを示す」と考察している。研究チームは「AIが、読者を惹きつける魅力的なタイトルをもっともらしく生成できるポテンシャルを持つ」、「AIの出力に人間が介入することも重要で、臨床医の完全代替ではなく意思決定支援としてのAI利用の可能性を示した」ともっともらしく結論づけることで、このウィットに富んだクリスマスBMJ研究をまとめている。
関連記事：
