arXivに投稿された最近の研究論文では、大規模言語モデル（LLM）を利用し、「科学論文に対する有用なフィードバックを生成すること」を目的としたツールを開発し、検証している。
研究論文によると、Generative Pre-trained Transformer 4 (GPT-4)フレームワークに基づくこのモデルは、科学原稿をPDFとして取り込むことで一連の処理ができる。モデルは、論文審査プロセスの4つの重要な側面である、1.新規性と重要性、2.採用の理由、3.不採用の理由、4. 改善提案を出力することができる。大規模な系統的分析の結果、提供されたフィードバックにおいて、当該モデルが人間の研究者と同等の評価性能であったことを強調している。フォローアップの前向きユーザー調査では、アプローチした研究者の50％以上が「提供されたフィードバックに満足」しており、82.4％の研究者が「GPT-4のフィードバックは人間の査読者から受けたフィードバックよりも有用である」と回答していたという。
本研究成果は、科学的レビュープロセスを自動化できる可能性を示すもので、また、LLMは研究の初期段階において有用なフィードバックを加えることで、研究自体の質的向上に資する可能性も示している。
参照論文：
関連記事：
