医療者は、いつどのタイミングからAIシステムの予測を信用できるようになるか。自身の専門知識、システム全体の信頼度、アルゴリズムが予測した手法の説得力、といった条件を参考に私たちはAIを信用するきっかけを見極めようとしているが、それは単純なことではない。米マサチューセッツ工科大学（MIT）の研究者らは「AIを信頼するタイミングを理解するための介入手法」を開発・検証している。
MITのリリースでは、2月に開催されるAI関連学会で発表予定の研究内容を紹介している。本研究では、「AIモデルを人間に徐々に紹介し、その長所と短所を自分の目で確認できるような段階的教育」を提案している。そこでは、人間が他人に対して構築するメンタルモデルが注目されている。例えば、放射線科医がある症例について確信が持てず、その専門分野の同僚に尋ねるとき、「自身の過去の経験」と「同僚に対する知識」から相談相手の長所・短所のメンタルモデルを構築することで、受けるアドバイスを評価する。人間とAIの対話においても同様のメンタルモデルが構築されるとして、本研究ではAIについて学ぶ最適な例題を特定していった。トレーニング問題（例「2つの植物のうち、どちらが多くの大陸に自生しているか」）では、1. 人間が自分で答える 2. AIシステムに答えさせる を選択することができる。しかし、ユーザーは事前にAIの回答を見ることができないため、AIに対するメンタルモデルに頼る必要がある。つまり、「果物の質問ではAIが間違ったが、地質学についてはAIが正解した」といったフィードバックを受けるとともに、システムが予測に用いた言葉がハイライト表示されることで、人間はAIエージェントの限界を理解していく。さらにユーザー自身が学習・推測したルールを「このAIは花の予測が苦手」などと書きとめさせることで、AIに対するメンタルモデルを形式化させていく。
このトレーニング技術は、AIが自分の能力をどのように補うかを示すことで、人間がAIエージェントと一緒に仕事をする際、より良い判断をより早く下すのに役立つと考えられる。今回、「トレーニングを受けたグループ」は、「トレーニングを受けずにAIの回答を事前に見ることができたグループ」と同等にAIの能力を正確に把握できたという。しかし、結果にはまだギャップがあり、AIに対する正確なメンタルモデルを構築できたのはトレーニングを受けた人の約半数であった。また、AIが正しいはずだと分かっているケースでも「なぜ人は自分のメンタルモデルに耳を傾けようとしないのか」が、AI研究者を悩ませる疑問となってきた。この課題解消のため、研究グループはさらに手法を改良したいと考えている。
関連記事：
