AIが指摘した病変部位や診断について、アルゴリズムの思考過程が説明できない、いわゆるブラックボックス化（過去記事）は常に論点になってきた。AIが出力した情報を補助し、判断根拠を説明するための技術全体を示す用語「XAI（エックスエーアイ）: Explainable AI」が、米国国防高等研究計画局（DARPA）の主導するプロジェクトなどから派生し、浸透してきている。
米メディアForbesでは、医療分野特有といえるXAIが求められた背景や今後の方向性を解説している。そもそも医療以外の分野では開発した貴重なAI技術を企業秘密として保持することが許容され、ブラックボックス化を問題とする風潮が少ない。スマートスピーカーの返事に対して、どうしてそのような回答をしたのかと悩む消費者は少数だろう。ところが医学的判断では、その誤りが重大で不可逆的な結果となることを許容しにくい。そうして、医師やFDAなど規制当局が、説明不可能なAIを信頼することが難しくなる。さらには、開発されたAIアルゴリズムは、その後に臨床現場での妥当性の検証を経る必要があるため、末端のユーザーは説明不可能なAIの検証作業に協力できなくなる。
XAIに対する関心は高まり続けている。一方、どのような説明方法が適切か、知見の蓄積は不十分といえる。XAIという言葉をきっかけに、社会的な認知度が高まり意識が共有されることで、改善が進む側面も期待される。XAIは医療における主流なアルゴリズムとなる可能性があり、開発にあたるグループや企業にとっては大きなリソースを当てることがますます重要になるだろう。
