センサーから収集したデータを処理して機械学習を行う。そのような現在のAI開発の基本手法に対して、ハッカーが行う攻撃にはある種のパターンが予想されている。
プリンストン大学のニュースによると、同大学の研究チームは交通システムや健康管理AIアプリに対する3つの代表的な攻撃手法を公表している。攻撃側の戦術を発表することで、システムの脆弱性を開発側が認識し、防衛する手助けとなることを期待する。
1つ目はdata poisoning（データポイズニング）として知られるアプローチである。開発に用いられる学習データに悪意のある偽の情報を挿入することで、出来上がるAIシステムをまったく信頼できないものにしてしまう。従来の単純なdata poisoningから、最近では「model poisoning」とよばれる、AIが出す回答を意図的なモデルあるいはクラスに誘導されるようデータ汚染させる手法も想定されてきている。悪意のある企業が、ライバル製品よりも自社製品の宣伝へ誘導する可能性などを持つ。
2つ目はevasion attackと呼ばれるもので、既に高い精度を達成したAIモデルに対して、システムが誤って認識する抜け穴を作るものである。例えばAIが道路標識を認識する場合、人間が気付かないような特徴がマークされていることがある。そのため、偽のレストラン看板にAIだけが認識する落書きや余分な色を追加して、一時停止標識と誤認させるような騙し方が可能となる。
3つ目がプライバシーに対する攻撃である。機械学習に使用されるデータに紐づけられた他の健康記録やクレジットカード番号、ユーザーの所在地などにアクセスを試みる。もちろん攻撃を想定して匿名化された医療情報などを独立した空間で扱うという考えはあるが、セキュリティに関して天秤にかけることになる。プライバシーを保護するほどに、前述のevasion attackに対しては脆弱となる可能性があるという。その理由として、evasion attackに対する防御戦術は、トレーニングデータの機密情報に大きく依存するためである。
医療におけるAI開発を考えたとき、以上の3点が具体的にどのように患者と医療者を攻撃してくるか、私たちは常に想像力を働かせなければいけないだろう。研究チームのMittal氏は「セキュリティとプライバシーを一緒に考える重要性を私たちの論文では強調しました。機械学習が身の回りのことほぼすべてに組み込まれるような新しい時代に入りつつあります。脅威を認識し、対策法を開発することが不可欠です」と語る。
