AIを攻撃する3つの代表的ハッキング手法 – 機械学習全盛期を迎えて

センサーから収集したデータを処理して機械学習を行う。そのような現在のAI開発の基本手法に対して、ハッカーが行う攻撃にはある種のパターンが予想されている。

プリンストン大学のニュースによると、同大学の研究チームは交通システムや健康管理AIアプリに対する3つの代表的な攻撃手法を公表している。攻撃側の戦術を発表することで、システムの脆弱性を開発側が認識し、防衛する手助けとなることを期待する。

1つ目はdata poisoning(データポイズニング)として知られるアプローチである。開発に用いられる学習データに悪意のある偽の情報を挿入することで、出来上がるAIシステムをまったく信頼できないものにしてしまう。従来の単純なdata poisoningから、最近では「model poisoning」とよばれる、AIが出す回答を意図的なモデルあるいはクラスに誘導されるようデータ汚染させる手法も想定されてきている。悪意のある企業が、ライバル製品よりも自社製品の宣伝へ誘導する可能性などを持つ。

2つ目はevasion attackと呼ばれるもので、既に高い精度を達成したAIモデルに対して、システムが誤って認識する抜け穴を作るものである。例えばAIが道路標識を認識する場合、人間が気付かないような特徴がマークされていることがある。そのため、偽のレストラン看板にAIだけが認識する落書きや余分な色を追加して、一時停止標識と誤認させるような騙し方が可能となる。

3つ目がプライバシーに対する攻撃である。機械学習に使用されるデータに紐づけられた他の健康記録やクレジットカード番号、ユーザーの所在地などにアクセスを試みる。もちろん攻撃を想定して匿名化された医療情報などを独立した空間で扱うという考えはあるが、セキュリティに関して天秤にかけることになる。プライバシーを保護するほどに、前述のevasion attackに対しては脆弱となる可能性があるという。その理由として、evasion attackに対する防御戦術は、トレーニングデータの機密情報に大きく依存するためである。

医療におけるAI開発を考えたとき、以上の3点が具体的にどのように患者と医療者を攻撃してくるか、私たちは常に想像力を働かせなければいけないだろう。研究チームのMittal氏は「セキュリティとプライバシーを一緒に考える重要性を私たちの論文では強調しました。機械学習が身の回りのことほぼすべてに組み込まれるような新しい時代に入りつつあります。脅威を認識し、対策法を開発することが不可欠です」と語る。

前の記事空からお薬 – ドローンによる医薬品デリバリー
次の記事どの知見が医療を大きく変化させるか – 研究インパクトを予測する機械学習モデル
TOKYO analytica
TOKYO analyticaは、データサイエンスと臨床医学への深い造詣を武器とし、健康に関するあらゆるモノ・コトのエビデンス構築・普及をお手伝いするメディカルコンサルティングプロジェクトです。
The Medical AI Timesにおける記事執筆は、循環器内科・心臓血管外科・救命救急科・小児科・泌尿器科などの現役医師およびライフサイエンス研究者らが中心となって行い、下記2名の医師が監修しています。

1. M.Okamoto MD, MPH, MSc
信州大学医学部卒(MD)、東京大学大学院専門職学位課程修了(MPH)、ロンドン大学ユニバーシティカレッジ(University College London)科学修士課程最優等修了(MSc with distinction)。専門はメディカルデータサイエンス。ロンドンでのベンチャーエンジニアを経て、英国内の大学で医療データベース研究に従事。

2. T.Sugino MD
防衛医科大学校卒(MD)。大学病院、米メリーランド州対テロ救助部隊を経て、現在は都内市中病院に勤務。専門は泌尿器科学、がん治療、バイオテロ傷病者の診断・治療、緩和ケアおよび訪問診療。泌尿器科専門医、日本体育協会認定スポーツドクター。