内視鏡手術において、血管や神経などの重要組織を正確に特定し追跡し続けることは、出血や神経損傷などの合併症を防ぐ上で不可欠である。しかし、手術器具による遮蔽や組織の変形などが頻発する複雑な環境下では、既存の画像認識手法はターゲットを見失いやすく、長時間に渡って安定した追跡を維持することが困難であった。これに対し、ミラノ工科大学などの研究チームは、深層学習によるセグメンテーションとトラッキングを統合した新たなフレームワーク「STF」を開発し、手術中の組織を自律的かつ堅牢に追跡する手法を発表した。同研究は、IEEE Transactions on Biomedical Engineeringに掲載される。
本研究において重要な点は、追跡の信頼性が低下した際に自動的に再セグメンテーションを行う評価モジュールを備えている点にある。セグメンテーションは深層学習モデルが行い、追跡は計算コストの低いHough Voting Networkが担う構成となっている。この再セグメンテーションの戦略により手動の再修正を必要せず長時間安定した追跡の実現を狙う。前立腺全摘出のビデオデータを用いた検証の結果、セグメーションタスクにおいて、ベースライン手法の65.76%（mean DICE）に対してSTFは78.71%という高い精度を記録した。また、時間的な整合性を示す指標においても他手法を大きく上回り、遮蔽が発生するシーンでも安定した追跡が可能であることが示された。
さらに重要な観点として、本手法は約30fpsのフレームレートを実現しており、これは臨床現場でのリアルタイム活用にも耐えうる性能と述べられている。近年注目される手術ロボットの自動化には精度だけではなく、リアルタイムかつ長時間安定した性能を維持できるセンシング技術が必要である。本研究のみならず、手術ロボットの「目」を担う技術のさらなる向上が期待される。
参照論文：
関連記事：
1．手術動作を捉えるAI
2．RSIP Vision – AIとロボティクスが外科治療を変革
3．TransEnterix社 – 手術ロボットへAIシステム追加申請しカメラ自動追従を可能に
