NVIDIA 「TensorRT 6」を発表 – ディープラーニング推論を超高速化へ

Photo by iStock

近年の目覚ましいAI進展は、ディープラーニング技術の向上がこれを支えている。実際にディープラーニングで構築されたモデルを動かすにあたっては、「学習」と「推論」という重要な2つのフェーズがある。例えば、臨床に導入される一般的な医療AI製品は(当然学習済みなので)、このうちの「推論」が動いていることとなる。したがって「ディープラーニングにおける推論の高速化」は、医療AIの実運用と展開において非常に重要なファクターと言える。今週、NVIDIAはディーブラーニング推論の最適化・実行ライブラリである「TensorRT」の最新版をリリースした。

NVIDIA News Centerの公表によると、今回リリースされた「TensorRT 6」では、対話型AIアプリケーション・音声認識・医療向けアプリケーションにおける3D画像のセグメンテーションなどを劇的に高速化する新機能が搭載されているという。新たに追加された最適化機能の利用により、複数のT4 GPUでBERT-Largeモデルの推論をわずか5.8ミリ秒で実行することができるとのこと。快適で魅力的な利用体験を得るためには、BERTのような自然言語理解モデルを10ミリ秒未満で実行する必要があった。今回の劇的な高速化技術は、特に言語ベースのインタラクションを行うユーザーの大幅な体験向上に結びつく。なお、推論のパフォーマンスについてはこちらを参照のこと。

前の記事AI利用の現代版配置薬 OKIGUSURIがアフリカで医療改善 – 日本発NPO AfriMedicoの事例
次の記事脳卒中のAI画像診断で虚血も出血もカバーする完全パッケージ – Aidocの新リリース
TOKYO analytica
TOKYO analyticaは、データサイエンスと臨床医学への深い造詣を武器とし、健康に関するあらゆるモノ・コトのエビデンス構築・普及をお手伝いするメディカルコンサルティングプロジェクトです。
The Medical AI Timesにおける記事執筆は、循環器内科・心臓血管外科・救命救急科・小児科・泌尿器科などの現役医師およびライフサイエンス研究者らが中心となって行い、下記2名の医師が監修しています。

1. M.Okamoto MD, MPH, MSc
信州大学医学部卒(MD)、東京大学大学院専門職学位課程修了(MPH)、ロンドン大学ユニバーシティカレッジ(University College London)科学修士課程最優等修了(MSc with distinction)。専門はメディカルデータサイエンス。ロンドンでのベンチャーエンジニアを経て、英国内の大学で医療データベース研究に従事。

2. T.Sugino MD
防衛医科大学校卒(MD)。大学病院、米メリーランド州対テロ救助部隊を経て、現在は都内市中病院に勤務。専門は泌尿器科学、がん治療、バイオテロ傷病者の診断・治療、緩和ケアおよび訪問診療。泌尿器科専門医、日本体育協会認定スポーツドクター。