推奨する。

5. 支援システム等で想定される主な課題と解決の方向性
（１）ブラックボックスとしての性質
機械学習、特に深層学習は、その特性上、ニューラルネットワークによる判断の過程が
ブラックボックスであり、アウトプットの判断根拠を明確に示すことが困難な場合がある。
このため、通常の医療機器ではその性能確保のために示すことが求められる「動作原理」
の明示が困難となる。そのため、承認審査においては、診断アルゴリズムを詳細に精査す
るというよりは、一般的な医療機器プログラムの評価と同様、そのインプットに対して所
要のアウトプットが得られているかを確認することに重点を置き、その性能を評価するこ
とが適当と考えられる。
また、動作原理及びアルゴリズムの詳細を記述することが困難であるため、性能の確認
が行われた事例以外（例えば、開発時の学習データセットに含まれていなかった希少事例）
での挙動等が想定しにくいことも考えられる。このようなリスクに鑑み、機械学習、特に
深層学習を利用した支援システム等においては、その性能を確保するために、使用方法及
び目的に応じて、製造販売業者が対象疾患の検出率、偽陽性率、偽陰性率、検出に要する
時間等、性能に係る値を適切に規定し、その性能が常に担保されていることを示すことが
必要となる（６（３）項を参照）。
支援システム等が想定外の挙動を示した場合に、使用者に対して当該挙動を通知する仕
組みも必要となる。例えば、想定外の挙動が判断可能な使用者のみに使用を許可する等で
使用者側に一定の要件を求める、又は臨床での使用状況を逐次フィードバックすることで、
製造販売業者側が性能検証可能となる仕組みを構築する等、支援システム等の目的に応じ
た適切な方策を用意することが望ましい。（６（４）項を参照）。
想定外の挙動、誤判定等を完全に無くすことは極めて難しいが、そのような情報を収集
し、対策を講じることができるような運用方法もあらかじめ考慮しておく必要がある。
（２）性能変化
支援システム等においては、人工知能技術を利用することで市販後学習による診断アル
ゴリズムの変化を受けてその性能が向上することが期待される反面、学習の内容等によっ
ては意図しない性能変化が生じ、当初規定していた性能を下回る可能性も否定できない。
このような利点とリスクとを勘案し、支援システム等には、継続的な性能検証によるほか、
学習用データの要件や学習のプロセス等を規定し、学習の品質を確保するための対応策が
求められることになる。

5

14 / 38