よむ、つかう、まなぶ。
【資料1】次世代評価指標について (25 ページ)
出典
公開元URL | https://www.mhlw.go.jp/stf/newpage_25800.html |
出典情報 | 薬事・食品衛生審議会 医療機器・体外診断薬部会(令和4年度第2回 5/23)《厚生労働省》 |
ページ画像
ダウンロードした画像を利用する際は「出典情報」を明記してください。
低解像度画像をダウンロード
プレーンテキスト
資料テキストはコンピュータによる自動処理で生成されており、完全に資料と一致しない場合があります。
テキストをコピーしてご利用いただく際は資料と付け合わせてご確認ください。
3. 評価に際して考慮すべき事項(品質、安全性及び有効性の評価)
使用者が施設ごとに学習を行うシステムと、自己学習を行うシステムに関する留意点は以下の
とおりである。
(1)使用者による施設ごとの市販後学習が可能な支援システム等
特定の医療機関で得られた臨床データや診断支援の結果を元にした市販後学習を使用者が実
施するケースが該当する。この場合、市販後学習データの偏りにより、医療機関ごとに異なる方
向に性能が変化し、製造販売業者による品質管理が困難となる。加えて、使用者が市販後学習を
実施するため、製造販売業者の開発意図と大きく異なる方向にその性能が変化するリスクがある。
そのため、性能評価においては、評価指標に記載した事項に加え、製造販売業者は、
・
市販後学習プロトコール。特に使用者が施設ごとに行う市販後学習データの収集方法や品
質管理等も含めたプロトコールの詳細
・
市販後学習後に変化したシステムの性能の検証プロトコールに関する詳細。承認申請時の
テストデータに対する性能評価結果のみならず、新しいテストデータを追加する場合には、
その収集方法や品質の評価法と結果、及びシステムの性能評価結果に関する詳細
に留意し、製造販売業者が市販後学習を実施した場合と同等の品質マネジメントを臨床現場に求
めるための工夫が必要である。
また、市販後学習に加え、変化した性能の評価や、その変化に伴う支援システム等の安全性及
び品質の確保を使用者等が行う必要があるため、それらに係る評価は製造販売業者が実施する場
合と同等の評価を行う必要がある。そのため、当該支援システム等を有する医療機関内に、以下
の要件を充足した責任者の指名と、その責務、性能評価及び品質管理に関する手順書の整備等を
求めることになると考えられる。
・
対象となる支援システム等の原理及び学習方法を熟知していること
・
市販後学習データの妥当性を示すことができること
なお、その性能変化の範囲が承認申請時に製造販売業者により規定された範囲内であることが
前提となるため、性能評価に関しては製造販売業者が承認申請時に規定した検証方法を用いる必
要があり、性能変化が製造販売業者により規定された範囲を超えることが生じないよう、評価指
標6(4)項「リスクマネジメント」に記載した事項に加え、当該支援システム等にはそれを防
止するための機構、具体的には、そのリスクを製造販売業者に連絡する機能等を設けることが強
く求められる。
(2)「教師なし」データによる自己学習が可能な支援システム等
2017 年 10 月、Google により囲碁用人工知能において「教師なし」データを用いた自己学習に
より連続的な性能変化が可能となったことが Nature にて報告された。将来、同様の人工知能を利
用して医師の最終判断や製造販売業者の介入を要することなく、医療現場での使用中、自律的に
その性能を変化させていく支援システム等が出現する可能性は否定できない。加えて、その人工
知能がネットワークから切り離された状態で搭載され、製造販売業者が関与しない状態で納入先
の医療機関ごとに性能が変化する支援システム等の開発も予想される。しかしながら、このよう
な支援システム等がどのように市販後学習を進めるかについては不明な点も多い。
2
25 / 38
使用者が施設ごとに学習を行うシステムと、自己学習を行うシステムに関する留意点は以下の
とおりである。
(1)使用者による施設ごとの市販後学習が可能な支援システム等
特定の医療機関で得られた臨床データや診断支援の結果を元にした市販後学習を使用者が実
施するケースが該当する。この場合、市販後学習データの偏りにより、医療機関ごとに異なる方
向に性能が変化し、製造販売業者による品質管理が困難となる。加えて、使用者が市販後学習を
実施するため、製造販売業者の開発意図と大きく異なる方向にその性能が変化するリスクがある。
そのため、性能評価においては、評価指標に記載した事項に加え、製造販売業者は、
・
市販後学習プロトコール。特に使用者が施設ごとに行う市販後学習データの収集方法や品
質管理等も含めたプロトコールの詳細
・
市販後学習後に変化したシステムの性能の検証プロトコールに関する詳細。承認申請時の
テストデータに対する性能評価結果のみならず、新しいテストデータを追加する場合には、
その収集方法や品質の評価法と結果、及びシステムの性能評価結果に関する詳細
に留意し、製造販売業者が市販後学習を実施した場合と同等の品質マネジメントを臨床現場に求
めるための工夫が必要である。
また、市販後学習に加え、変化した性能の評価や、その変化に伴う支援システム等の安全性及
び品質の確保を使用者等が行う必要があるため、それらに係る評価は製造販売業者が実施する場
合と同等の評価を行う必要がある。そのため、当該支援システム等を有する医療機関内に、以下
の要件を充足した責任者の指名と、その責務、性能評価及び品質管理に関する手順書の整備等を
求めることになると考えられる。
・
対象となる支援システム等の原理及び学習方法を熟知していること
・
市販後学習データの妥当性を示すことができること
なお、その性能変化の範囲が承認申請時に製造販売業者により規定された範囲内であることが
前提となるため、性能評価に関しては製造販売業者が承認申請時に規定した検証方法を用いる必
要があり、性能変化が製造販売業者により規定された範囲を超えることが生じないよう、評価指
標6(4)項「リスクマネジメント」に記載した事項に加え、当該支援システム等にはそれを防
止するための機構、具体的には、そのリスクを製造販売業者に連絡する機能等を設けることが強
く求められる。
(2)「教師なし」データによる自己学習が可能な支援システム等
2017 年 10 月、Google により囲碁用人工知能において「教師なし」データを用いた自己学習に
より連続的な性能変化が可能となったことが Nature にて報告された。将来、同様の人工知能を利
用して医師の最終判断や製造販売業者の介入を要することなく、医療現場での使用中、自律的に
その性能を変化させていく支援システム等が出現する可能性は否定できない。加えて、その人工
知能がネットワークから切り離された状態で搭載され、製造販売業者が関与しない状態で納入先
の医療機関ごとに性能が変化する支援システム等の開発も予想される。しかしながら、このよう
な支援システム等がどのように市販後学習を進めるかについては不明な点も多い。
2
25 / 38