よむ、つかう、まなぶ。
【資料1】次世代評価指標について (18 ページ)
出典
公開元URL | https://www.mhlw.go.jp/stf/newpage_25800.html |
出典情報 | 薬事・食品衛生審議会 医療機器・体外診断薬部会(令和4年度第2回 5/23)《厚生労働省》 |
ページ画像
ダウンロードした画像を利用する際は「出典情報」を明記してください。
低解像度画像をダウンロード
プレーンテキスト
資料テキストはコンピュータによる自動処理で生成されており、完全に資料と一致しない場合があります。
テキストをコピーしてご利用いただく際は資料と付け合わせてご確認ください。
臨床データの最終判断を行った医師等
臨床データ以外のデータを使用した場合は、その最終判断を行った責任者等
テストデータを学習のプロセスから完全に切り離して管理するための方策
注3) これまでの医用画像診断支援システムは医用画像のみを用い、臨床的信頼度
が高いアノテーションを用いて設計することがほとんどであった。しかし、技
術の進歩により、近年では、学習データとして自然画像や人工画像、さらには
紐づけされた臨床情報の信頼性が低いデータ(Weak label データ)を用いるこ
とが可能となってきたが、このようなデータを利用する場合は、その使用根拠
及び妥当性を示す必要がある。また、テストデータに関する各種留意点に関し
ては、その評価段階に応じて6(3)項を参照すること。
注4) 特に転移学習の場合には、自然画像や別の医用画像、さらには人工画像等を
学習データとして用いることが想定される。自然画像を用いた場合には画像中
の対象部分、種類及び枚数等、別の医用画像を用いた場合には通常の医用画像
を使用した場合と同等の事項、人工画像の場合にはその作成方法等について、
その詳細を示すこと。
学習において使用する画像等をデータベース等から入手して使用する場合は、その妥
当性を確認することが求められる。以下に、データベース等に関して承認申請時に記載が
必要と考えられる点を例示する。なお、記載すべき項目は、データベースごとに異なるた
め、適切に選択、追加すること。
・
データベース運営者(学会、認定匿名加工医療情報作成業者等)の概要、組織体制
等
・
運営者が所有する事業計画書
・
運営者が外部に委託している業務内容
・
データベースに保有するデータの種類
・
データベースの概要及び設計書
・
データ管理に係る各種手順書とその運用状況 等
上記の学習にかかわる全ての項目については、設計開発時の学習と市販後学習で共通
の項目、相違する項目を区別して明記する必要がある。例えば、設計開発時の学習と市販
後学習で学習アルゴリズムが異なる場合は、それぞれについて明らかにする必要がある。
また、市販後学習により機械学習アルゴリズムのハイパーパラメータも再決定される場
合は、変化しうる範囲をあらかじめ規定したうえで、そのハイパーパラメータの変化が規
定範囲内となることを明らかにすることが求められる。さらに,市販後学習後のネットワ
ークの変遷については性能変化ごとに必要な記録を保存し、後日検証可能な状態にする
9
18 / 38
臨床データ以外のデータを使用した場合は、その最終判断を行った責任者等
テストデータを学習のプロセスから完全に切り離して管理するための方策
注3) これまでの医用画像診断支援システムは医用画像のみを用い、臨床的信頼度
が高いアノテーションを用いて設計することがほとんどであった。しかし、技
術の進歩により、近年では、学習データとして自然画像や人工画像、さらには
紐づけされた臨床情報の信頼性が低いデータ(Weak label データ)を用いるこ
とが可能となってきたが、このようなデータを利用する場合は、その使用根拠
及び妥当性を示す必要がある。また、テストデータに関する各種留意点に関し
ては、その評価段階に応じて6(3)項を参照すること。
注4) 特に転移学習の場合には、自然画像や別の医用画像、さらには人工画像等を
学習データとして用いることが想定される。自然画像を用いた場合には画像中
の対象部分、種類及び枚数等、別の医用画像を用いた場合には通常の医用画像
を使用した場合と同等の事項、人工画像の場合にはその作成方法等について、
その詳細を示すこと。
学習において使用する画像等をデータベース等から入手して使用する場合は、その妥
当性を確認することが求められる。以下に、データベース等に関して承認申請時に記載が
必要と考えられる点を例示する。なお、記載すべき項目は、データベースごとに異なるた
め、適切に選択、追加すること。
・
データベース運営者(学会、認定匿名加工医療情報作成業者等)の概要、組織体制
等
・
運営者が所有する事業計画書
・
運営者が外部に委託している業務内容
・
データベースに保有するデータの種類
・
データベースの概要及び設計書
・
データ管理に係る各種手順書とその運用状況 等
上記の学習にかかわる全ての項目については、設計開発時の学習と市販後学習で共通
の項目、相違する項目を区別して明記する必要がある。例えば、設計開発時の学習と市販
後学習で学習アルゴリズムが異なる場合は、それぞれについて明らかにする必要がある。
また、市販後学習により機械学習アルゴリズムのハイパーパラメータも再決定される場
合は、変化しうる範囲をあらかじめ規定したうえで、そのハイパーパラメータの変化が規
定範囲内となることを明らかにすることが求められる。さらに,市販後学習後のネットワ
ークの変遷については性能変化ごとに必要な記録を保存し、後日検証可能な状態にする
9
18 / 38