FDA發佈基於AI/ML軟體作為醫材之行動計畫

人工智慧與機器學習技術具有潛力可透過每天醫療保健過程中生成的大量數據得出新的重要見解來改變醫療照護。而醫療器材製造商正使用這些技術來創新其產品,更能協助醫療照護提供者並改善病人照護。AI/ML在軟體中的最大優勢之一在於從現實世界的使用與經驗中學習,以及改善其性能表現的能力。FDA的願景是,透過產品全生命週期適當地調整監管策略,相關AI/ML的軟體醫材SaMD能提供安全有效的軟體功能,進而改善病人所獲得的照護品質。

本份AI/ML行動計劃是源自於2019年4月的討論文件《基於AI/ML的軟體作為醫療器材的擬議監管法規大方向》意見回饋之修正版本。該文件描述FDA為 AI/ML 驅動的軟體的上市前審查提供一個可行的方法。討論文件描述的想法利用目前售前計畫的實踐並依賴於國際醫療器材監管者論壇的風險分類原則、FDA要求的利益/風險架構、軟體修改指引秉持的風險管理原則、以及在數位健康軟體預認證試點計畫中所預見的,基於組織的整體產品生命週期方法。因此本篇將簡要總結從該領域的利益相關者收到的反饋,本行動計畫共分為五個部分,均旨在解決利益相關者的特定反饋。

基於AI/ML的軟體作為醫療器材的行動計畫概述了FDA將採取的五項行動,以規劃研擬未來方向大綱,包括:

  1. 對4月的討論文件提出的擬議監管法規大方向進行更新,包括透過發布《預定變更控制計畫的指導草案》,以供軟體逐步學習。
  2. 透過FDA積極參與完成共識標準的制定,加強FDA對機器學習優良規範的開發。
  3. 提出以病人為中心的方法,提高醫材對用戶的透明性。
  4. 開發用於評估和改善機器學習演算法的方法,包含識別與消除偏差,以及這些演算法在承受不斷變化的臨床條件下的穩健性與彈性。
  5. 與利益相關者/計畫合作,推進真實世界的性能表現監控試點。

針對基於AI/MLSaMD量身定制的監管大綱

討論文件提出一個基於「預定變更控制計畫」原理的以AI/ML的SaMD的修改框架,SaMD預規格(SaMD Pre-Specifications, SPS)將描述製造商將透過學習更改的方面,而演算法更改協議(Algorithm Change Protocol, ACP)解釋如何在保持安全有效的情況下,演算法將如何學習與改變。許多開發人員都會主動與機構就未來對其軟體演算法進行修改的相關計畫進行討論。利益相關者提供可能包含在SPS或APC中的項目特定的反饋,以支持SaMD及其演算法隨時間變化時的安全性與有效性。

FDA致力於在討論文件中提出的框架的開發方面取得進一步進展,因此預計將在2021年機構將發布將指導意見草案以徵詢公眾意見,該草案中包括應包含在SPS與ACP中用以支持AI/ML的的安全性與有效性建議。

                  機器學習優良規範 Good Machine Learning Practice (GMLP)

因利益相關者強力支持建立機器學習優良規範,並呼籲FDA透過共識標準和其他公共倡議的方式鼓勵機器學習優良規範發展的過程協調。本文件使用「機器學習優良規範」來描述一套AI/ML的最佳規範,例如資料管理、特徵提取、訓練、可解釋性、評估與文件,類似於優良軟體工程規範或品質系統規範。開發與採用這套做法不僅對於指導行業、產品開發是重要的,對於監督製造商遵守公認的最佳做法和/或標準所製造的產品也很重要。

以病患為中心並兼顧使用者透明度的方法

機構認為基於AI/ML的醫材具有的考慮因素,因此有必要採取積極的以病患為中心的方法進行開發與應用,並考慮到可用性、公平性、信任感與責任感等問題,而FDA的解決方法之一為提高這些醫材對於使用者乃至於更廣泛的患者對此類醫材功能的透明度。因AI/ML的醫材可能會隨時間而學習與變化,並且演算法可能表現出一定程度的不透明性,因此促進透明度對於AI/ML的醫材格外重要。

根據機構在2020年10月召開有關基於AI/ML的醫材的患者參與諮詢委員會會議,深入了解會影響患者信任AI/ML技術的因素,目前正在彙編

本次會議所收集的意見,預計下一步將會舉辦公開研討會來分享經驗,並徵詢更廣泛的有關醫材標籤如何支持使用者透明度的意見。並考慮以此建議製造商的AI/ML醫材的標籤應包含的訊息類型,並增強對於AI/ML的醫材的信任。

與演算法偏差與穩健相關的監管科學方法

偏差與類推性不是只有AI/ML的醫材特有的問題,但因為AI/ML系統是使用歷史資料集做開發與訓練,因此很容易出現偏差。例如醫療照護的提供會因種族或社經地位等因素而有所不同,因此在醫療保健系統中存在的偏差也可能會在無意中引入到演算法中,故機構認知醫材對種族差異的預期患者群體的重要性,並能認知需要識別並消除偏差的方法,以及演算法在承受不斷變化的臨床狀況的穩健性與彈性。

FDA支持許多監管科學研究,涵蓋的研究單位包括FDA的監管科學與創新卓越中心、加州大學舊金山分校、史丹佛大學及約翰霍普金斯大學,主要負責開發可以評估這類基於AI/ML的軟體,未來將持續發展與擴大工作範圍。

真實世界表現績效 Real-World PerformanceRWP

利益相關者提出的問題包括:何種類型的參考資料適合在場域測量AI/ML軟體的性能?每個利益相關者應執行多少監督?應多久向機構一次資料且每次提供多少資料?如何驗證與測試演算法及模型?最終使用者的反饋意見如何納入到AI/ML的SaMD的訓練與評估中?總體而言,利益相關者反饋出在這些方面需要明確定義與指導。

由於利益相關者提出對真實世界表現績效的明確要求,因此本文件提出完全採用產品生命週期方法來監督基於AI/ML的SaMD,可以透過收集和監控實際資料來支持對這些SaMD軟體進行修改。收集SaMD實際使用情況下的真實性能資料可以使製造商了解其產品的使用方式、確定改善的時機、對安全性與可用性等方面的問題做出積極回應。收集與監控真實世界的資料可以減低製造商修改SaMD所涉及風險的重要機制,可用以評估特定營銷下的收益風險概況。

作為行動計畫的一部分,機構將與利益相關方合作支持對真實世界性能表現進行監控的試驗,並會與FDA其他正在進行且著重在使用真實世界資料的計畫協調,旨在幫助FDA開發可在真實世界中無縫收集和驗證以AI/ML的SaMD的相關參數與指標的框架。此外還可用來確定閾值及這類SaMD的真實世界資料最關鍵的指標(包括安全性或可用性等方面)進行性能表現評估,並徵求最終使用者的反饋,因此這些行動須包括公眾的參與。最後,由於基於AI/ML的SaMD目前正快速發展中,FDA預期隨著本行動計畫開展,將繼續有新的方面或項目需尋求進一步的討論與釐清,並期待與利益相關者共同努力,在AI/ML相關的共同關注領域建立協調一致的方法。

參考文獻:

Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD) Action Plan. https://www.fda.gov/news-events/press-announcements/fda-releases-artificial-intelligencemachine-learning-action-plan