在藥監(jiān)局進(jìn)行“人工智能類醫(yī)療器械注冊申報公益培訓(xùn)”半年之后,，關(guān)于審批要求相關(guān)的官方詳細(xì)文件終于下達(dá)。半年前的會議上，藥監(jiān)局細(xì)致入微的分析了影響醫(yī)療人工智能器械審批的每一個過程,，細(xì)化到對每個指標(biāo)進(jìn)行了詳盡的講解。

這一次,，藥監(jiān)局正式向AI企業(yè)發(fā)布了審批相關(guān)文件《深度學(xué)習(xí)輔助決策醫(yī)療器械軟件審批要點》（以下簡稱《要點》）,，以文件的方式將審批相關(guān)的具體指標(biāo)確立下來。

相比上一次會議,，藥監(jiān)局沒有把過多的筆墨放在流程介紹上,，整個文件直擊人工智能軟件的數(shù)據(jù)質(zhì)量控制、算法泛化能力,、臨床使用風(fēng)險,、臨床使用風(fēng)險應(yīng)當(dāng)考慮數(shù)據(jù)質(zhì)量控制、算法泛化能力的直接影響,，以及算力所用計算資源（即運行環(huán)境）失效的間接影響六大要點,。

具體而言，《要點》由適用范圍,、審批關(guān)注要點,、軟件更新,、相關(guān)技術(shù)考量、注冊申報資料說明五個部分組成,，每一部分均對其中涉及的指標(biāo)進(jìn)行了非常細(xì)致的介紹,。

需要注意的是，該文件不僅包含了輔助診斷的考量,，還明確了非輔助決策軟件,、傳統(tǒng)人工智能軟件的要求以及第三方數(shù)據(jù)庫、移動與云計算等考量,。

結(jié)合《要點》內(nèi)容,，動脈網(wǎng)采訪了數(shù)位從事醫(yī)療人工智能的相關(guān)人士，嘗試從政策之中挖掘2019年下半年“醫(yī)療+AI”的發(fā)展方向,。

從審批的流程與關(guān)注點看,，以基于風(fēng)險的全生命周期管理為軟件監(jiān)管根本的直到原則早已確定，而為實施此選擇所提及的適用范圍,、風(fēng)險考量,、需求分析、軟件確認(rèn),、臨床實驗等因素也已成定式,，但其中的細(xì)節(jié)部分仍有所改良。

審評要點重點關(guān)注軟件的數(shù)據(jù)質(zhì)量控制,、算法泛化能力,、臨床使用風(fēng)險、臨床使用風(fēng)險應(yīng)當(dāng)考慮數(shù)據(jù)質(zhì)量控制,、算法泛化能力的直接影響,，以及算力所用計算資源（即運行環(huán)境）失效的間接影響。

具體而言,，動脈網(wǎng)從《要點》之中提取了6個關(guān)鍵詞,，這6個關(guān)鍵詞明確了人工智能企業(yè)在審批中所需注意的關(guān)鍵。

準(zhǔn)則的適用范圍包括兩類軟件,。

1. 深度學(xué)習(xí)輔助決策醫(yī)療器械軟件：即基于醫(yī)療器械數(shù)據(jù)（醫(yī)療器械所生成的醫(yī)學(xué)圖像、醫(yī)學(xué)數(shù)據(jù),，以下統(tǒng)稱數(shù)據(jù)）,，使用深度學(xué)習(xí)技術(shù)進(jìn)行輔助決策的軟件。

2. 使用深度學(xué)習(xí)技術(shù)進(jìn)行前處理（如成像質(zhì)量改善,、成像速度提升,、圖像重建）、流程優(yōu)化（如一鍵操作）,、常規(guī)后處理（如圖像分割,、數(shù)據(jù)測量）等非輔助決策的軟件可參考使用本審評要點,。

需要注意的是，這里不再把深度學(xué)習(xí)軟件化分為可分為AI獨立軟件（本身即為醫(yī)療器械的AI軟件）與AI軟件組件（醫(yī)療器械內(nèi)含的AI軟件）,而是以是否“輔助決策”對產(chǎn)品進(jìn)行了劃分,，強調(diào)了產(chǎn)品的“輔助”功能,；同時，這也明確表示非輔助決策軟件也將以類似手段進(jìn)入審批流程,。

審批提出了軟件的數(shù)據(jù)質(zhì)量控制、算法泛化能力,、臨床使用風(fēng)險,，臨床使用風(fēng)險應(yīng)當(dāng)考慮數(shù)據(jù)質(zhì)量控制、算法泛化能力的直接影響,，以及算力所用計算資源（即運行環(huán)境）失效的間接影響六個方面,。

而這六個方面正是人工智能企業(yè)所實際面臨的問題，數(shù)據(jù)質(zhì)量關(guān)系著算法的成熟度,；泛化能力則是指人工智能產(chǎn)品在不同人群中的普適能力,；臨床試驗更是制約現(xiàn)階段AI產(chǎn)品發(fā)展的關(guān)鍵……每一個問題都卡住了一批AI企業(yè),。

那么,，在要點中重申這些監(jiān)管要點之后，藥監(jiān)局會提出相應(yīng)的解決方案對人工智能企業(yè)進(jìn)行輔助嗎,？一切仍有待時間給出答案,？

在審批之中,，數(shù)據(jù)收集應(yīng)當(dāng)考慮數(shù)據(jù)采集,、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注,、數(shù)據(jù)集構(gòu)建等活動的質(zhì)控要求,，以保證數(shù)據(jù)質(zhì)量和算法設(shè)計質(zhì)量。

在實際審批之中,，數(shù)據(jù)在審批過程中非常重要,。據(jù)動脈網(wǎng)了解，多家人工智能企業(yè)在提交《創(chuàng)新醫(yī)療器械特別審批程序》時,，被審批機構(gòu)以“缺少訓(xùn)練集,、調(diào)優(yōu)集、測試集中主要數(shù)據(jù)來源機構(gòu)”,；“缺少主要采集數(shù)據(jù)的分布情況”,；“缺少不同設(shè)備和來源機構(gòu)的測試數(shù)據(jù)”；“缺少數(shù)據(jù)標(biāo)注質(zhì)量控制中人員資歷,、數(shù)量的要求”,；“缺少基于一定樣本量真實數(shù)據(jù)的用戶測試”等理由駁回,。

對于上述問題，《要點》中認(rèn)為,，采集設(shè)備質(zhì)控應(yīng)當(dāng)明確采集設(shè)備的兼容性要求和采集要求,。兼容性要求應(yīng)當(dāng)基于數(shù)據(jù)生成方式（直接生成、間接生成）提供采集設(shè)備兼容性列表或技術(shù)要求,，明確采集設(shè)備的制造商,、型號規(guī)格、性能指標(biāo)等要求,，若對采集設(shè)備無具體要求應(yīng)當(dāng)提供相應(yīng)支持資料,。

采集要求應(yīng)當(dāng)明確采集設(shè)備的采集方式（如常規(guī)成像、增強成像）,、采集協(xié)議（如MRI成像序列）,、采集參數(shù)（如CT加載電壓、加載電流,、加載時間,、層厚）、采集精度（如分辨率,、采樣率）等要求,。

若使用現(xiàn)有歷史數(shù)據(jù)，應(yīng)當(dāng)明確采集設(shè)備要求,、數(shù)據(jù)采集質(zhì)量評估要求（如人員,、方法、指標(biāo),、通過準(zhǔn)則）,。同時，采集的數(shù)據(jù)應(yīng)當(dāng)進(jìn)行數(shù)據(jù)脫敏以保護(hù)患者隱私,。數(shù)據(jù)脫敏應(yīng)當(dāng)明確脫敏的類型（靜態(tài),、動態(tài)）、規(guī)則,、程度,、方法。

數(shù)據(jù)預(yù)處理,、數(shù)據(jù)標(biāo)注,、數(shù)據(jù)集構(gòu)建三個方面文件亦給出了明確的要求，但要求相對簡單,，企業(yè)只需按照要求的模式執(zhí)行即可,，這里不作贅述。

除了常規(guī)命名方面的要求外,，《要點》提到了算法訓(xùn)練與網(wǎng)絡(luò)安全防護(hù)問題,。

其中，算法訓(xùn)練需要基于訓(xùn)練集,、調(diào)優(yōu)集進(jìn)行訓(xùn)練和調(diào)優(yōu),，應(yīng)當(dāng)明確評估指標(biāo)、訓(xùn)練方法,、訓(xùn)練目標(biāo),、調(diào)優(yōu)方法、訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線等要求,。

評估指標(biāo)建議根據(jù)臨床需求進(jìn)行選擇,，如敏感性、特異性等,。訓(xùn)練方法包括但不限于留出法和交叉驗證法,。訓(xùn)練目標(biāo)應(yīng)當(dāng)滿足臨床要求，提供ROC曲線等證據(jù)予以證實,。調(diào)優(yōu)方法應(yīng)當(dāng)明確算法優(yōu)化策略和實現(xiàn)方法,。訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線應(yīng)當(dāng)能夠證實算法訓(xùn)練的充分性和有效性。

而在網(wǎng)絡(luò)安全防護(hù)方面,，應(yīng)當(dāng)結(jié)合軟件的預(yù)期用途,、使用場景和核心功能，基于保密性,、完整性,、可得性等網(wǎng)絡(luò)安全特性，確定軟件網(wǎng)絡(luò)安全能力建設(shè)要求,，以應(yīng)對網(wǎng)絡(luò)攻擊和數(shù)據(jù)竊取等網(wǎng)絡(luò)威脅。相關(guān)要求詳見網(wǎng)絡(luò)安全指導(dǎo)原則,。

類軟件常見網(wǎng)絡(luò)威脅包括但不限于框架漏洞攻擊,、數(shù)據(jù)污染，其中框架漏洞攻擊是指利用算法所用現(xiàn)成框架本身漏洞進(jìn)行網(wǎng)絡(luò)攻擊,，數(shù)據(jù)污染是指通過污染輸入數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)攻擊,。

軟件確認(rèn)是本次《要點》中的重點,，文件中明確表示,，企業(yè)應(yīng)根據(jù)軟件指導(dǎo)原則要求，提交基于臨床試驗的臨床評價資料,，即提交申報產(chǎn)品的臨床試驗資料,，或者與申報產(chǎn)品核心算法具有實質(zhì)等同性的同品種產(chǎn)品或同類軟件功能的臨床試驗資料。

而對于臨床試驗,，《要點》建議優(yōu)先選擇同品種產(chǎn)品或臨床參考標(biāo)準(zhǔn)（即臨床金標(biāo)準(zhǔn)）進(jìn)行非劣效對照設(shè)計,，若無同品種產(chǎn)品且難以獲取臨床參考標(biāo)準(zhǔn)（如違背倫理學(xué)要求）可選擇替代方法,，如選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨決策進(jìn)行優(yōu)效對照設(shè)計。

非劣效界值或優(yōu)效界值的確定應(yīng)當(dāng)有充分的臨床依據(jù),。此外考慮到用戶的差異性,，可選擇多閱片者多病例（MRMC）試驗設(shè)計。

《要點》建議企業(yè)應(yīng)結(jié)合適用人群,、病變等層面選擇觀察指標(biāo),，原則上選擇敏感性、特異性,、ROC/AUC作為主要觀察指標(biāo),，亦可在此基礎(chǔ)上根據(jù)軟件特點選擇敏感性/特異性衍生指標(biāo)、ROC/AUC衍生指標(biāo),、組內(nèi)相關(guān)系數(shù),、Kappa系數(shù)、時間效率,、數(shù)據(jù)有效使用率等指標(biāo)作為觀察指標(biāo),。

入排標(biāo)準(zhǔn)應(yīng)當(dāng)基于目標(biāo)疾病流行病學(xué)特征，保證陽性樣本和陰性樣本選取的合理性和充分性,。而在實際之中,，大部分企業(yè)傾向于選擇敏感性、特異性,、ROC/AUC作為主要觀察指標(biāo),。

病理影像的識別需要用AUC作為觀察指標(biāo)，圖片來源于論文《Pathologist-level Interpretable Whole-slide Cancer Diagnosis with Deep Learning》

對于臨床試驗的結(jié)果,，《要點》建議由第三方獨立評價,，且實施機構(gòu)應(yīng)當(dāng)具備代表性和廣泛性，不同于訓(xùn)練數(shù)據(jù)主要來源機構(gòu),，地域分布盡可能廣泛,，機構(gòu)數(shù)量盡可能多，以確認(rèn)算法泛化能力,。

例如,，預(yù)期以提高輔助診斷時間效率為首要目標(biāo)的某軟件，無同品種產(chǎn)品且難以獲取臨床參考標(biāo)準(zhǔn),，其臨床試驗設(shè)計可選擇用戶結(jié)合軟件聯(lián)合決策與用戶單獨決策進(jìn)行交叉對照設(shè)計,，以敏感性、特異性,、時間效率作為主要觀察指標(biāo),，其中敏感性、特異性可為非劣性對照，時間效率指標(biāo)應(yīng)當(dāng)為優(yōu)效對照,。

事實上,，國內(nèi)已經(jīng)有諸多企業(yè)嘗試以多中心試驗證實人工智能產(chǎn)品在真實世界的有效性。數(shù)坤科技在今天5月30日便發(fā)布了其AI與金標(biāo)準(zhǔn)對照多中心結(jié)果,，值得其他企業(yè)借鑒,。

最后，《要點》指出,，臨床評價采用基于現(xiàn)有歷史數(shù)據(jù)的回顧性研究即可,，沒有提到前瞻性研究，據(jù)相關(guān)人士透露,，現(xiàn)有AI產(chǎn)品的臨床評價中,，還未有案例通過前瞻性研究。

《要點》中提到,，申報的軟件名稱需符合獨立軟件通用名稱命名規(guī)范要求，體現(xiàn)處理對象（如CT圖像,、眼底照片）,、目標(biāo)疾病（含病變,、疾病屬性）,、臨床用途（如輔助篩查、輔助識別）等特征詞,。

輔助決策獨立軟件適用范圍應(yīng)當(dāng)明確預(yù)期用途,、使用場景和核心功能，包括但不限于處理對象,、目標(biāo)疾病,、臨床用途、適用人群,、目標(biāo)用戶,、使用場所、采集設(shè)備要求,、臨床使用限制。

企業(yè)必須提供：一,、軟件描述文檔核心算法部分應(yīng)當(dāng)結(jié)合本審評要點提供相應(yīng)算法研究資料,；二、包括數(shù)據(jù)來源合規(guī)性聲明,；三,、算法性能影響因素分析資料以及各類測試場景下算法性能評估結(jié)果比較分析資料。

這部分內(nèi)容相對簡單，但據(jù)動脈網(wǎng)了解,，仍有相關(guān)企業(yè)因為“產(chǎn)品與實際用途不符”等原因被審批方駁回,。

除了上述6個關(guān)鍵點外，《要點》也提及了第三方數(shù)據(jù)庫,、測評數(shù)據(jù)庫,、云端部署等要點，但與過去政策無大致變化,，對于說明書,，按照《醫(yī)療器械說明書和標(biāo)簽管理規(guī)定》準(zhǔn)則執(zhí)行。

對于非輔助決策軟件,、傳統(tǒng)人工智能軟件的要求以及第三方數(shù)據(jù)庫,、移動與云計算?！兑c》提出提出了“前處理軟件功能原則上應(yīng)當(dāng)開展算法性能評估,、臨床評價；流程優(yōu)化軟件功能開展算法性能評估即可,，無需開展臨床評價,；常規(guī)后處理軟件功能原則上開展算法性能評估即可，全新功能應(yīng)當(dāng)開展臨床評價”的評價要求,。

在政府發(fā)布文件之后，動脈網(wǎng)聯(lián)系了深睿醫(yī)療,、數(shù)坤科技,、圖瑪深維等人工智能企業(yè)。對于政策本身,，大部分企業(yè)表示,，相對于過去的政策，該政策與以往政策的差異性不大,，更多的是在一些細(xì)節(jié)方面,，《要點》提出了更為細(xì)致的規(guī)劃。事實上,，企業(yè)大都按部就班地按照政策執(zhí)行著審批程序,。

值得一提的是，有不愿意透露名字的企業(yè)表示他們也在嘗試以前瞻性實驗的方式進(jìn)行臨床評價,，以超過標(biāo)準(zhǔn)要求的方式獲得認(rèn)可,，但前景并不明朗。

部分企業(yè)正努力在審批之中尋求創(chuàng)新

對于政策本身,，長期從事醫(yī)療政策分析的京夢咨詢創(chuàng)始人張京雷則提出了不同的看法,。他認(rèn)為：這一政策細(xì)致描述了人工智能審批過程中的細(xì)節(jié),，起到了規(guī)范和明確的作用，但并不代表三類器械證將很快下達(dá)下來,。反之,，這可能暗示政府將對人工智能醫(yī)療產(chǎn)品加以更為嚴(yán)格的監(jiān)管。

但無論如何,，人工智能作為“輔助”診斷的角色已經(jīng)敲定,，那么在這一定義下，相關(guān)企業(yè)究竟應(yīng)該把腳步放在何方,？我們拭目以待,！

*封面圖片來源：https://www./