（一）文獻(xiàn)基本信息

文獻(xiàn)題目：Prospective assessment of breast cancer risk from multimodal multiview ultrasound images via

clinically applicable deep learning

研究單位：University of Southern California

發(fā)表時(shí)間：2021年6月

期刊名稱：Nat Biomed Eng

影響因子：25.672

期刊分區(qū)：1

（二）核心亮點(diǎn)

1. 本研究最重要的貢獻(xiàn)是提高了臨床適用性,。具體而言,，在一組預(yù)期連續(xù)的患者中，將人工智能系統(tǒng)的性能與七名人類專家的性能進(jìn)行了比較。

2. 創(chuàng)建了數(shù)字熱圖,，強(qiáng)調(diào)與人工智能系統(tǒng)預(yù)測(cè)相關(guān)的特征圖的重要性,。這種可解釋性特征允許評(píng)估感興趣區(qū)域(ROI)，對(duì)于每種成像模式都具有潛在的臨床價(jià)值(即,，它們指導(dǎo)臨床醫(yī)生研究原始US圖像中的相應(yīng)區(qū)域,，然后重新評(píng)估其臨床價(jià)值)。因此,，將此類輔助信息與原始臨床醫(yī)生評(píng)估相結(jié)合,，可能會(huì)提高臨床醫(yī)生在做出最終知情決定(如BI-RADS分類和常規(guī)轉(zhuǎn)診活檢/隨訪建議)時(shí)的信心水平。

（三）思路與方法

本研究證實(shí)了一個(gè)可解釋的深度學(xué)習(xí)系統(tǒng),，該系統(tǒng)對(duì)來(lái)自兩家醫(yī)院的634名患者的721個(gè)活檢證實(shí)的病灶的10,，815個(gè)多模態(tài)乳腺超聲圖像進(jìn)行了訓(xùn)練，并對(duì)來(lái)自141名患者的152個(gè)病灶的912個(gè)附加圖像進(jìn)行了前瞻性測(cè)試,，該系統(tǒng)預(yù)測(cè)乳腺癌的BI-RADS評(píng)分與經(jīng)驗(yàn)豐富的放射科醫(yī)生一樣準(zhǔn)確,，雙模態(tài)圖像的受試者操作曲線下面積為0.922 (95%置信區(qū)間(CI)= 0.868–0.959)和0.955 (95%)。

（四）摘要

The clinical application of breast ultrasound for the assessment of cancer risk and of deep learning for the classification of breast-ultrasound images has been hindered by inter-grader variability and high false positive rates and by deep-learning models that do not follow Breast Imaging Reporting and Data System (BI-RADS) standards, lack explainability features and have not been tested prospectively. Here, we show that an explainable deep-learning system trained on 10,815 multimodal breast-ultrasound images of 721 biopsy-confirmed lesions from 634 patients across two hospitals and prospectively tested on 912 additional images of 152 lesions from 141 patients predicts BI-RADS scores for breast cancer as accurately as experienced radiologists, with areas under the receiver operating curve of 0.922 (95% confidence interval (CI)?=?0.868–0.959) for bimodal images and 0.955 (95% CI?=?0.909–0.982) for multimodal images. Multimodal multiview breast-ultrasound images augmented with heatmaps for malignancy risk predicted via deep learning may facilitate the adoption of ultrasound imaging in screening mammography workflows.

乳腺超聲在癌癥風(fēng)險(xiǎn)評(píng)估和乳腺超聲圖像分類深度學(xué)習(xí)方面的臨床應(yīng)用受到了分級(jí)間可變性和高假陽(yáng)性率的阻礙,，也受到了深度學(xué)習(xí)模型的阻礙，這些模型不符合乳腺成像報(bào)告和數(shù)據(jù)系統(tǒng)(BI-RADS)標(biāo)準(zhǔn),，缺乏臨床可解釋性,，并且沒有進(jìn)行前瞻性驗(yàn)證。在這里,，我們證實(shí)了一個(gè)可解釋的深度學(xué)習(xí)系統(tǒng),，該系統(tǒng)對(duì)來(lái)自兩家醫(yī)院的634名患者的721個(gè)經(jīng)活檢證實(shí)的病灶的10，815個(gè)多模態(tài)乳腺超聲圖像進(jìn)行了訓(xùn)練,，并對(duì)來(lái)自141名患者的152個(gè)病灶的912個(gè)附加圖像進(jìn)行了前瞻性驗(yàn)證,，該系統(tǒng)預(yù)測(cè)乳腺癌的BI-RADS評(píng)分與經(jīng)驗(yàn)豐富的放射科醫(yī)生一樣準(zhǔn)確，雙模態(tài)圖像的接收器操作曲線下面積為0.922 (95%置信區(qū)間(CI)= 0.868–0.959)和0.955 (95%)通過深度學(xué)習(xí)預(yù)測(cè)惡性腫瘤風(fēng)險(xiǎn)的熱圖增強(qiáng)的多模式多視圖乳腺超聲圖像可能有助于在篩查乳腺攝影工作流程中采集超聲成像,。

（五）圖表

Fig.1用于乳腺癌風(fēng)險(xiǎn)預(yù)測(cè)的整體人工智能系統(tǒng),。使用深度學(xué)習(xí)框架(詳見補(bǔ)充圖1)，在視圖級(jí)多模式US圖像(即US B-模式,、US彩色多普勒和US彈性成像圖像)上開發(fā)了該模型,。對(duì)于每個(gè)前瞻性臨床試驗(yàn)病變，AI系統(tǒng)每次使用單視圖多模式US圖像作為輸入,，從多個(gè)視圖(即橫向和縱向視圖)評(píng)估可疑病變,，并輸出總體惡性腫瘤概率。通過改變操作閾值,，在AI系統(tǒng)中提出了三種不同的bcr,，以供臨床醫(yī)生比較和幫助。

Fig2.回顧性和前瞻性工作流程概述。由于回顧性調(diào)查的性質(zhì),，多視角超聲圖像沒有完全保存和/或視圖描述在某些病變中沒有明確標(biāo)記,。為了利用現(xiàn)有的大型多模態(tài)超聲成像數(shù)據(jù)集，人工智能系統(tǒng)是基于視圖級(jí)多模態(tài)超聲圖像(未區(qū)分橫向或縱向視圖)開發(fā)的,。具有明確標(biāo)記的正交視圖的病灶級(jí)多模態(tài)超聲圖像是在前瞻性環(huán)境中收集的,。需要指出的是，本研究中所有的BI-RADS分類都是在超聲影像學(xué)上專門確定的,。

表1.患者人口統(tǒng)計(jì)和乳腺病變特征

Fig3.使用病灶級(jí)US圖像預(yù)測(cè)前瞻性臨床試驗(yàn)集乳腺癌風(fēng)險(xiǎn)時(shí)ai系統(tǒng)和讀取器的性能,。a–d，結(jié)果對(duì)應(yīng)于整個(gè)集合(a,，b)和BIRADS 4子集(c,，d)的雙峰(a，c)和多峰(b,，d)圖像,。將我們的人工智能系統(tǒng)的性能與七個(gè)閱讀器中的每一個(gè)以及七個(gè)閱讀器在三種決策模式下的平均性能進(jìn)行了比較。誤差線代表95%置信區(qū)間,，是根據(jù)1,，000次數(shù)據(jù)引導(dǎo)計(jì)算得出的。

Fig4.人工智能預(yù)測(cè)基礎(chǔ)示例

使用梯度-計(jì)算機(jī)輔助制造方法從最終卷積層生成與相應(yīng)的美國(guó)圖像重疊的彩色編碼熱圖,。

a.惡性病變的橫向(第一)和縱向(第二)視圖示例,。結(jié)合兩個(gè)惡性概率得分，人工智能系統(tǒng)正確地將真正的陽(yáng)性病變分類,。b.良性病變的例子,。盡管從橫向觀察的假陽(yáng)性和從縱向觀察的真陰性之間存在差異，但是結(jié)合正交視圖可以減輕總體預(yù)測(cè)偏差,。預(yù)測(cè)基礎(chǔ)可以幫助人類專家理解人工智能系統(tǒng)所做決策的合理性,。

Fig.5 可理解的人工智能系統(tǒng)潛在地指導(dǎo)人類專家做出更好的臨床決策

顯示了人工智能輔助讀者研究的工作流程。對(duì)于每個(gè)隨機(jī)分配和顯示的測(cè)試病灶,，讀者從三個(gè)方面檢查信息,，包括原始多模態(tài)多視角超聲圖像、相應(yīng)的高亮熱圖和對(duì)惡性腫瘤風(fēng)險(xiǎn)概率的人工智能預(yù)測(cè),，然后最終確定BI-RADS分類,。

表2. 放射科醫(yī)生R1–R7在完成人工智能輔助閱讀器研究過程中對(duì)Bi-RADS和活檢決策變化的總結(jié)

（六）不足

1. 人群均來(lái)自中國(guó)，沒有排除種族差異,。

2. 僅適用一款超聲儀器,，不同儀器之間可能存在成像差異。

3. 測(cè)試集中的患者群體不能代表篩查人群中癌癥患者的自然分布,。由于只有活檢證實(shí)的患者被納入本研究,，該數(shù)據(jù)集缺乏接受隨訪的患者的信息。

4. 系統(tǒng)沒有納入患者的病史信息。
   

（七）啟發(fā)

1. 一個(gè)結(jié)合了高靈敏度,，高特異性以及解釋一致性的人工智能系統(tǒng)可以為臨床醫(yī)生提供幫助,，目前已開發(fā)有很多人工智能輔助系統(tǒng)，當(dāng)務(wù)之急是增強(qiáng)其可解釋性和臨床適用性,。

2. 現(xiàn)有的深度學(xué)習(xí)系統(tǒng)多只學(xué)習(xí)了一個(gè)超聲圖像視角,，不符合BIRADS標(biāo)準(zhǔn)診斷方案，在今后的模型建立中應(yīng)考慮加入多角度,，多模態(tài)的超聲圖像,，增強(qiáng)其準(zhǔn)確性與臨床適用性。

【參考文獻(xiàn)】

Qian, X., et al. (2021). 'Prospective assessment of breast cancer risk from multimodal multiview ultrasound images via clinically applicable deep learning.' Nat Biomed Eng 5(6): 522-532.

       采編：涂夢(mèng)節(jié)   審核：張杰