|
原文：Seven Common Errors in Decision Curve Analysis 在進行決策曲線分析時，常常會犯一些錯誤,。感覺此文講得挺好,，尤其是第5條，簡單翻譯整理了一下與君共享,。Steyerberg等人在其關于預測模型評估的經(jīng)典論文中概述了一個三步過程：區(qū)分度（Discrimination）,、校準度（Calibration）和臨床實用性。我們首先要問：我們的模型是否區(qū)分了有疾病和沒有疾病的人,？如果是這樣,，我們繼續(xù)問：模型預測給出的單個患者的風險與他們的真實風險相對應嗎？但是即使前兩個問題的答案是肯定的,，我們?nèi)匀灰獑?，?strong>臨床實踐中使用該模型來幫助臨床決策是否弊大于利,。Steyerberg等人明確建議將決策曲線分析作為評估模型臨床實用性的方法。決策曲線分析目前廣泛應用于醫(yī)學研究,。例如,，在2022年，PubMed發(fā)現(xiàn)有1500多篇論文在摘要中使用了“決策曲線分析”這一術語,，當然還會有更多的論文使用這種方法,，但在摘要中沒有使用這個確切的術語。自然地,，決策曲線分析有時使用得很好,，有時使用得不太好。下面我將討論一些在實踐中常見的錯誤,。有關決策曲線分析的更多信息,，包括代碼、教程,、數(shù)據(jù)集和介紹性論文的參考書目,，可參閱www.decisioncurveanalysis.org。錯誤1：未能指定臨床決策 統(tǒng)計預測模型的創(chuàng)建通常是為特定的醫(yī)療決策或少量相關決策提供信息,。例如，預測患者患癌癥風險的模型通常用于為活檢決策提供信息,；預測術后并發(fā)癥風險的模型可能用于選擇進行“康復性訓練”（風險中等）的患者或建議患者不要進行手術（風險高）,。決策曲線分析評估這些決策，如果患者遵循預測模型,，與“全部治療”或“全部不治療”的默認策略相比,，其臨床結(jié)果是否有所改善。然而,，如果調(diào)查人員沒有具體說明決策,，那么就很難看出決策曲線分析實際評估的是什么。一個例外是用于患者咨詢的一般預后模型,。癌癥護理就是一個例子,。癌癥患者自然會問“醫(yī)生，你認為我還能活多久,？”因為有各種各樣的個人決定都是基于這樣的答案：我應該退休嗎,？開始那個新項目？把我的財務安排好了嗎,？去看我的孩子,？這類模型是證明（指定臨床決策）這一規(guī)則的例外。因此,，決策曲線分析應明確所研究模型將告知的決策,，或者聲明這是一個通用的預測模型,，用于告知非常廣泛的個人咨詢決策。錯誤2：顯示的閾值概率范圍太寬 在明確旨在告知特定決策（如活檢或預防性治療）的模型中,，決策曲線分析并不罕見,。x軸包含了非常寬的閾值概率范圍，這些閾值概率中的許多都是無信息的,。例如,，沒有必要知道癌癥預測模型在閾值概率為80%時的凈收益，因為在同意活檢之前,，任何合理的決策者都不應該要求癌癥風險達到80%,。除非評估如上所述的用于一般患者咨詢的預后模型，研究人員應預先指定一個有限的合理閾值概率范圍,，并將x軸限制在該范圍內(nèi),。該規(guī)則的一個合理例外是，閾值概率的下限較低,，例如5%或10%,，在這種情況下研究人員可以選擇將x軸從0開始。錯誤3：x軸下方空白區(qū)域太多 負凈收益并不是很有趣,。研究人員應截斷y軸,，使其從凈收益的某個負水平開始，-0.01是一個典型的選擇,。這樣圖表顯示曲線具有負凈收益的位置,，而不會在y軸下方產(chǎn)生過多的空白。左邊的圖（你想避免的）和右邊的圖（其中y軸被截斷,，Stata中“ymin(-0.01)”,，R中“ylim=c(-0.01,0.04)”）。
在設置圖形參數(shù)時應小心,，否則可能使曲線懸掛在x軸上方,，如下圖：
這樣是有問題的。因為我們需要知道凈收益在哪里小于零,，盡管不知道少多少,。隨著閾值概率的增加，凈收益應該連續(xù)而流暢地減少直到它達到零,，在這一點之后它可能會繼續(xù)減少,，或者在某些情況下，對于閾值概率的所有較高值,，它都保持為零,。然而，當從有限的數(shù)據(jù)集計算凈收益時，統(tǒng)計不精確性（“噪聲”）可能會導致局部失真,。例如,，因為偶然因素，可能沒有患者的預測概率處于給定的概率閾值,，但接下來有幾個患者的預測概率處于最高水平,，這會導致閾值概率的微小變化導致凈收益的巨大差異，如左圖所示,。在右側(cè)圖表中,，凈收益設置為每2.5%計算一次（例如，通過Stata中的"xby(0.025)"或R中的"thresholds=seq(0,0.4,0.025)",，并添加了一個平滑器（例如,，Stata中"smooth"或R的"plot(smooth=TRUE)"）。應該指出的是,，統(tǒng)計學家在這一點上存在一些分歧,。有些人覺得你應該真實地“展示數(shù)據(jù)”。我的觀點是,，圖表應該反映出對潛在科學真理的最佳猜測,，其將是一條沒有局部失真的平滑曲線。
決策曲線分析涉及三個步驟：指定合理的閾值概率范圍,；計算該范圍內(nèi)的凈收益,；確定模型在整個范圍內(nèi)的凈收益是否最高。一些研究人員使用決策曲線的結(jié)果來選擇模型的閾值概率,，而不是使用閾值概率來評估模型,。例如，見下圖,，預測癌癥活檢結(jié)果的模型的決策曲線,，其中顯示了用于說教目的的廣泛的閾值概率。一些作者可能會得出錯誤的結(jié)論,，即該模型應在閾值概率為25%-50%的情況下使用,。正確的結(jié)論是,，由于活檢的典型閾值約為10%，與對所有患者進行活檢的默認策略相比,，使用該模型會造成傷害,。
錯誤6：忽視統(tǒng)計分析的實際結(jié)果決策曲線分析不能避免研究人員忽視統(tǒng)計分析的實際結(jié)果并宣布成功的不幸趨勢,。上面“錯誤5”下顯示的決策曲線清楚地表明,，該模型不應用于告知是否進行癌癥活檢,，但研究人員可能會說該模型“在廣泛的閾值概率范圍內(nèi)顯示出凈效益”。在同一數(shù)據(jù)集上創(chuàng)建和測試的模型容易出現(xiàn)過度擬合,，因此它們看起來比實際具有更好的性能,。有許多簡單且廣泛使用的方法可以糾正過度擬合。這些應用于區(qū)分度（例如ROC曲線下的面積）的計算并不少見,，但在決策曲線中卻被忽略,。作者可以使用交叉驗證方法為數(shù)據(jù)集中的每個患者創(chuàng)建預測概率,，然后使用這些概率來計算ROC曲線下的面積和決策曲線分析的凈收益,。已經(jīng)發(fā)表了一篇描述這種方法的方法論論文,，并在www.decisioncurveanalysis.org上的教程中提供了分步說明,。
|
