當(dāng)你在果殼上讀到一項(xiàng)有趣的心理學(xué)研究,,你會(huì)不會(huì)想:“這個(gè)研究再做一次,,能得到相同的結(jié)果嗎?” 如果這個(gè)念頭閃過(guò)你的腦海,,恭喜你,!你和許多科學(xué)家思忖著相同的問(wèn)題——科研結(jié)果的可再現(xiàn)性(reproducibility),。可再現(xiàn)性是科學(xué)的核心特征,。它意味著,,當(dāng)我們分析某個(gè)研究產(chǎn)生的數(shù)據(jù),或是用與原研究同樣的方法收集新數(shù)據(jù)時(shí),,這些數(shù)據(jù)能通向與原研究相同的結(jié)果,。 然而,“盡管可再現(xiàn)性如此重要,,我們對(duì)科學(xué)研究總體上的可再現(xiàn)性如何卻知之甚少,。”弗吉尼亞大學(xué)心理學(xué)教授布萊恩·諾賽克(Brian Nosek)說(shuō),,“越來(lái)越多人擔(dān)心科研成果的可再現(xiàn)性會(huì)比期待中或理想狀況更低,。” 早在十年前,,斯坦福大學(xué)醫(yī)學(xué)院的約翰·尤安尼迪斯(John Ioannidis)教授就發(fā)表了一篇名為《為何大部分已發(fā)表的研究發(fā)現(xiàn)都不真實(shí)》(Why Most Published Research Findings Are False)的報(bào)告,。他估測(cè),按當(dāng)前期刊出版和數(shù)據(jù)分析的趨勢(shì),,很有可能導(dǎo)致一半以上的科學(xué)研究成果與事實(shí)不符,,進(jìn)而難以被再現(xiàn)。 尤安尼迪斯不是一個(gè)人在戰(zhàn)斗——十年后,,在諾賽克參與創(chuàng)建的“開(kāi)放科學(xué)中心”(Center for Open Science),,一群研究者試圖大規(guī)模探索發(fā)表在主流心理學(xué)期刊上的結(jié)果的可再現(xiàn)性。 100項(xiàng)研究 在這個(gè)名為“可再現(xiàn)性項(xiàng)目:心理學(xué)篇”(Reproducibility Project: Psychology)的大課題中,,來(lái)自五大洲的超過(guò)270位研究者試圖再現(xiàn)在3份頂級(jí)心理學(xué)期刊上發(fā)表的100項(xiàng)研究發(fā)現(xiàn),。研究結(jié)果[1]發(fā)表在最新一期的《科學(xué)》(Science)上。 在2008年發(fā)表在各本《心理科學(xué)》《人格與社會(huì)心理學(xué)》及《實(shí)驗(yàn)心理學(xué)雜志:學(xué)習(xí),、記憶與認(rèn)知》上的488篇論文中,,可再現(xiàn)性項(xiàng)目研究組選擇了111項(xiàng)適合重復(fù)的研究進(jìn)行驗(yàn)證,最終有100項(xiàng)重復(fù)工作及時(shí)完成,,被匯總到論文中,。 研究者定出了衡量可再現(xiàn)性的五條標(biāo)準(zhǔn),而根據(jù)這些標(biāo)準(zhǔn)判斷,,能再現(xiàn)的研究不足一半,。 對(duì)比原研究(Original Studies)和再現(xiàn)研究(Replications) 中的P值(P values,圖A)和效應(yīng)量(Effect Sizes,,圖B)的密度圖,。圖片來(lái)源:研究論文 100項(xiàng)原研究中,97%的研究得出了顯著的效應(yīng)——獲得了小于或等于0.05的P值,。然而,,再現(xiàn)研究中僅有36%得出了同等的效應(yīng),。此外,與原研究的結(jié)果相比,,再現(xiàn)實(shí)驗(yàn)所得出的效應(yīng)量出現(xiàn)了明顯減小,。83%的再現(xiàn)效應(yīng)都小于原研究估計(jì)的效應(yīng)。 作為迄今為止最大規(guī)模的再現(xiàn)項(xiàng)目之一,,這一研究在心理學(xué)界至于整個(gè)科學(xué)界都引起了關(guān)注。這看上去并不樂(lè)觀的結(jié)果說(shuō)明了什么,? 結(jié)論值得反思 談到這篇論文時(shí),,《科學(xué)》雜志的主編瑪西婭·麥克納特(Marcia McNutt)博士表示這樣的項(xiàng)目能幫助學(xué)界更好地理解怎樣的研究更可能被再現(xiàn)?!袄?,這項(xiàng)研究的一個(gè)重要結(jié)論在于,如果原研究的結(jié)果越顯著,,這些結(jié)果就越可能能被再現(xiàn),。”她說(shuō),,“這告訴論文作者和期刊編輯,,他們對(duì)待那些處于邊緣顯著狀態(tài)的結(jié)果要尤為謹(jǐn)慎,因?yàn)檫@意味著它們沒(méi)那么可能被重現(xiàn),?!?/p> “需要強(qiáng)調(diào)的是,這一多少有些令人失望的結(jié)果并不直接對(duì)原理論的正誤蓋棺定論,,這一點(diǎn)非常重要,。”《科學(xué)》的高級(jí)編輯吉爾伯特·欽(Gilbert Chin)博士強(qiáng)調(diào),,“研究結(jié)果表明的是,,我們不應(yīng)該過(guò)分確信支持某種假說(shuō)的原始實(shí)驗(yàn)數(shù)據(jù)?!?/strong> 諾塞克指出,,有三個(gè)原因可能解釋一些原研究的結(jié)果為什么無(wú)法被再現(xiàn)?!?strong>其一是原研究所得的效應(yīng)是假陽(yáng)性結(jié)果,,這個(gè)效應(yīng)本就不真實(shí),被觀測(cè)到純屬偶然,。其二則可能是我們的再現(xiàn)研究得到了假陰性結(jié)果,,而沒(méi)有捕捉到真實(shí)的效應(yīng)?!敝Z塞克說(shuō),,“又或者,,原研究和再現(xiàn)研究的估測(cè)都是準(zhǔn)確的,可兩者的研究方法在關(guān)鍵部分有了差別,?!焙?jiǎn)而言之,無(wú)法再現(xiàn)原研究發(fā)現(xiàn)并不意味著原研究是錯(cuò)誤的,。同理,,即便結(jié)果被成功再現(xiàn),也不能證明原研究的假設(shè)肯定是正確的,。 好煩好含糊,,能不能給出一個(gè)定論? 現(xiàn)在還不能,。 人們總渴望“說(shuō)一是一說(shuō)二是二”,,科學(xué)家也不例外。但科學(xué)的特性決定了這不現(xiàn)實(shí),?!拔覀円埠芟M麖拿總€(gè)研究每個(gè)項(xiàng)目每篇報(bào)告中獲得確定無(wú)疑的答案,但科學(xué)提供的并不是確定性,,至少不能馬上提供,。”諾塞克解釋說(shuō),,“科學(xué)是一個(gè)不斷減少不確定性的過(guò)程,。” 每年,,科學(xué)界進(jìn)行的各種研究超過(guò)150萬(wàn)個(gè),,這個(gè)數(shù)目還在不斷增加?!懊總€(gè)研究都有一定的證據(jù),,為形成某個(gè)結(jié)論提供了些許信息。但真正的結(jié)論,,讓你能確信某個(gè)東西是正確還是錯(cuò)誤的那個(gè)結(jié)論,,依賴(lài)于許多研究的證據(jù)積累?!敝Z塞克告訴我們,,“所以,一般讀者應(yīng)該從中學(xué)會(huì)的關(guān)鍵點(diǎn)在于,,沒(méi)有任何一個(gè)研究能給出最終定論,。” 可再現(xiàn)性項(xiàng)目只是開(kāi)始 維克森林大學(xué)的助理教授E·J·瑪思坎普(E.J.Masicampo)也許能很好地理解這種關(guān)系,。他在可再現(xiàn)性項(xiàng)目中有兩層身份:既負(fù)責(zé)重復(fù)同行的一項(xiàng)研究,,他自己發(fā)表的研究也是那100項(xiàng)研究之一,,被其他同行重復(fù)。 據(jù)瑪思坎普介紹,,在設(shè)計(jì)研究時(shí),,再現(xiàn)隊(duì)伍首先與原作者取得聯(lián)系,以保證再現(xiàn)研究忠于原研究,。在收集數(shù)據(jù)前,,原作者和第三方審查者會(huì)對(duì)研究設(shè)計(jì)再進(jìn)行評(píng)價(jià)?!拔液屯滤貜?fù)的那個(gè)研究,,我每個(gè)學(xué)期都會(huì)向本科生講授?!彼硎荆@個(gè)項(xiàng)目為重復(fù)那些吸引他很久的研究提供了好玩的機(jī)會(huì),,他也相信自己的研究在透明與合作的框架下得到了質(zhì)量極高的處理,。“這個(gè)項(xiàng)目的一大裨益在于為如何大規(guī)模地進(jìn)行高質(zhì)量的重復(fù)實(shí)驗(yàn)提供了一個(gè)范本,?!爆斔伎财照f(shuō)。 跟不斷被發(fā)表的眾多心理學(xué)結(jié)果相比,,這100個(gè)再現(xiàn)研究就像一桶水里的區(qū)區(qū)一滴,。但有了這樣的嘗試,研究者希望,,這個(gè)項(xiàng)目能作為探索科研成果可再現(xiàn)性的第一步,,激發(fā)更多的研究去關(guān)注心理學(xué)乃至其他科學(xué)領(lǐng)域研究的可再現(xiàn)性問(wèn)題,同時(shí)也促進(jìn)研究結(jié)果的發(fā)表標(biāo)準(zhǔn)進(jìn)一步提高,。 用吉爾伯特·欽的話(huà)說(shuō),,科學(xué)不總是一條筆直的航線(xiàn)——我們并不能一帆風(fēng)順地從理論港途經(jīng)實(shí)驗(yàn)灣,駛到理解站,。我們必須不斷質(zhì)疑,、不斷評(píng)估理論和實(shí)驗(yàn),才可能向真正理解不斷迫近,。 (編輯:Calo) |
|