你怎么知道科學(xué)證據(jù)是強是弱

 世界上有大量的證據(jù)和研究,，有些好,，有些差,。你怎么知道該相信什么？這一小節(jié)的目的是指導(dǎo)你解決那些會影響你理解科學(xué)發(fā)現(xiàn)的棘手問題,。

其中一個主要的問題是,，科學(xué)術(shù)語的含義往往不同于日常用語,。這些術(shù)語可能會偷偷溜進(jìn)媒體的報道中,。即便是很簡單的詞，比如理論,、顯著性和控制，在科學(xué)領(lǐng)域也有完全不同的意思,。

另一個問題是沒有所謂的完美研究,。實驗可能會受到如何設(shè)計、如何分析,、甚至如何被科學(xué)期刊評論等問題的困擾,。

閱讀下面的8個關(guān)鍵技巧,，你將更自信地評估科學(xué)和醫(yī)學(xué)研究的結(jié)果,。

知道假設(shè)與理論之間的區(qū)別

科學(xué)家和非科學(xué)家經(jīng)常以天壤之別的方式使用這兩個詞,。讓我們來拆解它們,。

假設(shè) 

在科學(xué)中,，假設(shè)是一種被提出的解釋,，可以通過進(jìn)一步的實驗和觀察得到驗證。這是一個有待證實的想法,，需要收集更多的數(shù)據(jù)來證明或證偽它,。

提出假設(shè)通常被認(rèn)為是科學(xué)方法的第一步,。很多外行經(jīng)常在這里使用“理論”這個詞，但科學(xué)家們并不是這么用的,。

理論

在科學(xué)中,，理論是一種被廣泛接受的觀點,，有一些嚴(yán)格數(shù)據(jù)的支撐。當(dāng)科學(xué)家們提到“進(jìn)化論”或“相對論”時,，他們并不是在說這只是一個未經(jīng)證實的瘋狂想法,。這兩個理論都得到了大量數(shù)據(jù),、觀察和實驗的支持,。

當(dāng)然，現(xiàn)有的科學(xué)理論以后可能會被修改或被證偽,，如果有足夠的數(shù)據(jù)可以證明這一點的話。但是,，理論一開始被廣泛接受是因為它們得到了大量證據(jù)的支持。

注意選擇偏差

假如一個心理學(xué)家可以對世界上的每個人進(jìn)行一次單獨的測試,，那將會得出一些很有說服力的結(jié)論,。但這是不切實際的。因此,，科學(xué)家們退而求其次：他們選擇一個較小的群體進(jìn)行研究。

然而,，他們總是必須對他們抽選的特定群體保持謹(jǐn)慎,。研究可能會受到選擇偏差的影響,，即對研究對象的選擇沒有達(dá)到隨機的標(biāo)準(zhǔn)，因此研究結(jié)果在某種程度上會具有偏向性,。

選擇偏差可以通過多種方式發(fā)生,。也許某些類型的人更有可能想要參與研究——或者有足夠的決心不放棄一個持續(xù)時間更長的實驗研究,。

舉例來說,，在一項為期一年的減肥藥物研究,，其中一半的參與者在研究結(jié)束前就退出了,。那些繼續(xù)留在研究中的參與者可能都減肥了,，但是考慮那些退出研究的人也很重要。也許那些人在研究過程中沒有看到任何進(jìn)展,。所以，報告中100%的成功率實際上很有可能是50%,。

另一個需要考慮的問題是,，參與者是否具有代表性,，能夠反映論文或文章所討論的群體的特征,。

這就是為什么來自全國代表性樣本的民意調(diào)查數(shù)據(jù)（比如,，皮尤和蓋洛普所做的調(diào)查）[1],，以比在互聯(lián)網(wǎng)上對任何人開放的非正式民意調(diào)查更能提供關(guān)于全國民意的信息，即使有更多的人參與了后者,。

心理學(xué)研究的另一個常見問題是，它們傾向于招收美國本科生,，因為在大學(xué)校園里很容易招到這些學(xué)生,。但是,，本科生并不一定代表普通美國人。

同樣,，在美國或歐洲進(jìn)行的研究多是針對來自“WEIRD”國家（即西方化,、受教育程度高,、工業(yè)化,、富裕和民主國家）的人,，可能并不適用于來自其他文化背景的人,。若是你想要了解更多信息,，請閱讀貝瑟尼·布魯克希爾（Bethany Brookshire）發(fā)表在Slate雜志上的關(guān)于心理學(xué)“WEIED”問題的精彩文章[2],。

不要混淆相關(guān)性和因果關(guān)系

通常,，科學(xué)家們會發(fā)現(xiàn)兩個不同的變量是相互關(guān)聯(lián)的——例如,，隨著時間的推移,，它們都在一起增加。這表明它們可能是相關(guān)的,，但這并不一定意味著其中一個變量是導(dǎo)致另一個變量發(fā)生變化的原因,。也許這只是巧合,?；蛟S是第三個變量導(dǎo)致了這兩個變量發(fā)生變化,。通常需要進(jìn)一步的測試才能揭示兩者的明確關(guān)系,。

隨著時間的推移，科學(xué)家們會掌握大量相關(guān)的證據(jù),，同時系統(tǒng)地排除其他可能的原因,，這就可能會讓科學(xué)家們得到更有說服力的結(jié)論,，即某些變量是其他變量的原因。但是,，證明因果關(guān)系的最好方法是實施一個精密控制的實驗。

舉個例子：一項研究發(fā)現(xiàn),，醫(yī)生在下午開抗生素的次數(shù)更多[3],。也就是說,，開抗生素處方與一天的時刻之間存在關(guān)聯(lián),。研究者猜測有一種叫作“決策疲勞”的現(xiàn)象,，即人們在做了太多的決定后感到疲勞,，這就是醫(yī)生在下午更有可能開抗生素的原因,。但是還有其他可能的原因,，比如，醫(yī)生在下午時體內(nèi)糖分過少（葡萄糖疲勞）,，或者是全身疲勞,。

為了查明“決策疲勞”是否是其原因，他們需要設(shè)計一個實驗,。在這個實驗中,，他們隨機地讓一些醫(yī)生比其他醫(yī)生做出更多的決策。為了盡可能地控制實驗條件,，那些做較少決定的醫(yī)生將不得不完成一些其他會導(dǎo)致精神疲勞的任務(wù),。

控制實驗條件意味著什么？在科學(xué)領(lǐng)域,，控制組或?qū)φ战M是指用來比較的一組研究對象,。醫(yī)學(xué)研究中的對照組通常接受安慰劑條件——一種假的藥物,、設(shè)備或程序。

例如,，許多身體癥狀會自行改善（或惡化）,。如果你沒有一個對照組,，你可能會認(rèn)為,，你發(fā)明了一種有效治療普通感冒的方法。但事實是，普通感冒在一兩周內(nèi)就會自然而然地好起來,。

奇怪的相關(guān)性也是值得當(dāng)心的,。如果一種相關(guān)性看起來很奇特，或者好得不可思議,，那么它背后可能沒有什么有意義的東西,。泰勒·維根（Tyler Vigen）從真實數(shù)據(jù)中創(chuàng)造了一系列他稱之為“假相關(guān)”的東西[4],，比如,，人均奶酪消費量與被床單纏住而死亡的人數(shù)之間有相關(guān)關(guān)系。

人們喜歡引用的一個有趣的相關(guān)關(guān)系是全球海盜數(shù)量的減少與全球氣溫的上升[5],。然而,，海盜數(shù)量的減少極不可能是氣溫升高的原因,，氣溫升高也不可能是削減海盜數(shù)量的原因,，也不可能是某種潛在的原因同時影響了兩者,。這兩者有相關(guān)關(guān)系，但是這種相關(guān)關(guān)系沒有意義,。

尋找黃金標(biāo)準(zhǔn)

雙盲、安慰劑-對照組,、隨機測試

最可靠的研究,，尤其是臨床試驗,，通常被認(rèn)為是隨機的、有安慰劑-對照組的,、雙盲的研究,。

如果你正在看臨床試驗、心理學(xué)研究或者動物研究,，它并不符合上述要求,，而且沒有一個很好的理由表明它可以不遵循上述要求，那么你就可以質(zhì)疑研究結(jié)果。

讓我們來解析這些術(shù)語,。

1)隨機：

這是指將研究對象隨機分為實驗組和對照組。這一點很重要,，因為如果研究對象有選擇的機會,，他們可能會因為一些意想不到的因素而更傾向于選擇其中某一組,。

舉個例子,，假如那些更樂觀的人更愿意嘗試一種治療焦慮的新藥，而不是用于比較的已有藥物,。再假如,，樂觀能讓廣泛性焦慮癥患者在藥物治療中表現(xiàn)出更好的治療效果。研究人員最終可能會認(rèn)為是藥物緩解了患者的癥狀,，而實際上是患者的樂觀天性讓他們表現(xiàn)得更好,。

如果研究人員決定讓某個研究對象進(jìn)入某一組，同樣的問題也會出現(xiàn),。這就是為什么隨機分配是最好的分配原則,。

2)安慰劑-對照組：

嚴(yán)格控制的研究需要有一個合適的對照組，也叫控制組,。在醫(yī)學(xué)研究中,，一個對照組通常會得到安慰劑——一種假的干預(yù)措施，如糖丸,。這是為了區(qū)分藥物的實際作用和參與者的心理預(yù)期作用,。（安慰劑效應(yīng)之強大令人驚訝——強到常常可以緩解疼痛和其他健康問題,。據(jù)史蒂夫·希爾伯曼（Steve Silberman）在《連線》（Wired）雜志上的對安慰劑的深度報道[5],，近幾十年來，安慰劑效應(yīng)一直在增強,。

一個好的安慰劑組應(yīng)該盡可能地與實驗組相似。舉個例子,，如果你在測試一種較大的紅色藥丸,，那么在理想情況下，你應(yīng)該給安慰劑組一種同樣較大的紅色藥丸,，這種藥丸在各個方面都與實驗組的藥物一致,，但是不含藥物。（是的,，即使是一片藥丸的顏色和大小也會產(chǎn)生安慰劑效應(yīng),。）有些研究甚至做了假手術(shù)[6]，包括麻醉,、切口,、縫線等工作,。

3)雙盲：

如果參與者不知道自己是在實驗組還是對照組，那么這項研究就是“盲”的,。例如,，你不希望有人知道她服用的是真正的藥物還是假藥，因為她對藥效的期望可能會改變研究的結(jié)果,。

如果研究人員與參與者都不知道他們正在進(jìn)行何種治療,，那么這項研究就是“雙盲”的。你不希望護(hù)士知道她給參與者的藥是真藥還是假藥,，因為她的行為中的細(xì)微差別會影響病人,，進(jìn)而影響結(jié)果。

理解“顯著性”

在日常語言中,，“顯著”的意思是某事是突出的或顯眼的,。但是一項被認(rèn)為具有“統(tǒng)計顯著性”的科學(xué)發(fā)現(xiàn)不一定符合上述兩種情況中的任何一種。科學(xué)家們通常認(rèn)為,，如果一種叫作“p值”的特殊統(tǒng)計工具可以檢測到這種顯著效應(yīng),，那么這個研究結(jié)果就具有統(tǒng)計學(xué)意義。

取多大的p值是任意的,，在不同的科學(xué)領(lǐng)域也會有所不同,。通常被認(rèn)為具有“統(tǒng)計顯著性”的臨界值是0.05的p值。

p值并不是研究中唯一的關(guān)鍵數(shù)字,，記住這一點尤為重要,。例如，治療某種疾病的方法在統(tǒng)計學(xué)上有顯著的效果,，可以將存活率從43%提高到44%,。這是一個微小的改變，可能對未來如何治療這種疾病并沒有多大意義,。

事實上,，有些人認(rèn)為科學(xué)論文應(yīng)該完全廢除p值[7]，取而代之的是清晰地顯示效應(yīng)量和效果的范圍,，這兩者都是極其重要的,。

另一個危險是：如果你一次又一次重復(fù)相同的研究，或者對相同的數(shù)據(jù)進(jìn)行大量不同的統(tǒng)計分析,，你可能最終會得到你想要的結(jié)果,，但是這種結(jié)果純粹是偶然的。然后,，你只公布那些看起來有意義的結(jié)果,，這很可能會讓公眾從你的研究中得出誤導(dǎo)性的結(jié)論。此外，查爾斯·塞費（Charles Seife）在《科學(xué)美國人》（Scientific American）上對各種各樣的p值陷阱進(jìn)行了很好的概述[8],。

注意利益沖突

利益沖突有多種形式,。如今，科學(xué)和醫(yī)學(xué)出版業(yè)最關(guān)心的是財務(wù)問題,。

例如,，某個研究者獲得了一家公司的資助，該公司能從其研究成果中獲得利潤,?；蛘撸@個研究者可能與公司有關(guān)系,，比如擔(dān)任董事會成員或無薪顧問,，因此他有可能在未來從研究中獲得經(jīng)濟回報。

例如,，某家食品公司的理事會想要推廣某種食品,，然后資助一項關(guān)于該食品的健康益處的研究，卻忽視該食品的害處,。另一種情況是,，研究者接受制藥公司的差旅費去參加某個會議，并研究該公司的藥物或其競爭公司的藥物,。

最近的一項分析發(fā)現(xiàn)[9],，在頂級醫(yī)學(xué)期刊中，7%到32%的隨機試驗完全由醫(yī)療行業(yè)的機構(gòu)提供資金,。這只是那些擁有全部直接資金的研究,。據(jù)推測，任何形式的利益沖突所占的比例都非常之高,。

一種解決辦法可能是禁止這種利益沖突[10],。但是許多期刊選擇了不同的披露要求，比如《科學(xué)》（Science）雜志要求提交論文的人披露“任何可能引發(fā)研究偏差的從屬關(guān)系,、資金來源或金融控股”[11],。（研究者實際填寫的表格更為詳細(xì)[12]。）

然后,，編輯決定在發(fā)表論文時應(yīng)該公開哪些信息,。無論誰讀了這篇論文，都可以得出自己的結(jié)論,，即這些信息是否有意或無意地影響了數(shù)據(jù)。

如果有什么信息需要披露的話,，那就要看期刊的要求了（在某些情況下,，還要看研究者的雇主的要求[13]）。許多期刊在其網(wǎng)站上發(fā)布關(guān)于利益沖突的政策。如果你仔細(xì)研究一篇論文,，你也會發(fā)現(xiàn)其中隱含的一些信息,。

知道同行評議并不完美

同行評議是一種審查系統(tǒng)，在這個系統(tǒng)中,，幾位獨立的專家評審提交給期刊的論文,。一般來說，如果論文沒有經(jīng)過同行評議,，這個期刊的質(zhì)量就不高,。

通常情況下，評審員是由期刊選擇的,，并且是匿名的,，以便讓評審盡可能公正。這些評審員可以建議修改文章,，增加新的實驗,，甚至建議期刊拒絕這篇論文。然后,，論文的作者通常會查看這些評論,，并在覺得有必要修改時將它們合并到修訂后的論文中。

但是,，評審員并沒有被要求盡其所能地確保結(jié)果是絕對正確的,。（這需要花費太多的時間，而且不切實際,。一篇論文有時要花好幾年才能完成所有的修改,。）例如，評審員不會被要求自己嘗試做實驗,，通常也不會查看原始數(shù)據(jù)或重新分析數(shù)據(jù),。

他們確實會查看論文初稿[14]，看看實驗設(shè)計是否合理,，數(shù)據(jù)是否支持論文的結(jié)論,，以及這些發(fā)現(xiàn)是否值得發(fā)表。

所以說,，同行評議通常是有益的,，但并不完美。在論文中的研究結(jié)論得到重復(fù)驗證之前,，科學(xué)的過程實際上還沒有完成,。這是在論文發(fā)表之后發(fā)生的事情（如果有人重復(fù)進(jìn)行研究的話），而不是在發(fā)表之前,。

此外,，有時論文會被撤回,。這很罕見，但確實也會發(fā)生,。伊凡·奧蘭斯基（Ivan Oransky）和亞當(dāng)·馬庫斯（Adam Marcus）的博客“撤稿觀察”（Retraction Watch）非常棒[15],，你可以在這里聽到最大規(guī)模、最重要,、最戲劇性的撤稿事件,。（這種事件可以是相當(dāng)戲劇化的。例如,，2014年,，聲學(xué)領(lǐng)域的《振動與控制期刊》（Journal of Vibration and Control）就一次性撤回了60篇論文[16],。）

常規(guī)的同行評議過程中也有一些奇怪的例外,，包括《美國國家科學(xué)院院刊》（Proceedings of the National Academy of Sciences，PNAS）,，該雜志允許其極具聲望的學(xué)術(shù)機構(gòu)的成員每年為自己的多達(dá)四篇的論文選擇評審員,。彼得·艾德豪斯（Peter Aldhous）在《自然》（Nature）上講述了一個關(guān)于這個有爭議的過程的好故事[17],。（PNAS也通過更傳統(tǒng)的同行評議系統(tǒng)接收許多論文。）

意識到并不是所有的期刊都是好的

某篇論文發(fā)表在期刊上并不意味著它是一個很棒的研究,。期刊和論文的質(zhì)量參差不齊,，從很好到很平庸無聊，再到徹頭徹尾的弄虛作假,。甚至一流的期刊有時也會發(fā)表有缺陷的研究,。

評估科學(xué)期刊影響力的最常用的指標(biāo)是影響因子（IF）。影響因子本質(zhì)上是一種受歡迎程度,。它計算了一個期刊的論文在其他論文中被引用的次數(shù),，相對于這個期刊自身的論文發(fā)表數(shù)。

論文被引用的次數(shù)越多,，這個期刊對人們的研究工作的影響就越大,。（具體來說，IF是根據(jù)湯森路透期刊引文報告數(shù)據(jù)庫中的引文計算出來的[18],。)

如何找到期刊的影響因子,？如果你是一個很好的圖書館的會員，你可以訂閱一份每年都會發(fā)表的期刊引文報告分析[19],。如果你不是這樣的會員,，許多期刊和期刊出版商將自豪地在它們的網(wǎng)站上列出它們的評級。只要搜索“影響因子”即可,。一些最著名的期刊,，比如《科學(xué)》、《自然》和《美國醫(yī)學(xué)會雜志》（JAMA）,，它們的影響因子最低接近30,，最高可達(dá)35,。（《新英格蘭醫(yī)學(xué)雜志》（New England Journal of Medicine）在20世紀(jì)50年代擁有令人震驚的影響因子。）

影響因子是有爭議的[20],。它是一種方便的工具，但它不是看待事物的唯一方式,。

一些科學(xué)領(lǐng)域自然會比其他領(lǐng)域有更多的引用次數(shù),，但這并不一定意味著前者真的更好或更有影響力。至少有一項研究發(fā)現(xiàn)[21],，影響因子與專家意見并無緊密的關(guān)聯(lián),。

另一件需要當(dāng)心的事情是有些期刊是剝削性的，以盈利為目的,，它們會發(fā)表幾乎任何論文（而且沒有同行評議）,。最近有幾個人想挖猛料[22]，他們提交一些有缺陷的或邏輯不連貫的論文,，引起了這些期刊的興趣,。

還有一點需要知悉，即一項研究是否發(fā)表在適合它的主題的期刊上,。有時,，垃圾的科學(xué)研究最終會出現(xiàn)在同行評議的期刊上，尤其是在其專業(yè)領(lǐng)域之外的期刊上,。在這種情況下,，它的審稿人和編輯可能不太能夠準(zhǔn)確地評估論文的質(zhì)量。

薩拉·費希特（Sarah Fecht）講過一個好故事,，一項低劣的研究[23]被發(fā)表在《大眾機械》（Popular Mechanics）上——然后,，這項研究被媒體報道，仿佛它是很好的研究一樣,。

本賬號系網(wǎng)易新聞·網(wǎng)易號“各有態(tài)度”簽約賬號