|
?從下面幾個(gè)方面系統(tǒng)聊下這個(gè)問(wèn)題： 1.為什么需要置信區(qū)間,？ 2.什么是置信區(qū)間和置信水平,？ 3.如何計(jì)算置信區(qū)間？ 1.為什么需要置信區(qū)間,？ 歷史上最早的科學(xué)家曾經(jīng)不承認(rèn)實(shí)驗(yàn)可以有誤差,，認(rèn)為所有的測(cè)量都必須是精確的，把任何誤差都?xì)w于錯(cuò)誤,。后來(lái)人們才慢慢意識(shí)到誤差永遠(yuǎn)存在,，而且不可避免。即使實(shí)驗(yàn)條件再精確也無(wú)法完全避免隨機(jī)干擾的影響,，所以做科學(xué)實(shí)驗(yàn)往往要測(cè)量多次,，用取平均值之類的統(tǒng)計(jì)手段去得出結(jié)果。 多次測(cè)量,，是一個(gè)排除偶然因素的好辦法,。國(guó)足輸?shù)舯荣愔蠼?jīng)常抱怨偶然因素，有時(shí)候是因?yàn)椴门胁还袝r(shí)候是因?yàn)橹髁Σ辉?，有時(shí)候是因?yàn)椴贿m應(yīng)客場(chǎng)氣候,，關(guān)鍵是如果你經(jīng)常輸球，我們還是可以得出你是個(gè)弱隊(duì)的結(jié)論,。 而國(guó)際足聯(lián)的世界排名,，是根據(jù)各國(guó)球隊(duì)多次比賽的成績(jī)采用加權(quán)平均的辦法統(tǒng)計(jì)出來(lái)的，這個(gè)排名比一兩次比賽的勝負(fù),，甚至世界杯賽的名次更能說(shuō)明球隊(duì)的實(shí)力,。但即便如此，我們也不能說(shuō)國(guó)際足聯(lián)的排名就是各個(gè)球隊(duì)的“真實(shí)實(shí)力”,。這是因?yàn)楦麝?duì)畢竟只進(jìn)行了有限次數(shù)的比賽,，再好的統(tǒng)計(jì)手段，也不可能把所有的偶然因素全部排出,。
所以,，在科學(xué)實(shí)驗(yàn)中總是會(huì)在測(cè)量結(jié)果上加一個(gè)誤差范圍。比如經(jīng)過(guò)測(cè)量馬云的智商是100,，測(cè)量誤差是±5,。 這句話的意思是說(shuō)，馬云智商是100,，但其中有正負(fù)5的統(tǒng)計(jì)誤差,，所以馬云的智商范圍就是[100-5,100+5]這么一個(gè)范圍。 真實(shí)的智商值當(dāng)然只有一個(gè),，但是這個(gè)數(shù)是多少,，我們不知道，它可以是這個(gè)誤差范圍內(nèi)的任何一個(gè)數(shù)字,。 考試成績(jī)也如此,，假設(shè)一個(gè)同學(xué)考了兩次才過(guò)英語(yǔ)四級(jí)，第一次53分,，第二次63分,。他說(shuō)這是略有進(jìn)步，我說(shuō)你這不叫進(jìn)步,，叫都在測(cè)量誤差范圍之內(nèi),。 在股票市場(chǎng)經(jīng)常會(huì)看到有人為了短期的股價(jià)上漲而興奮不已，卻又對(duì)短期的股價(jià)下跌徹夜難眠,。其實(shí)這都是因?yàn)椴焕斫庹`差范圍導(dǎo)致的,。 想想，如果這些人真的具備了誤差的概率,，就會(huì)忽略誤差范圍內(nèi)的任何波動(dòng),。如果你投資的這家公司在未來(lái)10年有足夠的成長(zhǎng)空間，那么你就會(huì)忽略掉這10年期間它股價(jià)暫時(shí)的波動(dòng)，因?yàn)槟憧吹降氖情L(zhǎng)期,，只要長(zhǎng)期在你預(yù)期的誤差范圍內(nèi)就可以接受,。 這里的誤差范圍（區(qū)間）在統(tǒng)計(jì)概率中就叫做置信區(qū)間。簡(jiǎn)單來(lái)說(shuō),，置信區(qū)間就是誤差范圍,。 2.什么是置信區(qū)間和置信水平？ 在之前我在“統(tǒng)計(jì)概率與投資”的課程中有講到過(guò)到如何用樣本估計(jì)總體,。社群會(huì)員就問(wèn)了我一個(gè)問(wèn)題：在抽樣調(diào)查中,，樣本能在多大程度上代表總體？有沒(méi)有公式來(lái)表示,？
其實(shí)這個(gè)問(wèn)題的本質(zhì)就是想知道數(shù)據(jù)統(tǒng)計(jì)的誤差范圍是多少,。在統(tǒng)計(jì)概率中有個(gè)專門的名稱來(lái)表示誤差范圍，叫置信區(qū)間,。 比如我用一定量的樣本數(shù)據(jù)估計(jì)出全體知乎用戶的平均年齡為28歲,。 如果你收集了另外一組樣本，其平均年齡為35歲,，是否能判斷我前面的估計(jì)是錯(cuò)誤的呢,？ 因?yàn)槲覀儧](méi)辦法知道總體平均數(shù)的真實(shí)數(shù)值，所以,，我們需要給出一個(gè)誤差范圍來(lái)描述這個(gè)估計(jì)的準(zhǔn)確程度,。 如果你已經(jīng)知道什么是中心極限定理（猴子：怎樣理解和區(qū)分中心極限定理與大數(shù)定律？）,，就會(huì)知道：樣本圍繞在總體平均值周圍呈現(xiàn)正態(tài)分布,。所以下圖中中間紅色線是總體平均值。 （如果不懂正態(tài)分布,，看這里：猴子：怎樣用通俗易懂的文字解釋正態(tài)分布及其意義,？）
我們用中括號(hào)[a,b]表示樣本估計(jì)總體平均值的誤差范圍的區(qū)間,，由于a和b的確切數(shù)值取決于你希望自己對(duì)于“該區(qū)間包含總體均值”這一結(jié)果具有的可信程度,，因此，[a,b]被稱為置信區(qū)間,。 同時(shí),，我們選擇這個(gè)置信區(qū)間，目的是為了為了讓“a和b之間包含總體平均值”這一結(jié)果具有特定的概率,，這個(gè)概率就是置信水平,。 假設(shè)我設(shè)定的置信水平是95%，也就是說(shuō)如果我做100次抽樣,，會(huì)有95個(gè)置信區(qū)間包含了總體平均值,。 3.如何計(jì)算置信區(qū)間？ 其實(shí)，任何的統(tǒng)計(jì)概率知識(shí)都沒(méi)有那么高大上,，同樣的,，計(jì)算置信區(qū)間也是一種套路。如果你學(xué)會(huì)下面我介紹的計(jì)算置信區(qū)間的4個(gè)步驟,，你也可以輕松計(jì)算出置信水平,。 第1步：確定要求解的問(wèn)題是什么 假設(shè)我是醫(yī)院的數(shù)據(jù)分析師，想知道新藥物A對(duì)神經(jīng)的反應(yīng)時(shí)間,。因此,，需要為總體平均值構(gòu)建一個(gè)置信區(qū)間。這決定了我需要抽取一個(gè)合適的樣本,。通過(guò)樣本的數(shù)據(jù)來(lái)估計(jì)出總體的數(shù)據(jù),。 第2步：求樣本的平均值和標(biāo)準(zhǔn)誤差 當(dāng)樣本大小大于30時(shí)，抽取的樣本符合中心極限定理,。 為了應(yīng)用中心極限定理,，我們后面所指的樣本大小都是大于30的。 為了用樣本估計(jì)出總體的平均值,，也就是新藥對(duì)神經(jīng)的平均反應(yīng)時(shí)間,。我找來(lái)100只老鼠作為樣本來(lái)做實(shí)驗(yàn)，對(duì)每只老鼠都注射了藥物A,，對(duì)其進(jìn)行神經(jīng)刺激,，并記錄反應(yīng)時(shí)間。最后得到平均反應(yīng)時(shí)間是1.05秒,。樣本標(biāo)準(zhǔn)差是0.5秒,。 根據(jù)中心極限定理，我可以用樣本平均值估計(jì)出總體平均值也是1.05秒,。 當(dāng)我興高采烈的把這個(gè)結(jié)果告訴老板,，老板為了驗(yàn)證我數(shù)據(jù)的準(zhǔn)確性，又找人重復(fù)了我的實(shí)驗(yàn),，發(fā)現(xiàn)樣本的平均反應(yīng)時(shí)間是1秒,。發(fā)現(xiàn)與我給的數(shù)據(jù)不一樣，是不是我的數(shù)據(jù)出錯(cuò)了呢,？ 其實(shí),，是我一開始給老板的數(shù)據(jù)信息是不準(zhǔn)確的，沒(méi)有給出數(shù)據(jù)的誤差范圍,。為了計(jì)算出誤差范圍,，我需要先計(jì)算出標(biāo)準(zhǔn)誤差。 標(biāo)準(zhǔn)誤差SE等于樣本標(biāo)準(zhǔn)差除以n的開方,。最后算出標(biāo)準(zhǔn)誤差等于0.05秒,。
第3步：確定置信水平 那么由誰(shuí)來(lái)決定置信水平,？多大的置信水平才合適？ 答案完全取決于你的具體情況以及你需要對(duì)“區(qū)間中包含總體平均值”這一說(shuō)法有多大信心,。 關(guān)鍵是記住一點(diǎn)：置信水平越高,，區(qū)間越寬，置信區(qū)間包含總體平均值統(tǒng)計(jì)量的概率越大,。 常用的置信水平是95%,。其實(shí)，這個(gè)數(shù)字并不是必然的,，而是人為設(shè)定的,。 那么置信區(qū)間為什么通常是95%呢？ 下面圖中是中心極限定理的樣本平均值概率圖,。這個(gè)圖在后面一直會(huì)用到,，這里再重點(diǎn)介紹下這個(gè)圖。
圖中橫軸是樣本平均值從小到大,，縱軸是樣本平均值對(duì)應(yīng)的概率,。根據(jù)中心極限定理，我們知道不管總體是什么分布,，任意一個(gè)總體的樣本平均值都會(huì)圍繞在總體的平均值周圍,，并且呈正態(tài)分布。 所以圖中的中間位置紅色線是總體平均值,。 而有95%的樣本均值會(huì)落在2個(gè)標(biāo)準(zhǔn)誤差范圍內(nèi),，這也是為什么會(huì)選擇95%作為置信區(qū)間的原因。 （置信水平的設(shè)定是有影響的——如果我們對(duì)置信水平要求過(guò)高,，我們可能會(huì)拒絕實(shí)際上是正確的理論（犯了I類錯(cuò)誤）,； 如果我們對(duì)置信水平要求過(guò)低，我們可能會(huì)接受錯(cuò)誤的理論（犯了II類錯(cuò)誤）,。 并沒(méi)有一個(gè)萬(wàn)全之策能夠讓犯兩種錯(cuò)誤的可能性同時(shí)降低,，我們必須做出選擇。鑒于我們更加不喜歡犯II類錯(cuò)誤,，所以我們習(xí)慣于把置信水平設(shè)置在高水平,。）
第4步：求出置信區(qū)間上下限的值 現(xiàn)在我們來(lái)求置信區(qū)間[a,b]的上限a和下限b的值。 我們?nèi)绻苡?jì)算出a離總體平均值多少個(gè)標(biāo)準(zhǔn)誤差,，那么我們就可以知道a的值了,。為什么這么說(shuō)呢,？ 假設(shè)a離總體平均值2個(gè)標(biāo)準(zhǔn)誤差,，那么a=總體平均值-2個(gè)標(biāo)準(zhǔn)誤差 同樣的，根據(jù)根據(jù)正態(tài)分布的對(duì)稱性,，我們就可以知道b的值,，也就是b=總體平均值+2個(gè)標(biāo)準(zhǔn)誤差,。 這里距離平均值幾個(gè)標(biāo)準(zhǔn)誤差，就是我之前聊過(guò)的標(biāo)準(zhǔn)分（猴子：有了方差為什么需要標(biāo)準(zhǔn)差,？）,。所以，現(xiàn)在問(wèn)題變的很簡(jiǎn)單了,，只要我們求出a對(duì)應(yīng)的標(biāo)準(zhǔn)分是多少就可以了,。 我們用Z來(lái)表示幾個(gè)標(biāo)準(zhǔn)誤差，就是Z乘以標(biāo)準(zhǔn)誤差,。下面我們看下如何計(jì)算出標(biāo)準(zhǔn)分z的值,。 現(xiàn)在我們知道，下圖中陰影部分,，也就是置信區(qū)間a和b包括的概率是置信水平95%,，由于整個(gè)概率的和是1，所以我們可以知道圖中兩塊紅色區(qū)域的概率相加是1-95%=5%,，而兩端是對(duì)稱的,，所以每塊紅色區(qū)域的概率是2.5%
也就是概率P(Z<Za)=2.5%，現(xiàn)在知道概率了,，我們可以根據(jù)z表格來(lái)查詢獲取到對(duì)應(yīng)的z值,。 z表格也叫標(biāo)準(zhǔn)正態(tài)分布表，它是標(biāo)準(zhǔn)正態(tài)分布中,，標(biāo)準(zhǔn)分與概率數(shù)值的對(duì)應(yīng)關(guān)系表,。這個(gè)表格就是在你知道表標(biāo)準(zhǔn)分的情況下，可以快速查找到對(duì)應(yīng)的概率值,。 同樣的反過(guò)來(lái),，你知道概率值，也可以查找到對(duì)應(yīng)的標(biāo)準(zhǔn)分z是多少,。 現(xiàn)在我們已經(jīng)知道了概率值是2.5%,，那么就是查找對(duì)應(yīng)的標(biāo)準(zhǔn)分z是多少呢？ 在表格中我們查找到概率值2.5%對(duì)應(yīng)的最左邊第一列的值是-1.9,，對(duì)應(yīng)的最上邊第一行的值是0.06,。 根據(jù)Z表格給出的是小于標(biāo)準(zhǔn)分z的概率，也就是p（Z<z）,。查找概率時(shí),，需要用第一列和第一行找出數(shù)值Z，在表格中,，z數(shù)值的第一位小數(shù)值在表格最左邊的第一列,。z數(shù)值的第2位小數(shù)值在表格的第一行。所以z=-1.96
Z=-1.96表示距離總體平均值左邊1.96個(gè)標(biāo)準(zhǔn)誤差,，所以是負(fù)數(shù),。而b在總體平均值右邊,，所以z是正數(shù)，也是1.96個(gè)標(biāo)準(zhǔn)誤差,。所以,，這里的z就是1.96： a=總體平均值-1.96*標(biāo)準(zhǔn)誤差 b=總體平均值+1.96*標(biāo)準(zhǔn)誤差
而之前我們已經(jīng)求得標(biāo)準(zhǔn)誤差，那么總體平均值是多少呢,？ 根據(jù)中心極限定理,，樣本平均值約等于總體平均值，所以我們可以得到下面圖片中置信區(qū)間的一般表達(dá)方式,。
我們總結(jié)下前面計(jì)算的過(guò)程,，你就更容易理解了。 第1步,，我們根據(jù)置信水平,，知道了概率值，并查找z表格得到了對(duì)應(yīng)的z值 其實(shí)常用的置信水平對(duì)應(yīng)的z值我已經(jīng)放在圖中了,，你直接就可以套用,。比如置信水平90%對(duì)應(yīng)的z值是1.64,95%的置信水平對(duì)應(yīng)的z值是1.96 第2步，我們計(jì)算a和b 的值 a=樣本平均值-z*標(biāo)準(zhǔn)誤差 b=樣本平均值+z*標(biāo)準(zhǔn)誤差 既然只要在簡(jiǎn)便算法中帶入數(shù)值就行,，為什么講那么多步驟呢,？ 講這些步驟是為了讓你看清楚問(wèn)題實(shí)質(zhì)，理解置信區(qū)間的構(gòu)建過(guò)程,。大多數(shù)時(shí)候,，你只要帶入數(shù)值就行了。 下面圖片我們將這個(gè)置信區(qū)間的公式帶入我們前面老鼠實(shí)驗(yàn)藥物的例子中,，就可以得到下圖中的置信區(qū)間：
前面我已經(jīng)詳細(xì)解釋了計(jì)算置信區(qū)間的4個(gè)步驟,，你也已經(jīng)理解了。現(xiàn)在我們來(lái)總結(jié)下計(jì)算置信區(qū)間的4個(gè)步驟,，你會(huì)發(fā)現(xiàn)這比你想象中簡(jiǎn)單很多,。
1. 確定要求解的問(wèn)題是什么 比如我們想要通過(guò)樣本來(lái)估計(jì)總體的平均值 2.求樣本的平均值和標(biāo)準(zhǔn)誤差 第3步：確定置信水平 常用的置信水平是95%，因?yàn)檫@樣可以保證樣本的平均值會(huì)落在總體平均值2個(gè)標(biāo)準(zhǔn)誤差范圍內(nèi) 3.查找z表格,，求z值 如果你的置信水平是圖中的95%,，可以直接獲取到對(duì)應(yīng)的z值 4.計(jì)算置信區(qū)間 a=樣本平均值- z*標(biāo)準(zhǔn)誤差 b=樣本平均值+ z*標(biāo)準(zhǔn)誤差 4. 一句話總結(jié)前面的知識(shí) 如果你看統(tǒng)計(jì)概率方面的書，很多書中也會(huì)有講T分布下的置信區(qū)間計(jì)算,，也就是當(dāng)樣本數(shù)量小于30時(shí),，樣本分布符合T分布。這里我不準(zhǔn)備聊這個(gè)知識(shí),，因?yàn)樘鄷?huì)讓你大腦內(nèi)存溢出,。 你只需要記住有這么個(gè)T分布，當(dāng)你拿到的數(shù)據(jù)樣本不足30時(shí),，才會(huì)用到它,。 大部分情況下，我們是可以獲取到大于30的樣本,，這時(shí)候樣本平均值是符合正態(tài)分布的,，用我聊的步驟來(lái)計(jì)算就可以了。
20 人贊同了該回答 置信區(qū)間是我們所計(jì)算出的變量存在的范圍,，置信水平就是我們對(duì)于這個(gè)數(shù)值存在于我們計(jì)算出的這個(gè)范圍的可信程度,。
如果置信度為95％,，抽樣100次,，得到100個(gè)置信區(qū)間，大約95個(gè)置信區(qū)間能覆蓋到真實(shí)參數(shù)βk,，實(shí)質(zhì)就是隨機(jī)區(qū)間
|
|
|
