讀完本文,，你將明白：

• 根據(jù)中心極限定理,，只要數(shù)據(jù)量足夠大，即使原數(shù)據(jù)有點(diǎn)偏離正態(tài)分布,，使用 t 檢驗(yàn)也不會(huì)有大問(wèn)題

• 「頻率分布圖」和「 q-q 圖」是判斷數(shù)據(jù)分布情況的好方法

在上一集《就是要實(shí)用,！t 檢驗(yàn)的七十二變》里，我們追隨藍(lán)精靈智斗格格巫的足跡,，學(xué)習(xí)了 t 檢驗(yàn)的不同類型,。今天我們來(lái)原文再續(xù)，書接上一回：

藍(lán)精靈們運(yùn)用了 t 檢驗(yàn)的知識(shí),，發(fā)現(xiàn)格格巫做的包子顯著地小于食堂的標(biāo)準(zhǔn),。一起要把格格巫抓起來(lái)繩之以法，沒想到格格巫卻很淡定,，氣定神閑地說(shuō)了句：「你們用 t 檢驗(yàn),，合適嗎？我統(tǒng)計(jì)學(xué)學(xué)得少,，你們可不要騙我,，我怎么聽說(shuō)，要用 t 檢驗(yàn),，數(shù)據(jù)要符合正態(tài)分布呢,？」藍(lán)精靈們還得繼續(xù)加把勁兒，先得證明數(shù)據(jù)確實(shí)是滿足 t 檢驗(yàn)對(duì)正態(tài)性的要求,。

首先我們可以從 t 檢驗(yàn)的原理回顧一下,，正態(tài)性的要求具體是指什么。

藍(lán)精靈們?yōu)榱瞬槌龈窀裎鬃龅陌邮遣皇切∮谑程脴?biāo)準(zhǔn),，隨機(jī)抽取了 100 個(gè)包子作為樣本，通過(guò)這一樣本來(lái)推測(cè)包子總體的平均值有沒有顯著的不同于一個(gè)已知的標(biāo)準(zhǔn)值,。由于包子大小的隨機(jī)性,，如果重復(fù)抽樣多次，每次抽樣的樣本平均值會(huì)不一樣,，并在總體平均值周圍浮動(dòng),，t 檢驗(yàn)其實(shí)是利用了抽樣的樣本平均值的分布來(lái)計(jì)算 p 值的（詳情請(qǐng)戳此處回顧《想玩轉(zhuǎn)t檢驗(yàn)？你得從這篇看起》）,。

在我們推導(dǎo) t 檢驗(yàn)背后原理的時(shí)候,，其實(shí)涉及到了三個(gè)概率分布：

1. 總體的分布: 格格巫完成的所有包子的質(zhì)量的分布

2. 樣本的分布: 被隨機(jī)抽取的 100 個(gè)包子的質(zhì)量的分布

3. 抽樣分布：假設(shè)樣本量為 100 個(gè)包子,，如果藍(lán)精靈重復(fù)多次抽取樣本（抽取許多批包子，每批 100 個(gè)）,，不同的樣本會(huì)產(chǎn)生稍微不一樣的平均質(zhì)量,。在假想的情境中，藍(lán)精靈重復(fù)抽取無(wú)限多的樣本,，此時(shí)它們得到的所有樣本的平均質(zhì)量就會(huì)形成一個(gè)新的分布,。這種樣本平均值（或者樣本的其他統(tǒng)計(jì)量，如標(biāo)準(zhǔn)差等）因?yàn)槌闃与S機(jī)性產(chǎn)生的分布,，稱為抽樣分布,。

這三個(gè)分布里面，只有樣本（也就是測(cè)量到的 100 個(gè)包子質(zhì)量）的分布是看得見摸得著的,?？傮w的分布我們自然不知道（要是知道了哪里還用得著做統(tǒng)計(jì)？）,，它是我們最終想要了解的對(duì)象,。

簡(jiǎn)單來(lái)說(shuō)，如果樣本的抽取是完全隨機(jī)的,，總體的分布和樣本分布會(huì)很接近,。而最抽象的就是抽樣分布了，因?yàn)槲覀儗?shí)際操作中,，并不可能真的重復(fù)抽取無(wú)限多的樣本（哼,，這種要把本寶寶累死的事情我才不干！）,。

可是,，要進(jìn)行假設(shè)檢驗(yàn)，我們恰恰需要了解抽樣分布,。我知道你耳朵都要聽出繭子了,，不過(guò)我們還是得再回顧一遍 p 值的定義——在原假設(shè)為真（格格巫的包子平均質(zhì)量不小于食堂規(guī)定標(biāo)準(zhǔn)）的前提下，觀察到與我們的數(shù)據(jù)（藍(lán)精靈抽取的包子樣本平均質(zhì)量）相同或更極端的數(shù)據(jù)的概率,。

你看,，既然這個(gè)概率是關(guān)于樣本平均質(zhì)量的，那不就應(yīng)該從抽樣分布里算嗎,？

幸運(yùn)的是,，借助統(tǒng)計(jì)學(xué)的原理，給定總體的分布,，我們就能推算出樣本平均值服從的分布,，也就是抽樣分布。

而且更重要的是,，t 檢驗(yàn)是否適用,，抽樣分布是關(guān)鍵——不管樣本或者總體符合什么分布,，只要抽樣分布是正態(tài)的，t 檢驗(yàn)就是可靠有效的,。

可是,，我們剛才說(shuō)了，要算出抽樣分布,，我們得先知道總體分布,。但我們并不知道總體分布是什么呀？

嘿嘿,，別忘了我們的終極武器——

中心極限定理,！

中心極限定理從理論上面保證了只要樣本量足夠大，不論數(shù)據(jù)總體是不是呈正態(tài)分布,，樣本均值的分布（抽樣分布）都會(huì)近似為正態(tài)分布（可回顧《算術(shù)平均數(shù)：簡(jiǎn)單背后有乾坤》和《正態(tài)分布到底是怎么來(lái)的,？》）。

在下圖中,，我們可以看到中心極限定理的威力,。在這個(gè)例子里，我們先從一個(gè)明顯不服從正態(tài)分布的總體分布出發(fā),，然后從這個(gè)分布里隨機(jī)抽樣,，計(jì)算樣本平均值。

為了體現(xiàn)樣本量對(duì)抽樣分布的影響,，我們考慮樣本量分別為 3 和 15 的情形,。在這兩種情形下，我們分別讓計(jì)算機(jī)抽取 20000 個(gè)樣本,，然后作出這些樣本均值的頻率直方圖（也就是近似的抽樣分布）,。可以看到,，當(dāng)樣本量為 3 時(shí),，抽樣分布的形狀還有明顯的不對(duì)稱；但當(dāng)樣本量為 15 時(shí),，抽樣分布看起來(lái)已經(jīng)很接近于一個(gè)正態(tài)分布了,。

也就是說(shuō)，當(dāng)樣本量足夠大時(shí),，抽樣分布的正態(tài)性就會(huì)比較好,，t 檢驗(yàn)計(jì)算出的 p 值從而比較準(zhǔn)確。

那么,，多大的樣本是足夠大呢？

這個(gè)問(wèn)題很難給出一個(gè)一刀切的答案,。在上圖這個(gè)例子里,，總體分布雖然不對(duì)稱,，但大體趨勢(shì)相差不遠(yuǎn)，因而樣本量 n 達(dá)到 15 左右就已經(jīng)能使抽樣分布具有相當(dāng)好的正態(tài)性了,。但是,，如果總體分布非常不正態(tài)（比如說(shuō)不連續(xù)或者兩頭大中間小）,，要使抽樣分布接近正態(tài)的 n 就要大得多了。

裝備上了中心極限定理的藍(lán)精靈們又跑過(guò)去找格格巫理論,，格格巫顯然有點(diǎn)坐不住了，但是他還是要垂死掙扎一下：「別跟俺扯神馬中心極限定理,，那說(shuō)的都是樣本量很大時(shí)候的事兒,，你真能證明抽樣分布確實(shí)是正態(tài)的么？」

如果總體本身就是符合正態(tài)分布的話,，那從這個(gè)總體里面隨機(jī)抽取的樣本的平均值就一定是服從正態(tài)分布的,，而不僅僅是在 n 值較大時(shí)近似正態(tài)分布。所以藍(lán)精靈們得想出一些辦法來(lái)考察總體分布的形狀,，如果總體是服從正態(tài)分布的,，格格巫就再也無(wú)話可說(shuō)了。

我們說(shuō)過(guò),，總體分布我們無(wú)法直接測(cè)量,。當(dāng)樣本是隨機(jī)抽取的情況下，總體的分布和樣本分布會(huì)隨著樣本量的增加趨于接近（這在統(tǒng)計(jì)學(xué)上稱為大數(shù)定律）,。于是我們可以用樣本（即采集到的數(shù)據(jù)）分布來(lái)近似總體分布,。

說(shuō)到檢查數(shù)據(jù)是否符合正態(tài)分布，最簡(jiǎn)單的武器是《數(shù)據(jù)到手了,，第一件事先干啥,？》里面提到的殺手锏：頻率直方圖。頻率直方圖的目的是顯示數(shù)據(jù)落在每個(gè)取值區(qū)間的概率,。為了將數(shù)據(jù)的分布和正態(tài)分布做比較,，我們需要一個(gè)參考正態(tài)分布，具有與待測(cè)樣本相同的均值和方差,，然后通過(guò)對(duì)比這兩個(gè)分布的形狀來(lái)判斷手上的數(shù)據(jù)是不是接近正態(tài)分布，如下圖所示,。

（圖片來(lái)源：http://www.ats./stat/spss/library/ggraph_examples.htm）

除了頻率直方圖，另外一個(gè)檢查分布的有力武器是 q-q 圖（有沒有覺得這名字好萌,？它可不是騰訊公司的植入廣告哦）,，q 代表的是 quantile（分位數(shù)）。你忘了分位數(shù)是什么,？n 分位數(shù)是指把數(shù)據(jù)數(shù)先從小到大排列,，然后平均分成 n 等分，其分割點(diǎn)對(duì)應(yīng)的 n-1 個(gè)數(shù)值,。舉個(gè)例子,，咱們都學(xué)過(guò)中位數(shù)，它對(duì)應(yīng)的是 2 分位數(shù),。在《數(shù)據(jù)到手了,，第一件事先干啥？》我們提到過(guò)箱線圖,，它用到了 4 分位數(shù)里除了中位數(shù)以外的兩個(gè),，對(duì)應(yīng)的是把從小到大排列過(guò)的數(shù)據(jù)平均分成四等分，第一個(gè)分割點(diǎn)和第三個(gè)分割點(diǎn)的數(shù)值,。

q-q 圖是通過(guò)比較數(shù)據(jù)和正態(tài)分布的分位數(shù)是否相等來(lái)判斷數(shù)據(jù)是不是符合正態(tài)分布,。下面我們請(qǐng)出一幫企鵝小伙伴們來(lái)演示一下 q-q 圖原理,。

有兩個(gè)班級(jí)的企鵝在排隊(duì)做早操，每個(gè)班各有二十只鵝寶寶,。企鵝一班的身高是標(biāo)準(zhǔn)的正態(tài)分布而企鵝二班的身高分布未知,。企鵝二班的班主任很好奇自己班的企鵝寶寶們身高是不是也是正態(tài)分布，于是就讓每個(gè)班的鵝寶寶都按照身高從低到高排隊(duì),，然后讓兩隊(duì)小朋友并排站,。這時(shí)站在第一排的分別是一班最矮的和二班最矮的同學(xué),，依此類推，最后一排的是一班最高的和二班最高的（如下圖）,。這個(gè)畫面很熟悉啊有沒有,？

隊(duì)形已經(jīng)擺好，只要把一班的身高作為參考,，就能判斷二班小朋友的身高是不是也服從正態(tài)分布了,。

如果同一排的來(lái)自不同班級(jí)的兩只鵝寶寶身高都是一樣的話，兩個(gè)班級(jí)的身高必然服從同一分布,。如果同一排的二班的鵝寶寶總是比一班的鵝寶寶高出 5 cm,，因?yàn)榧由弦粋€(gè)常數(shù)并不會(huì)改變分布的類型,，可以判斷二班的鵝寶寶身高還是服從正態(tài)分布。類似的,，如果二班的鵝寶寶都是旁邊一班鵝寶寶身高的 1.5 倍（估計(jì)其中一個(gè)班是轉(zhuǎn)基因企鵝吧……）,，二班的身高還是正態(tài)分布,。由此可以推理出,，只要二班的鵝寶寶的身高與站在同一排的一班同學(xué)的身高成線性關(guān)系，就可以推斷兩者屬于同一分布類型,。

聰明的你應(yīng)該已經(jīng)想到企鵝排隊(duì)和分位數(shù)的關(guān)系了吧,？站在同一排的鵝寶寶即屬于同一分位數(shù)。實(shí)際應(yīng)用中,，當(dāng)我們有 n 個(gè)數(shù)據(jù)點(diǎn)時(shí),，我們可以計(jì)算機(jī)模擬出正態(tài)分布對(duì)應(yīng)的 n 分位數(shù)（此為第一 q，對(duì)應(yīng) x 軸坐標(biāo)）,；同時(shí),，我們將數(shù)據(jù)從小到大排列，就可以得到數(shù)據(jù)的 n 分位數(shù)（此為第二 q,，對(duì)應(yīng) y 軸坐標(biāo)）,。這樣我們就能得到一個(gè) q-q 圖啦（如下圖）。有了這個(gè)圖,，我們只要看看圖上的點(diǎn)是不是在一條直線上面,，就知道我們的數(shù)據(jù)點(diǎn)是不是符合正態(tài)分布了。

于是,，藍(lán)精靈們畫出了樣本包子質(zhì)量分布和正態(tài)分布的 q-q 圖,，格格巫看完了，再也沒法反駁了,，只能乖乖認(rèn)錯(cuò),。統(tǒng)計(jì)學(xué)萬(wàn)歲！（此處應(yīng)有熱烈掌聲一分鐘）

順便說(shuō)一句,，q-q 圖不僅可以用來(lái)判斷數(shù)據(jù)是否符合正態(tài)分布,，也可以用來(lái)判斷數(shù)據(jù)是否符合其它分布，只要用待檢測(cè)的分布計(jì)算出對(duì)應(yīng)的分位數(shù)作為 x 軸坐標(biāo)即可,。另外,，q-q 圖還可以判斷兩組數(shù)據(jù)是否來(lái)自同一個(gè)分布（而不關(guān)心這同一個(gè)分布究竟是哪一個(gè)分布）。此時(shí),，我們只要將其中一組數(shù)據(jù)的分位數(shù)作為 x 軸,，另外一組數(shù)據(jù)的分位數(shù)作為 y 軸就可以了。

最后,，可能有些讀者會(huì)疑惑,，上面給出了兩個(gè)武器「頻率分布圖」和「 q-q 圖」都只能定性地判斷一個(gè)分布是不是正態(tài)的，有沒有什么定量的方法可以判斷呢？

在統(tǒng)計(jì)學(xué)中,，確實(shí)有一些檢驗(yàn)是用來(lái)判斷數(shù)據(jù)的分布是不是顯著地不同于正態(tài)分布,，常用的有夏皮羅－威爾克檢驗(yàn)（Shapiro-Wilk test）和科爾莫戈羅夫－斯米爾諾夫檢驗(yàn)（Kolmogorov-Smirnov test）。和其他檢驗(yàn)一樣,，這兩個(gè)檢驗(yàn)會(huì)給出一個(gè) p 值,，供我們作推斷。這些檢驗(yàn)的原假設(shè)是數(shù)據(jù)符合正態(tài)分布,，當(dāng) p 值足夠小時(shí)拒絕原假設(shè),，認(rèn)為數(shù)據(jù)不符合正態(tài)分布。使用這些檢驗(yàn)的時(shí)候要注意,，當(dāng)樣本足夠大時(shí),，只要數(shù)據(jù)稍有一點(diǎn)偏離正態(tài)分布，p 值就總能小于 0.05,，因而檢驗(yàn)的結(jié)果總是傾向于顯示數(shù)據(jù)為非正態(tài)分布,。也就是說(shuō)，如果我們的樣本足夠大,，即使夏皮羅－威爾克檢驗(yàn)或科爾莫戈羅夫－斯米爾諾夫檢驗(yàn)給出小于 0.05 的 p 值,，數(shù)據(jù)來(lái)自的總體仍可能是服從正態(tài)分布的。

當(dāng)然如果數(shù)據(jù)量太小,，上面的這些方法可能都無(wú)法給出可信的關(guān)于數(shù)據(jù)正態(tài)性的判斷,，這時(shí)候還需要根據(jù)產(chǎn)生測(cè)量數(shù)據(jù)的物理過(guò)程，考慮數(shù)據(jù)是否可能是正態(tài)分布,。比如說(shuō),，正態(tài)分布必須具有對(duì)稱性，即大于平均值和小于平均值的概率應(yīng)該相等,。因此,，動(dòng)物的壽命一般不會(huì)符合正態(tài)分布（想想為什么？）,。

最后我們來(lái)總結(jié)一下,，

讀完這篇文章你該學(xué)到什么？

1）由于中心極限定理,，只要數(shù)據(jù)量比較大（究竟多大算大,，取決于原來(lái)總體分布的情況），即使原數(shù)據(jù)有點(diǎn)偏離正態(tài)分布,，使用 t 檢驗(yàn)也不會(huì)有大問(wèn)題,；

2）「頻率分布圖」和「 q-q 圖」是判斷數(shù)據(jù)分布情況的好方法；

3）真實(shí)世界的數(shù)據(jù)不可能完完全全地符合正態(tài)分布,，數(shù)據(jù)量比較大時(shí),，使用統(tǒng)計(jì)檢驗(yàn)的方法判斷正態(tài)性傾向于判為非正態(tài),；

4）統(tǒng)計(jì)既是科學(xué)，也是藝術(shù),，當(dāng)大家多理解了其背后科學(xué)原理,，就可以根據(jù)實(shí)際情況，藝術(shù)地處理數(shù)據(jù)啦,！

注：文中圖片未作特別說(shuō)明者均為作者自繪