大數(shù)定律和中心極限定理

大數(shù)定律

大數(shù)定律，有很多種形式,，但其本質(zhì)都離不開依概率收斂這個(gè)定義,，下面一一介紹。

伯努利大數(shù)定律

顧名思義,，它和伯努利試驗(yàn)可能有關(guān)，一般描述如下：

設(shè) 是 重伯努利試驗(yàn)中事件 發(fā)生的次數(shù),， 是每次試驗(yàn)中事件 發(fā)生的概率,，則對任意的 ，有：

這是一個(gè)需要證明的定理,，它非常類似于依概率收斂的定義,。

相當(dāng)于這里是需要證明隨機(jī)變量序列 依概率收斂于常數(shù) 。雖然前面說到過,，從試驗(yàn)角度看,，它是一個(gè)事實(shí)，但這里仍然需要證明,，這種形式(一個(gè)隨機(jī)變量與一個(gè)常數(shù)的偏差概率的上界),，很類似于切比雪夫不等式,，因此使用切比雪夫不等式證明，先求期望和方差：

隨機(jī)變量序列 是 重伯努利試驗(yàn)的中感興趣的事件發(fā)生的次數(shù),，它正是二項(xiàng)分布的定義,，所以有 ，才會有上面期望方差的推導(dǎo),，于是：

這是由切比雪夫不等式得到的,，然后取極限，,，可以知道：

所以有

概率的最大值都是 ,，所以這里的上面的定理成立。

伯努利大數(shù)定律說明了,，一個(gè)服從二項(xiàng)分布的隨機(jī)變量 ,，所產(chǎn)生的頻率序列 ，隨著 的增加,，和“概率 的偏差絕對值大于預(yù)先給定的精度 ”,，這件事發(fā)生的可能性越來越小。

嚴(yán)格地不能說,，序列 收斂于概率 ,。但不太專業(yè)地說，頻率序列 隨著試驗(yàn)次數(shù) 的增加,，會越來越接近于概率 ,， 這是沒問題的。

伯努利大數(shù)定律,，提供了使用頻率確定概率的理論依據(jù),。當(dāng)試驗(yàn)次數(shù) 足夠大時(shí)，可以將頻率作為概率的估計(jì)值,，試驗(yàn)次數(shù)越多,，頻率越穩(wěn)定地趨于概率。

伯努利大數(shù)定律,，描述了二項(xiàng)分布 的頻率序列 依概率收斂事件發(fā)生的概率 ,。

其實(shí)，它可以看成是一系列 個(gè)相互獨(dú)立的,，服從兩點(diǎn)分布的隨機(jī)變量,， 的平均值 ，即頻率序列：

依概率收斂于 ,，也即是頻率序列的均值：

于是伯努利大數(shù)定律,，可以表述為下面的形式，設(shè) 是一列服從兩點(diǎn)分布 的相互獨(dú)立的隨機(jī)變量，則必然有：

一般地,，將,，滿足上面的表達(dá)式的隨機(jī)變量序列 ，稱為 服從大數(shù)定律,。

也就是說,，伯努利大數(shù)定律是大數(shù)定律的一個(gè)特例，它給定了限制條件 是服從兩點(diǎn)分布的,，下面就討論,，在什么樣的條件下，隨機(jī)變量序列 滿足大數(shù)定律,。

切比雪夫大數(shù)定律

設(shè)隨機(jī)變量 兩兩不相關(guān),，且每個(gè)隨機(jī)變量 方差存在，都有共同的上界,，,，于是 服從大數(shù)定律，即 ,，都有：

同樣是使用切比雪夫不等式證明,，對隨機(jī)變量 ，有：

這里使用了相互獨(dú)立的性質(zhì),，方差得以拆開,，后面就是取極限的事情了。

切比雪夫大數(shù)定律,，比伯努利大數(shù)定律放寬了條件,，只要求隨機(jī)變量序列兩兩不相關(guān)，且方差存在上限即可,。實(shí)際上,，只需要滿足條件：

這個(gè)條件也被稱為，馬爾可夫條件,，只要這個(gè)條件成立了,，那么隨機(jī)變量序列，就服從大數(shù)定律,，這樣子的大數(shù)定律稱為馬爾可夫大數(shù)定律,。

它比切比雪夫大數(shù)定律的條件還要寬松，不需要滿足隨機(jī)變量 之間兩兩相互獨(dú)立的條件,，但是它們有一個(gè)共同點(diǎn)，都是假設(shè)方差存在,。

下面的辛欽大數(shù)定律去掉了這個(gè)假設(shè),，同時(shí)加上了一個(gè)很強(qiáng)的假設(shè)條件——獨(dú)立同分布且期望存在。

辛欽大數(shù)定律

設(shè) 是獨(dú)立同分布的隨機(jī)變量序列，若 的數(shù)學(xué)期望存在,，則 服從大數(shù)定律,，滿足這種條件的大數(shù)定律稱為辛欽大數(shù)定律。

下面給出證明過程：

現(xiàn)在不能使用切比雪夫不等式證明了,，因?yàn)榉讲畈灰欢ù嬖凇?/p>

為了證明上面的式子成立,，不妨設(shè) ，而 是一個(gè)常數(shù),，不妨設(shè)為 ,。

于是需要證明的是隨機(jī)變量序列 依概率收斂到常數(shù) ，這個(gè)的充要條件是 依分布收斂到 ,。

也就是說,， 的分布函數(shù)序列收斂于 的分布函數(shù)(退化分布)，也就是說,， 的特征函數(shù)收斂到 的特征函數(shù) ,，這就是證明的思路，下面給出推導(dǎo)過程：

設(shè) 的特征函數(shù)為 ,，則相互獨(dú)立的,，隨機(jī)變量之和的分布的特征函數(shù)為為 ，于是它們的均值 的特征函數(shù)為 ,，下面求極限：

這里使用了 ,， 以及 這個(gè)兩個(gè)事實(shí)，所以上面的極限剛好是退化分布 的特征函數(shù),，這就證明了辛欽大數(shù)定律,。

需要注意的是，其中的洛必達(dá)求導(dǎo)是對 求導(dǎo),，所以不能遺漏了 ,。

辛欽大數(shù)定律告訴我們，只要一個(gè)隨機(jī)變量序列 是獨(dú)立同分布的,，那么隨機(jī)變量序列 就會依概率收斂到它的均值 ,。

這就為后面使用樣本均值作為總體均值的一個(gè)估計(jì)提供了理論依據(jù)，不僅如此,，若 的 階距離 存在,，則 也服從大數(shù)定律。

也就是說,，可以使用樣本 階距 作為 的一個(gè)估計(jì)值,。因?yàn)? 獨(dú)立同分布，則 也是獨(dú)立同分布的,，使用辛欽大數(shù)定律即可得到相關(guān)結(jié)論,。

定積分計(jì)算的兩種數(shù)值模擬思想

設(shè) ,，求 在 上的定積分：

類似這種定積分的數(shù)值計(jì)算，思想大致有兩種,。

第一種是隨機(jī)撒點(diǎn)法,，也叫隨機(jī)投點(diǎn)法，另一種思想是平均值法,，這種思想的不同也導(dǎo)致了算法的不同,，而對應(yīng)的兩種算法，在計(jì)算機(jī)上都可稱為蒙特卡洛隨機(jī)模擬,。

想法很簡單,，只需要意識到，定積分的幾何意義即可,，它的幾何意義是由直線 (積分上下限) 和曲線 以及 (X軸)圍成的面積的代數(shù)和,。

這里就假設(shè) ，函數(shù)值在積分區(qū)間內(nèi),。大于零,，是為了將代數(shù)和去掉，幾何意義直接是面積,。而小于 ,，是為了方便在區(qū)間 上隨機(jī)模擬。

那么現(xiàn)在如何求解它的面積呢,？一般的思路是在區(qū)域

上隨機(jī)撒點(diǎn),，當(dāng)隨機(jī)點(diǎn)的 坐標(biāo)，小于等于 時(shí),，作為有效計(jì)數(shù) ,，并累加，那么最后的計(jì)數(shù)結(jié)果和撒點(diǎn)的次數(shù) 的比值,，就是定積分的隨機(jī)模擬估計(jì)值,。

當(dāng)撒點(diǎn)的個(gè)數(shù)足夠多時(shí)，小于等于 的點(diǎn)構(gòu)成了密密麻麻的“面積”,，這就是定積分的幾何含義的體現(xiàn),，比值為真正的定積分。

這就是蒙特卡洛隨機(jī)模擬的方法應(yīng)用,，它的思想就是“撒點(diǎn)”,，利用計(jì)算機(jī)，進(jìn)行高效快速的模擬,，計(jì)數(shù),，計(jì)算比值，這也叫做隨機(jī)投點(diǎn)法,。

現(xiàn)在的問題是,，上面這種想法如何使用概率的語言描述,。找到了這種描述，就為這種方法的正確實(shí)現(xiàn)提供了依據(jù),。

當(dāng)然有，在區(qū)域 中隨機(jī)撒點(diǎn),，在概率中表示為兩個(gè)隨機(jī)變量 在區(qū)域 上服從均勻分布,，而上面的定積分又可以通過二重積分表示如下：，它在概率中又表示什么呢,？

它表示概率 ,，而這個(gè)概率正是曲線下方的點(diǎn)個(gè)數(shù)的計(jì)數(shù)值與整個(gè)撒點(diǎn)個(gè)數(shù)的比值。

這就聯(lián)系起來了,，依據(jù)也有了,。下面就使用計(jì)算機(jī)軟件，作統(tǒng)計(jì)計(jì)算,。

取值為 之間的函數(shù) ,，不妨就求標(biāo)準(zhǔn)正態(tài)分布的概率密度在 上的定積分(它滿足函數(shù)值在區(qū)間 的條件)，該定積分就是 ,。若不查表,，此處的 是無法得知的，要求解的定積分表達(dá)式如下：

這種積分形式,，解析解是無法直接計(jì)算的,，只能借助于計(jì)算機(jī)求解數(shù)值解，下面使用stata軟件中的數(shù)值模擬方法便是求數(shù)值解的一個(gè)途徑,，具體結(jié)果見表8.1,。

首先，給出,， 的較為精確結(jié)果為,。你會發(fā)現(xiàn)，隨著模擬次數(shù)的增加,，數(shù)值解的精確度越來越高,，即撒點(diǎn)的個(gè)數(shù)越多，計(jì)算的結(jié)果越精確的,。

上面的要求的函數(shù)必須滿足：,，要是不滿足呢？

很多函數(shù)的取值并不是限制在 ,，這很好辦,，先將它作最大值——最小值變換，將函數(shù)值映射在 區(qū)間上,，后面對數(shù)值解的結(jié)果作逆變換,，換回來計(jì)算精確結(jié)果即可,。

上面的假設(shè)條件中還需要，滿足積分區(qū)間為：,，有些積分區(qū)間不是它呢,？還是需要作變換，具體如下：

假設(shè) ,，且積分區(qū)間為 ,，則要求的是 ，那么先將積分區(qū)間變成 ,，令 ,，于是有：

又可以，作變換   使得 ,，所以相應(yīng)地恒等變換,，應(yīng)用到上面的積分中有：

這就是要求解的定積分，而計(jì)算機(jī)能隨機(jī)模擬的部分就是：,。

還是上面那個(gè)積分,，使用另一種想法來求解——平均值法，設(shè) ,，那么隨機(jī)變量 ,，的期望為：

這說明要求解的積分正是， 的期望,。

那么現(xiàn)在的問題是如何求解它的期望呢,？

使用樣本均值估計(jì)總體均值(期望)的思想。只需要抽取一個(gè)容量較大的樣本,，計(jì)算它的樣本均值,，，作為總體均值的估計(jì)量,。

這是另一種思想,，對于計(jì)算機(jī)來說，就是另一種算法了,，也是蒙特卡羅模擬思想下的一種算法,。

還是上面的正態(tài)分布例子，下面就以這種樣本均值作為總體均值估計(jì)量思想,，來作數(shù)值估計(jì),，得到的結(jié)果見表8.2。

兩種算法的對比,，可以發(fā)現(xiàn),，在這種大樣本下，以樣本均值估計(jì)總體均值這種思想,，精度略高于隨機(jī)撒點(diǎn)的方式,。

中心極限定理

中心極限定理討論的是隨機(jī)變量序列 的和標(biāo)準(zhǔn)化之后的分布,，會收斂于什么分布？答案是會收斂于標(biāo)準(zhǔn)正態(tài)分布,。

但是是有條件的,，下面就重點(diǎn)討論這些條件下的收斂分布。

設(shè) 是一列相互獨(dú)立同分布的隨機(jī)變量,，且期望 和方差 存在,，記隨機(jī)變量序列

依分布收斂于某個(gè)標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量，即對任意的實(shí)數(shù) ,，有：

這稱為獨(dú)立同分布下的中心極限定理(林德伯格-萊維中心極限定理)，也可以記為 ,，此處的符號是漸近分布的含義,。

這是一個(gè)依分布收斂的例子，和大數(shù)定律不同,。一般不考慮 序列,，是因?yàn)樗木岛推谕赡懿淮嬖冢菢?biāo)準(zhǔn)化后的期望和方差一定存在,。

這里要說明的是期望和方差不存在,，是當(dāng) 的條件下，可能不會存在,，盡管 的方差和期望是存在的,。當(dāng)然要是存在，也可以通過標(biāo)準(zhǔn)化變換的逆過程,，得到 序列 的極限分布,。

下面給出證明過程，雖然,，定理表達(dá)的是它依分布收斂到某一個(gè)服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量而不是一個(gè)常數(shù),，所以它不能使用依概率收斂的方式來證明。

我們需要證明隨機(jī)變量序列 依分布收斂到 也就是說,，隨機(jī)變量序列 的特征函數(shù)序列 收斂于標(biāo)準(zhǔn)正態(tài)分布的特征函數(shù) ,，當(dāng) 。

為了方便運(yùn)算,，假設(shè)隨機(jī)變量 的特征函數(shù)為 ,，那么有：

那么下面的證明過程，和證明辛欽大數(shù)定律的過程是類似的,。

中心極限定理,，作用非常大，應(yīng)用非常廣,，聯(lián)系上分布的可加性,，有下面的一些常用結(jié)論：

• ,，

特別地，當(dāng) 時(shí),，有：,，其中的 。

也就是說,， 表示 重伯努利試驗(yàn)中某個(gè)感興趣的事件發(fā)生的次數(shù),， 是每次試驗(yàn)中它發(fā)生的概率。這也被稱為二項(xiàng)分布的正態(tài)近似,。

很明顯 ,，它標(biāo)準(zhǔn)化后的隨機(jī)變量，近似服從標(biāo)準(zhǔn)正態(tài)分布,，當(dāng) 充分大時(shí),。這種二項(xiàng)分布的特殊情況下的中心極限定理，又稱為棣莫弗——拉普拉斯中心極限定理(De Movivre-Laplace),。

因?yàn)?，二?xiàng)分布是離散型分布，為了提高二項(xiàng)分布的正態(tài)近似精度,，考慮對公式進(jìn)行修正：

左右各移動 個(gè)單位,。

• ，則：

其實(shí)這里的 就是自由度為 的卡方分布(伽馬分布的可加性),。

仿照二項(xiàng)分布的正態(tài)近似的說法,，這個(gè)性質(zhì)也可稱為卡方分布的隨機(jī)變量標(biāo)準(zhǔn)化后具有正態(tài)近似性?？ǚ椒植? 當(dāng) 充分大時(shí),， 標(biāo)準(zhǔn)化后的隨機(jī)變量，近似服從標(biāo)準(zhǔn)正態(tài)分布,。

• ,，則：

特別地，當(dāng) 時(shí),，這里的 服從參數(shù)為 的泊松分布(泊松分布的可加性),。

以上也可稱為泊松分布的正態(tài)近似，泊松分布的隨機(jī)變量 當(dāng) 充分大時(shí),， 標(biāo)準(zhǔn)化后的隨機(jī)變量,，近似服從標(biāo)準(zhǔn)正態(tài)分布。

下面的定理說明了,，在獨(dú)立但是不同分布的情況下,，隨機(jī)變量序列 的前 項(xiàng)之和的標(biāo)準(zhǔn)化后的隨機(jī)變量序列依分布收斂到某個(gè)標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量。

設(shè) 為相互獨(dú)立的隨機(jī)變量序列，若存在 ,，使得：

其中的 ,，則對任意的實(shí)數(shù) ，有：

下面以圖形來表達(dá)上面幾個(gè)結(jié)論,。

從圖8.1可以看到,，二項(xiàng)分布列隨著 的增加，圖形的對稱性應(yīng)該是越來越好的(這里沒有,，是因?yàn)閰?shù) 本身二項(xiàng)分布就是對稱的),。

而且圖形越來越接近正態(tài)分布的形狀，標(biāo)準(zhǔn)化后的隨機(jī)變量是服從標(biāo)準(zhǔn)正態(tài)分布了,，那么未標(biāo)準(zhǔn)化的隨機(jī)變量也是近似服從正態(tài)分布的,，下面的圖形中同理。

從圖8.2可知,，泊松分布是右偏的,，隨著參數(shù) 的增加，圖形的右偏性逐漸減小,，趨于對稱分布了。

而且越來越和正態(tài)分布接近了,，且正態(tài)分布的均值也隨著 的增加而增加,。

從圖8.3中可見，作為連續(xù)型分布的卡方分布,，隨著自由度 的增加,，分布形狀由右偏逐漸趨于對稱，逐漸接近某個(gè)正態(tài)分布的概率密度,，峰值也逐漸減小,。