(七)正態(tài)魅影

Everyone believes in it: experimentalists believing that it is a
mathematical theorem, mathematicians believing that it is an empirical fact.
—- Henri Poincare

E.T. Jaynes 在《Probability Theory, the Logic of Science》提出了兩個問題:

1. 為什么正態(tài)分布被如此廣泛的使用？
2. 為什么正態(tài)分布在實(shí)踐使用中非常的成功,？

E.T. Jaynes 指出,，正態(tài)分布在實(shí)踐中成功的被廣泛應(yīng)用，更多的是因?yàn)檎龖B(tài)分布在數(shù)學(xué)方面的具有多方面的穩(wěn)定性質(zhì),，這些性質(zhì)包括：

• 兩個正態(tài)分布密度的乘積還是正態(tài)分布
• 兩個正態(tài)分布密度的卷積還是正態(tài)分布,，也就是兩個正態(tài)分布的和還是正態(tài)分布
• 正態(tài)分布的傅立葉變換還是正態(tài)分布
• 中心極限定理保證了多個隨機(jī)變量的求和效應(yīng)將導(dǎo)致正態(tài)分布
• 正態(tài)分布和其它具有相同均值、方差的概率分布相比,，具有最大熵

前三個性質(zhì)說明了正態(tài)分布一旦形成,就容易保持該形態(tài)的穩(wěn)定,， Landon 對于正態(tài)分布的推導(dǎo)也表明了， 正態(tài)分布可以吞噬較小的干擾而繼續(xù)保持形態(tài)穩(wěn)定,。后兩個性質(zhì)則說明,， 其它的概率分布在各種的操作之下容易越來越靠近正態(tài)分布。 正態(tài)分布具有最大熵的性質(zhì),，所以任何一個對指定概率分布的操作,， 如果該操作保持方差的大小，卻減少已知的知識,，則該操作不可避免的增加概率分布的信息熵,， 這將導(dǎo)致概率分布向正態(tài)分布靠近。

正由于正態(tài)分布多種的穩(wěn)定性質(zhì),，使得它像一個黑洞一樣處于一個中心的位置,， 其它的概率分布形式在各種操作之下都逐漸向正態(tài)分布靠攏，Jaynes 把它描述為概率分布中重力現(xiàn)象(gravitating phenomenon),。

我們在實(shí)踐中為何總是選擇使用正態(tài)分布呢,，正態(tài)分布在自然界中的頻繁出現(xiàn)只是原因之一。Jaynes 認(rèn)為還有一個重要的原因 是正態(tài)分布的最大熵性質(zhì),。在很多時候我們其實(shí)沒有任何的知識知道數(shù)據(jù)的真實(shí)分布是什么,， 但是一個分布的均值和方差往往是相對穩(wěn)定的。因此我們能從數(shù)據(jù)中獲取到的比較好的知識就是均值和方差,， 除此之外沒有其它更加有用的信息量,。因此按照最大熵的原理,，我們應(yīng)該選擇在給定的知識的限制下，選擇熵最大的 概率分布,，而這就恰好是正態(tài)分布,。即便數(shù)據(jù)的真實(shí)分布不是正態(tài)分布，由于我們對真實(shí)分布 一無所知,，如果數(shù)據(jù)不能有效提供除了均值和方差之外的更多的知識,，那這時候正態(tài)分布就是最佳的選擇。

當(dāng)然正態(tài)分布還有更多令人著迷的數(shù)學(xué)性質(zhì),，我們可以欣賞一下:

• 二項(xiàng)分布 B(n,p) 在 n很大逼近正態(tài)分布 N(np,np(1?p))
• 泊松分布 Poisson(λ) 在 λ 較大時逼近正態(tài)分布 N(λ,λ)
• χ2(n)在 n很大的時候接近正態(tài)分布 N(n,2n)
• t分布在 n 很大時接近標(biāo)準(zhǔn)正態(tài)分布 N(0,1)
• 正態(tài)分布的共軛分布還是正態(tài)分布
• 幾乎所有的極大似然估計在樣本量n增大的時候都趨近于正態(tài)分布
• Cramer 分解定理(之前介紹過)：如果 X,Y 是獨(dú)立的隨機(jī)變量,，且 S=X+Y 是正態(tài)分布，那么 X,Y 也是正態(tài)分布
• 如果 X,Y 獨(dú)立且滿足正態(tài)分布N(μ,σ2), 那么 X+Y, X?Y 獨(dú)立且同分布,，而正態(tài)分布是唯一滿足這一性質(zhì)的概率分布
• 對于兩個正態(tài)分布X,Y, 如果X,Y 不相關(guān)則意味著X,Y獨(dú)立,，而正態(tài)分布是唯一滿足這一性質(zhì)的概率分布