對(duì)深度學(xué)習(xí)和機(jī)器學(xué)習(xí)工程師而言,在世界上所有的概率模型中,,高斯分布(Gaussian distribution)模型最為引人注目,。即使你從來(lái)沒(méi)有進(jìn)行過(guò)AI項(xiàng)目,有很大的幾率你曾經(jīng)遇到過(guò)高斯模型,。 高斯分布,又稱(chēng)為正態(tài)分布(Normal distribution),,常??梢酝ㄟ^(guò)其標(biāo)志性的鐘形曲線(xiàn)識(shí)別出來(lái)。高斯分布如此流行,,有三大原因,。 高斯概率分布函數(shù) 在自然現(xiàn)象中普遍存在
—— George Box 擴(kuò)散中的微粒的位置可以用高斯分布描述 自然科學(xué)和社會(huì)科學(xué)中有極其大量的過(guò)程天然遵循高斯分布,。即使當(dāng)它們并不遵循高斯分布的時(shí)候,,高斯分布也往往提供最佳的逼近。一些例子:
數(shù)學(xué)上的原因:中心極限定理二維平面隨機(jī)行走兩百萬(wàn)步 中心極限定理表明,滿(mǎn)足一定條件時(shí),,大量相互獨(dú)立的隨機(jī)變量經(jīng)適當(dāng)標(biāo)準(zhǔn)化后,,收斂于高斯分布。例如,,隨機(jī)行走的總距離分趨向于高斯概率分布,。 這一定理意味著專(zhuān)門(mén)為高斯模型開(kāi)發(fā)的大量科學(xué)方法和統(tǒng)計(jì)學(xué)方法同樣適用于可能牽涉其他類(lèi)型分布的廣闊領(lǐng)域內(nèi)的問(wèn)題。 可以認(rèn)為,,這一定理解釋了為什么這么多自然現(xiàn)象遵循高斯分布,。 另外,高斯分布在一些轉(zhuǎn)換后仍然是高斯分布:
簡(jiǎn)單性奧卡姆剃刀原則強(qiáng)調(diào)在其他條件相同時(shí),最簡(jiǎn)單的解是最佳解 對(duì)每個(gè)高斯模型逼近而言,,可能存在一個(gè)提供更好的逼近的復(fù)雜多參數(shù)分布,。然而,我們?nèi)匀贿x擇高斯模型,,因?yàn)樗蟠蠛?jiǎn)化了數(shù)學(xué),!
高斯分布得名于偉大的數(shù)學(xué)家和物理學(xué)家卡爾·弗里德里?!じ咚梗–arl Friedrich Gauss)。 |
|