詳細(xì)介紹高斯分布及其與均值、標(biāo)準(zhǔn)差,、方差的關(guān)系

高斯分布是統(tǒng)計(jì)中最重要的概率分布,，在機(jī)器學(xué)習(xí)中也很重要。因?yàn)楹芏嘧匀滑F(xiàn)象,，比如人口的身高,，血壓，鞋子的尺碼,，教育指標(biāo),，考試成績(jī)，還有很多更重要的自然因素都遵循高斯分布,。

我相信,，你聽(tīng)說(shuō)過(guò)這個(gè)詞，在某種程度上也知道它,。如果沒(méi)有,，也不要擔(dān)心。這篇文章將會(huì)解釋清楚,。我在Coursera的Andrew Ng教授的機(jī)器學(xué)習(xí)課程中發(fā)現(xiàn)了一些令人驚嘆的視覺(jué)效果,。他知道如何將一個(gè)主題分解成小塊，使它更容易解釋,。

他使用了一些可視化方法,，讓人們很容易理解高斯分布及其與相關(guān)參數(shù)(如均值、標(biāo)準(zhǔn)差和方差)的關(guān)系,。

在這篇文章中,，我從他的課程中截取了一些圖像,，并在這里用它來(lái)詳細(xì)解釋高斯分布。

高斯分布

高斯分布是正態(tài)分布的同義詞,。它們是一樣的東西,。假設(shè)，S是一組隨機(jī)值,，其概率分布如下圖所示,。

這是一個(gè)鐘形曲線。如果一個(gè)概率分布圖像上面那樣形成一個(gè)鐘形曲線,，并且該樣本的均值和中位數(shù)相同,，則該分布稱(chēng)為正態(tài)分布或高斯分布。

高斯分布由兩個(gè)參數(shù):

a.平均數(shù)

b.方差

所以,，高斯密度在mu或均值處是最高的,，離均值越遠(yuǎn)，高斯密度就越低,。

這是高斯分布的公式:

方程左邊是x的概率參數(shù)是和的平方,。這是鐘形曲線的公式其中平方稱(chēng)為方差。

高斯分布與平均值和標(biāo)準(zhǔn)差有什么關(guān)系

在這一節(jié)中,，我將展示一些圖片,，讓你們清楚地了解參數(shù)和與鐘形曲線的關(guān)系。我將展示三幅圖在這三幅圖中mu固定在0處而sigma不同,。

注意曲線的形狀和范圍是如何隨不同的sigma變化的,。

這是一組隨機(jī)數(shù)的概率分布mu = 0，而sigma = 1,。

在這幅圖中,，mu是0，這意味著最大的概率密度是0,sigma是1,。表示曲線的寬度是1,。

注意，曲線的高度大約是0.5,，范圍是-4到4(看x軸),。方差的平方是1。

這是另一組隨機(jī)數(shù)0,0.5,。

因?yàn)閙u是0,，就像之前的圖一樣最大的概率密度是0,sigma是0.5。曲線的寬度是0.5,。方差的平方變成0.25,。

由于曲線的寬度是前一條曲線的一半，因此高度加倍。范圍改變?yōu)?2到2 (x軸),，這是前一張圖片的一半,。

在這幅圖中，sigma= 2 mu= 0,。

將其與圖1比較,，其中sigma為1。這一次,，高度變成了圖1的一半,，寬度隨著變成兩倍。

方差平方是4,，比圖1大4倍,。x軸的范圍是-8到8。

此示例與前三個(gè)示例略有不同,。

這里,，我們把mu改為3 sigma = 0.5，如圖2所示,。因此,，曲線的形狀與圖2完全相同，只是中心移動(dòng)到了3?，F(xiàn)在最大的密度是3。

上面的四條曲線用不同的參數(shù)改變形狀但曲線的面積保持不變,。

概率分布的一個(gè)重要性質(zhì)是,，曲線下的面積積分為1。

參數(shù)計(jì)算

假設(shè)我們有一系列數(shù)據(jù),。如何計(jì)算mu(均值)和標(biāo)準(zhǔn)差?

mu的計(jì)算很簡(jiǎn)單,。這只是平均數(shù)。把所有數(shù)據(jù)的總和除以數(shù)據(jù)的總數(shù),。

這里,，xi是數(shù)據(jù)集中的單個(gè)值，m是數(shù)據(jù)的總數(shù),。

方差公式為:

標(biāo)準(zhǔn)差就是方差的平方根,。

多元高斯分布

假設(shè)有多組數(shù)據(jù)，我們需要多元高斯分布,。假設(shè)我們有兩組數(shù)據(jù);x1和x2,。

單獨(dú)建模p(x1)和p(x2)對(duì)于理解兩個(gè)數(shù)據(jù)集的組合效果可能不是一個(gè)好主意。在這種情況下,，您可能希望將數(shù)據(jù)集和模型僅結(jié)合在一起建立p(x),。

這是計(jì)算多元高斯分布概率的公式，

多變量高斯分布的可視化表示

在本節(jié)中，我們將看到多元高斯分布的可視化表示,，以及曲線的形狀如何隨mu,、sigma以及變量之間的相關(guān)性而變化。

從標(biāo)準(zhǔn)正態(tài)分布開(kāi)始

該圖表示多元高斯分布的概率分布,，其中x1和x2的mu都為零,。

請(qǐng)不要被這里的求和符號(hào)搞糊涂了。這是一個(gè)單位矩陣,，其中對(duì)角線上的1是x1和x2的sigma,。而非對(duì)角線上的零表示x1和x2之間的相關(guān)性。在這個(gè)例子中x1和x2是不相關(guān)的,。

這里的圖片很簡(jiǎn)單,。在x1和x2方向上，當(dāng)mu為0時(shí),，最大的概率密度為0,。

中間的深紅色區(qū)域是概率密度最高的區(qū)域。在淺紅色,、黃色,、綠色和青色區(qū)域，概率密度繼續(xù)降低,。深藍(lán)色區(qū)域是最低的,。

改變標(biāo)準(zhǔn)差

現(xiàn)在，讓我們看看如果sigma變小一點(diǎn)會(huì)發(fā)生什么,。x1 x2的sigma都是0.6,。

正如我之前提到的，曲線下的面積要積分為1,。標(biāo)準(zhǔn)差減小時(shí),，曲線范圍減小。同時(shí),，曲線的高度變高,，以調(diào)整區(qū)域。

相反,，當(dāng)sigma越大,，范圍就越大。所以曲線的高度變低了,。

看看圖6,，曲線和范圍的高度變化幾乎與我之前在單變量高斯分布中顯示的圖相似。

x1和x2的值并不總是相同的,。我們來(lái)看看這樣的例子,。

在圖7中,，x1的sigma = 0.6, x2的sigma = 1。

x1的范圍變小了,，因?yàn)闃?biāo)準(zhǔn)差變小了,。

在圖8中，它與前一張圖相反,。

x1的sigma是x2的兩倍,。

這次x1有更大的范圍。

改變變量之間的相關(guān)因素

這是一個(gè)完全不同的場(chǎng)景,。在圖9中,，非對(duì)角線值不再是零。而是0.5,。它表明x1和x2的相關(guān)系數(shù)為0.5,。

x1和x2的范圍是一起增長(zhǎng)的因?yàn)樗鼈兪钦嚓P(guān)的。

當(dāng)x1大時(shí),，x2也大當(dāng)x1小時(shí),，x2也小。

在圖10中,，x1和x2之間的相關(guān)性更大,，為0.8!

所有的概率都在一個(gè)狹窄的區(qū)域內(nèi)。分布也看起來(lái)又高又瘦,。

在上面所有的圖片中,，x1和x2之間的相關(guān)性要么是正的，要么是零,。讓我們看一個(gè)相關(guān)系數(shù)為負(fù)的例子,。

在圖11中，x1和x2的相關(guān)性為-0.8,。

你可以看到概率又在一個(gè)小范圍內(nèi)了。但是當(dāng)x1大,，x2小,，當(dāng)x1小，x2大,。

最后,，我們需要檢驗(yàn)不同均值

我們來(lái)看看mu不同時(shí)圖像的變化。

在圖12中,，mu對(duì)于x1是0,，對(duì)于x2是0。5,。

看看圖片上的范圍,。對(duì)于x2，曲線的中心從0開(kāi)始移動(dòng)。

中心位置或最高概率分布點(diǎn)現(xiàn)在應(yīng)該是0.5,。

在圖13中,，mu對(duì)于x1 為1.5，對(duì)于x2 mu為-0.5,。

x1方向上最高概率點(diǎn)是1.5,。同時(shí)，對(duì)于x2方向,，最高概率點(diǎn)為-0.5,。

總的來(lái)說(shuō)，整個(gè)曲線都在移動(dòng),。

結(jié)論

我希望這篇文章對(duì)理解高斯分布和它的特征有幫助,。我試圖展示和解釋曲線與不同參數(shù)之間的關(guān)系。希望,，當(dāng)你在統(tǒng)計(jì)或機(jī)器學(xué)習(xí)中使用高斯分布時(shí),，會(huì)簡(jiǎn)單得多。