1 多元線性回歸概念

在回歸分析中，如果有兩個(gè)或兩個(gè)以上的自變量,，就稱為多元回歸,。社會(huì)經(jīng)濟(jì)現(xiàn)象的變化往往受到多個(gè)因素的影響，例如,，家庭消費(fèi)支出,，除了受家庭可支配收入的影響外，還受諸如家庭所有的財(cái)富,、物價(jià)水平,、金融機(jī)構(gòu)存款利息等多種因素的影響。因此,，一般要進(jìn)行多元回歸分析,，我們把包括兩個(gè)或兩個(gè)以上自變量的回歸稱為多元線性回歸。一元線性回歸是一個(gè)主要影響因素作為自變量來(lái)解釋因變量的變化,。事實(shí)上,，一種現(xiàn)象常常是與多個(gè)因素相聯(lián)系的，由多個(gè)自變量的最優(yōu)組合共同來(lái)預(yù)測(cè)或估計(jì)因變量，比只用一個(gè)自變量進(jìn)行預(yù)測(cè)或估計(jì)更有效,，更符合實(shí)際,。因此多元線性回歸比一元線性回歸的實(shí)用意義更大。

多元線性回歸與一元線性回歸類似,，可以用最小二乘法估計(jì)模型參數(shù),，也需對(duì)模型及模型參數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)。

選擇合適的自變量是正確進(jìn)行多元回歸預(yù)測(cè)的前提之一,，多元回歸模型自變量的選擇可以利用變量之間的相關(guān)矩陣來(lái)解決,。

2 多元線性回歸服從正態(tài)分布

多元線性回歸要求服從高斯分布也就是正態(tài)分布。

正態(tài)分布函數(shù)：

3 多元線性回歸模型

多元線性回歸模型為：

??其中,，b0為常數(shù)項(xiàng),，b1,b2…bk為回歸系數(shù)，b1為X1,X2…Xk固定時(shí),，x1每增加一個(gè)單位對(duì)y的效應(yīng),，即x1對(duì)y的偏回歸系數(shù)；同理b2為X1,X2…Xk固定時(shí),，x2每增加一個(gè)單位對(duì)y的效應(yīng),，即，x2對(duì)y的偏回歸系數(shù),，等等,。如果兩個(gè)自變量x1,x2同一個(gè)因變量y呈線相關(guān)時(shí)，可用二元線性回歸模型描述為：

??用最小二乘法求解參數(shù),。以二線性回歸模型為例,，求解回歸參數(shù)的標(biāo)準(zhǔn)方程組為：

??解此方程可求得b0,b1,b2的數(shù)值。亦可用下列矩陣法求得：

??即：

??最大似然估計(jì)和最小二乘法：

??又比如兩個(gè)變量：

??使用最大似然估計(jì)解釋最小二：

??高斯的對(duì)數(shù)似然與最小二乘：

4 多元回歸模型的檢測(cè)與評(píng)價(jià)

??多元性回歸模型與一元線性回歸模型一樣,，在得到參數(shù)的最小二乘法的估計(jì)值之后,，也需要進(jìn)行必要的檢驗(yàn)與評(píng)價(jià)，以決定模型是否可以應(yīng)用,。需要以下幾個(gè)步驟：

1）擬合程度的測(cè)定

??與一元線性回歸中可決系數(shù)R2相對(duì)應(yīng),，多元線性回歸中也有多重可決系數(shù)R2，它是在因變量的總變化中,，由回歸方程解釋的變動(dòng)(回歸平方和)所占的比重,，R2越大，回歸方各對(duì)樣本數(shù)據(jù)點(diǎn)擬合的程度越強(qiáng),，所有自變量與因變量的關(guān)系越密切,。

計(jì)算公式為：

2）估計(jì)標(biāo)準(zhǔn)誤差

??估計(jì)標(biāo)準(zhǔn)誤差，即因變量y的實(shí)際值與回歸方程求出的估計(jì)值 之間的標(biāo)準(zhǔn)誤差,，估計(jì)標(biāo)準(zhǔn)誤差越小,，回歸方程擬合程度越好,。

??其中，k為多元線性回歸方程中的自變量的個(gè)數(shù),。

3）回歸方程的顯著性檢驗(yàn)

??回歸方程的顯著性檢驗(yàn),，即檢驗(yàn)整個(gè)回歸方程的顯著性，或者說(shuō)評(píng)價(jià)所有自變量與因變量的線性關(guān)系是否密切,。

能常采用F檢驗(yàn),，F(xiàn)統(tǒng)計(jì)量的計(jì)算公式為：

??根據(jù)給定的顯著水平a,自由度(k,n-k-1)查F分布表，得到相應(yīng)的臨界值Fa,，若F > Fa,，則回歸方程具有顯著意義，回歸效果顯著：F<Fa,，則回歸方程無(wú)顯著意義,，回歸效果不顯著。

5 多元線性回歸的應(yīng)用

（1）確定幾個(gè)特定的變量之間是否存在相關(guān)關(guān)系,，如果存在的話,，找出它們之間合適的數(shù)學(xué)表達(dá)式；

（2）根據(jù)一個(gè)或幾個(gè)變量的值,，預(yù)測(cè)或控制另一個(gè)變量的取值,，并且可以知道這種預(yù)測(cè)或控制能達(dá)到什么樣的精確度；

（3）進(jìn)行因素分析,。例如在對(duì)于共同影響一個(gè)變量的許多變量（因素）之間,，找出哪些是重要因素，哪些是次要因素,，這些因素之間又有什么關(guān)系等等,。

??實(shí)際生活中,，多元線性回歸可以分析許多東西,，如：居民儲(chǔ)蓄存款的影響因素分析，房?jī)r(jià)的影響因素分析,，醫(yī)療費(fèi)用的分析,，老人高血壓的影響因素分析，艾滋病患者生活質(zhì)量分析,。