第二章,、參數(shù)估計

　　　　一、引言：

　　　　二、點估計——矩估計法：

　　　　三,、點估計——極大似然估計：

　　　　四,、估計量的優(yōu)良性準則

　　　　五、區(qū)間估計——正態(tài)分布

　　　　　　1,、引入

　　　　　　2,、單個正態(tài)總體參數(shù)的區(qū)間估計

　　　　　　3、兩個正態(tài)總體的區(qū)間估計

　　　　六,、區(qū)間估計——非正態(tài)分布：

　　　　　　1,、大樣本正態(tài)近似法

　　　　　　2、二項分布

　　　　　　3,、泊松分布

第二章,、參數(shù)估計

　　本講首先介紹參數(shù)矩估計的基本思想以及求矩估計的步驟，給出多個求參數(shù)矩估計的例子,；然后介紹參數(shù)極大似然估計的基本原理,，求極大似然估計的基本方法，給出多個求參數(shù)極大似然矩估計的例子,。

一,、引言：

　　數(shù)理統(tǒng)計的任務： ● 總體分布類型的判斷； ● 總體分布中未知參數(shù)的推斷(參數(shù)估計與 假設檢驗),。

　　【參數(shù)估計】設總體 X 的分布函數(shù)為 F( x, θ ),，其中θ 為未知參數(shù)或參數(shù)向量，現(xiàn)從該總體中抽樣,得到樣本X₁, X₂ , … , X_n .依樣本對參數(shù)θ 做出估計,，或估計參數(shù) θ   的某個已知函數(shù) g(θ ) ,。這類問題稱為參數(shù)估計。參數(shù)估計包括：點估計和區(qū)間估計,。

　　為估計參數(shù) μ,，需要構造適當?shù)慕y(tǒng)計量 T( X₁, X₂ , … , X_n )， 一旦當有了樣本,，就將樣本值代入到該統(tǒng)計量中,，算出一個值作為 μ 的估計，稱該計算值為 μ 的一個點估計,。

【尋求估計量的方法】

　　1. 矩估計法

　　2. 極大似然法

　　3. 最小二乘法

　　4. 貝葉斯方法 …

　　我們僅介紹前面的兩種參數(shù)估計法 ,。

二、點估計——矩估計法

　　矩估計是基于“替換”思想建立起來的一種參數(shù)估計方法 ,。最早由英國統(tǒng)計學家 K. 皮爾遜 提出,。其思想是: 用同階、同類的樣本矩來估計總體矩,。

【步驟】

設總體 X 的分布函數(shù)中含 k 個未知參數(shù) θ₁,θ₂,...,θ_k。

步驟一：記總體 X 的 m 階原點矩 E(X^m)為 a_m , m  = 1,2,…,k.

一般地, a_m (m = 1, 2, …, K) 是總體分布中參數(shù)或參數(shù)向量 (θ₁,θ₂,...,θ_k) 的函數(shù)。

故, a_m (m=1, 2, …, k) 應記成: a_m(θ₁,θ₂,...,θ_k), m =1, 2, …, k.

步驟二：算出樣本的 m 階原點矩

步驟三：令

  得到關于 θ₁,θ₂,...,θ_k 的方程組(L≥k),。一般要求方程組(1)中有 k 個獨立方程,。

步驟四：解方程組(1), 并記其解為

這種參數(shù)估計法稱為參數(shù)的矩估計法，簡稱矩法,。

 【例題】

【優(yōu)缺點】

矩估計的優(yōu)點是：簡單易行, 不需要事先知道總體是什么分布,。

缺點是：當總體的分布類型已知時，未充分利用分布所提供的信息,；此外,，一般情形下，矩估計不具有唯一性 ,。

三,、點估計——極大似然估計

　　極大似然估計法是在總體的分布類型已知前提下，使用的一種參數(shù)估計法 ,。該方法首先由德國數(shù)學家高斯于 1821年提出,，其后英國統(tǒng)計學家費歇于 1922年發(fā)現(xiàn)了這一方法，研究了方法的一些性質,，并給出了求參數(shù)極大似然估計一般方法——極大似然估計原理 ,。

1、極大似然估計原理

　　設總體 X 的分布 (連續(xù)型時為概率密度,，離散型時為概率分布) 為 f(x, θ) ,  X₁,X₂,…,X_n 是抽自總體 X 的簡單樣本,。于是，樣本的聯(lián)合概率函數(shù) (連續(xù)型時為聯(lián)合概率密度,，離散型時為聯(lián)合概率分布) 為

假定現(xiàn)在我們觀測到一組樣本 X₁, X₂, …,  X_n,，要去估計未知參數(shù)θ 。一種直觀的想法是：哪個參數(shù)(多個參數(shù)時是哪組參數(shù)) 使得現(xiàn)在的出現(xiàn)的可能性 (概率) 最大,，哪個參數(shù)(或哪組參數(shù))就作為參數(shù)的估計,。這就是極大似然估計原理。

如果

,， 稱  為θ 的極大似然估計 (MLE),。

【極大似然估計(MLE)的一般步驟】

1、 由總體分布導出樣本的聯(lián)合概率函數(shù)(連 續(xù)型時為聯(lián)合概率密度, 離散型時為聯(lián)合 概率分布),；

2,、把樣本的聯(lián)合概率函數(shù)中的自變量看成 已知常數(shù), 參數(shù)θ 看成自變量, 得到似然 函數(shù) L(θ )；

3,、求似然函數(shù) L(θ ) 的最大值點 (常常轉化 為求ln L(θ )的最大值點) ,，即 θ 的MLE;

4、在最大值點的表達式中,，代入樣本值,， 就得參數(shù) θ 的極大似然估計,。

【兩點說明】

●  求似然函數(shù) L(θ ) 的最大值點，可應用微積分中的技巧,。由于  ln(x)  是 x 的增函數(shù),，所以 ln L(θ ) 與 L(θ  ) 在 θ  的同一點處達到各自的最大值。假定 θ 是一實數(shù),  ln L(θ )是 θ 的一個可微函數(shù),。通過求解似然方程

 可以得到 θ   的MLE,。

● 用上述方法求參數(shù)的極大似然估計有時行不通，這時要用極大似然原理來求 ,。

【例題】例1: 設X₁, X₂, …, X_n是取自總體 X~B(1, p) 的一個樣本,，求參數(shù) p 的極大似然估計。

四,、估計量的優(yōu)良性準則：

　　從前面兩節(jié)（矩估計和極大似然）的討論中可以看到:

　　● 同一參數(shù)可以有幾種不同的估計,，這時就需要判斷采用哪一種估計為好的問題。

　　● 另一方面,，對于同一個參數(shù),，用矩法和極大似然法即使得到的是同一個估計, 也存在衡量這個估計優(yōu)劣的問題。

　　估計量的優(yōu)良性準則就是：評價一個估計量“好”與“壞”的標準,。

1,、無偏性：

【例如】若 Θ 指的是正態(tài)總體N(μ , s²)的均值m,則其一切可能取值范圍是(-∞,∞)。若 Θ 指的是方差s²,，則其一切可能取值范圍是(0,∞),。

【例題】正態(tài)分布的無偏估計

注意：E（X²） = Var （X） + [ E（X）]²    (具體詳見高等數(shù)理統(tǒng)計（一）——> 三、統(tǒng)計量 ——> 1,、隨機變量的數(shù)字特征： ——> （2）方差)

均方誤差準則

五,、區(qū)間估計——正態(tài)分布:

1、引入：

　　前面討論了參數(shù)的點估計,。點估計就是利用樣本計算出的值 (即實軸上點) 來估計未知參數(shù),。其優(yōu)點是：可直地告訴人們  “未知參數(shù)大致是多少”；缺點是：并未反映出估計的誤差范圍 (精度),。故,，在使用上還有不盡如人意之處。而區(qū)間估計正好彌補了點估計的這一不足之處 ,。

【例如】在估計正態(tài)總體均值 μ 的問題中,若根據(jù)一組實際樣本,，得到 μ 的極大似然估計為 10.12。實際上,，μ 的真值可能大于10.12,，也可能小于10.12。

　　一個可以想到的估計辦法是：給出一個區(qū)間,，并告訴人們該區(qū)間包含未知參數(shù) μ 的可靠度 (也稱置信系數(shù)),。

　　也就是說,，給出一個區(qū)間，使我們能以一定的可靠度相信區(qū)間包含參數(shù) μ ,。

　　這里的“可靠度”是用概率來度量的,，稱為置信系數(shù)，常用 1- α 表示 （0 < α <1）,。

　　置信系數(shù)的大小常根據(jù)實際需要來確定，通常取0.95或0.99,，即 α=0.05或0.01,。

　　為確定置信區(qū)間，我們先回顧前面給出的隨機變量的上α 分位點的概念,。

詳見第一章的【常用分布】?，F(xiàn)在回到尋找置信區(qū)間問題上來。

【置信區(qū)間的定義】

2,、單個正態(tài)總體參數(shù)的區(qū)間估計:

(1)σ² 已知時,，對μ的區(qū)間估計：正態(tài)分布

【例1】某廠生產(chǎn)的零件長度 X 服從 N( μ , 0.04),現(xiàn)從該廠生產(chǎn)的零件中隨機抽取6個，長度測量值如下(單位:毫米):

    14.6,  15.l,  14.9,  14.8,  15.2,  15.1.

　　求:μ 的置信系數(shù)為0.95的區(qū)間估計,。 

(2)μ,、σ² 未知時，對μ的區(qū)間估計：T分布

【例2】為估計一物體的重量μ,，將其稱量10次,得到重量的測量值 (單位:  千克) 如下:

10.l, 10.0, 9.8, 10.5, 9.7, l0.l, 9.9, 10.2, 10.3, 9.9.

設它們服從正態(tài)分布 N(μ , σ²),。求μ 的置信系數(shù)為0.95的置信區(qū)間。

(3)μ,、σ² 未知時,，σ² 的區(qū)間估計：卡方分布

【例3(續(xù)例2)】 求σ²的置信系數(shù)為0.95的置信區(qū)間。

3,、兩個正態(tài)總體的區(qū)間估計：

　　在實際應用中,，經(jīng)常會遇到兩個正態(tài)總體的區(qū)間估計問題。例如：考察一項新技術對提高產(chǎn)品的某項質量指標的作用,，將實施新技術前的產(chǎn)品質量指標看成正態(tài)總體 N(μ₁, σ₁²),，實施新技術后產(chǎn)品質量指標看成正態(tài)總體 N(μ₂, σ₂²)。于是,，評價新技術的效果問題,，就歸結為研究兩個正態(tài)總體均值之差 μ₁-μ₂ 的問題。

【定理1】設 X₁, X₂, ···, X_m是抽自正態(tài)總體X 的簡單樣本,，X～N(μ₁, σ₁²),，樣本均值與樣本方差為

Y1, Y2, ···, Yn 是抽自正態(tài)總體 Y 的簡單樣本，Y ～N(μ₂, σ₂²),，樣本均值與樣本方差為

當兩樣本相互獨立時,，有：

I,、σ₁²、σ₂² 已知時:

【重要】均值相消,，方差累加

利用該定理,，我們可以得到 μ₁-μ₂ 的置信系數(shù)為 1-α 的置信區(qū)間：

【例1】(比較棉花品種的優(yōu)劣)：假設用甲、乙兩種棉花紡出的棉紗強度分別為 X～N(μ₁, 2.18²)和Y ～N(μ₂, 1.76²),。試驗者從這兩種棉紗中分別抽取樣本 X₁, X₂ ,…, X₂₀₀ 和 Y₁, Y₂, …, Y₁₀₀,，樣本均值分別為:。求 μ₁-μ₂的置信系數(shù)為 0.95 的區(qū)間估計,。  

II,、當σ₁²、σ₂² 未知時,，但假設σ₁²=σ₂²=σ²:

證明：

利用該定理,，我們可以得到 μ₁-μ₂ 的置信系數(shù)為 1-α 的置信區(qū)間：

六、區(qū)間估計——非正態(tài)分布：

　　1,、大樣本正態(tài)近似法

　　前面兩節(jié)討論了正態(tài)總體分布參數(shù)的區(qū)間估計,。但是在實際應用中，我們有時不能判斷手中的數(shù)據(jù)是否服從正態(tài)分布,，或者有足夠理由認為它們不服從正態(tài)分布,。這時，只要樣本大小 n 比較大,，總體均值 μ 的置信區(qū)間仍可用正態(tài)總體情形的公式（如下）,，所不同的是：這時的置信區(qū)間是近似的。

 【證明】

　　這是求一般總體均值的一種簡單有效的方法,，其理論依據(jù)是中心極限定理,，它要求樣本大小 n 比較大。因此,，這個方法稱為大樣本方法,。

　　設總體均值為 μ,  方差為σ2 ,  X1, X2, …, Xn 為來自總體的樣本。因為這些樣本獨立同分布的,，根據(jù)中心極限定理,，對充分大的 n, 下式近似成立

　　因而，近似地有

　　于是,， μ 的置信系數(shù)約為1-α 的置信區(qū)間為

　　當σ²未知時,，用σ²的某個估計，如 S² 來代替,，（T分布,，具體同【五、區(qū)間估計——正態(tài)分布】小節(jié)）得到

　　只要 n 很大,，(2)式所提供的置信區(qū)間在應用上是令人滿意的,。

　　那么,，n  究竟多大才算很大呢？

　　顯然,，對于相同的 n ,   (2)式所給出的置信區(qū)間的近似程度隨總體分布與正態(tài)分布的接近程度而變化,，因此，理論上很難給出 n 很大的一個界限,。但許多應用實踐表明：當 n≥30時,，近似程度是可以接受的；當 n≥50時,，近似程度是很好的,。

　　【例1】某公司欲估計自己生產(chǎn)的電池壽命。現(xiàn)從其產(chǎn)品中隨機抽取 50 只電池做壽命試驗,。這些電池壽命的平均值為 2.266  (單位：100小時)，標準差 S=1.935,。求該公司生產(chǎn)的電池平均壽命的置信系數(shù)為 95% 的置信區(qū)間,。

　　【解】查正態(tài)分布表，得 z_{α /2}= z_0.025=1.96,，由公式 (2),，得電池平均壽命的置信系數(shù)為 95% 的置信區(qū)間為

　　2、二項分布：

　　設事件 A 在一次試驗中發(fā)生的概率為 p,， 現(xiàn)在做 n 次試驗,，以Y_n記事件 A 發(fā)生的次數(shù),則 Y_n ~ B(n, p)。依中心極限定理,，對充分大的 n,，近似地有

　　(3)式是(1)式的特殊情形。即近似認為： Y_n ~ N ( np,np(1-p) )  ——>  Y_n = （Y_n - np ） / sqrt（ np(1-p) ）~ N ( 0,1 )

　　(4)式就是二項分布參數(shù) p 的置信系數(shù)約為1-α 的置信區(qū)間,。

【證明】

【例2】商品檢驗部門隨機抽查了某公司生產(chǎn)的產(chǎn)品100件,，發(fā)現(xiàn)其中合格產(chǎn)品為84件，試求該產(chǎn)品合格率的置信系數(shù)為0.95的置信區(qū)間,。

　　解：n=100,  Y_n=84,  α =0.05,  z_α/2=1.96,  將這些結果代入到(4)式,，得 p 的置信系數(shù)為0.95的近似置信區(qū)間為 [0.77, 0.91]。

【例3】在環(huán)境保護問題中,  飲水質量研究占有重要地位,， 其中一項工作是檢查飲用水中是否存在某種類型的微生物,。假設在隨機抽取的100份一定容積的水樣品中有20份含有這種類型的微生物。試求同樣容積的這種水含有這種微生物的概率  p 的置信系數(shù)為0.90的置信區(qū)間,。

　　解：n=100,  Yn=20,  α =0.10,  zα/2=1.645,  將這些結果代入到(4)式,，得 p 的置信系數(shù)為0.90的近似置信區(qū)間為 [0.134, 0.226]。

　　3,、泊松分布  

【例4】公共汽車站在一單位時間內(nèi) (如半小時,或1小時, 或一天等) 到達的乘客數(shù)服從泊松分布 P(λ),  對不同的車站,  所不同的僅僅是參數(shù)λ  的取值不同?，F(xiàn)對一城市某一公共汽車站進行了100個單位時間的調(diào)查,。這里單位時間是20 分鐘。計算得到每 20 分鐘內(nèi)來到該車站的乘客數(shù)平均值為 15.2 人,。試求參數(shù) λ 的置信系數(shù)為 95%的置信區(qū)間,。

　　解: n=100,  α =0.05,  zα/2=1.96,     將這些結果代入到 (5) 式,  得 λ 的置信系數(shù)為0.95的近似置信區(qū)間為 [14.44, 15.96]。