一,、最小二乘法的歷史

1801年，意大利天文學(xué)家朱賽普·皮亞齊發(fā)現(xiàn)了第一顆小行星谷神星,。經(jīng)過40天的跟蹤觀測后,，由于谷神星運(yùn)行至太陽背后，使得皮亞齊失去了谷神星的位置,。隨后全世界的科學(xué)家利用皮亞齊的觀測數(shù)據(jù)開始尋找谷神星,，但是根據(jù)大多數(shù)人計算的結(jié)果來尋找谷神星都沒有結(jié)果。時年24歲的高斯也計算了谷神星的軌道,。奧地利天文學(xué)家海因里?！W爾伯斯根據(jù)高斯計算出來的軌道重新發(fā)現(xiàn)了谷神星。

高斯使用的最小二乘法的方法發(fā)表于1809年他的著作《天體運(yùn)動論》中,。

法國科學(xué)家勒讓德于1806年獨(dú)立發(fā)明“最小二乘法”,，但因不為世人所知而默默無聞。

勒讓德曾與高斯為誰最早創(chuàng)立最小二乘法原理發(fā)生爭執(zhí),。

1829年,，高斯提供了最小二乘法的優(yōu)化效果強(qiáng)于其他方法的證明，因此被稱為高斯-馬爾可夫定理,。（來自于wikipedia）

二,、原理

我們口頭中經(jīng)常說：一般來說,，平均來說。如平均來說,，不吸煙的健康優(yōu)于吸煙者,，之所以要加“平均”二字，是因為凡事皆有例外,，總存在某個特別的人他吸煙但由于經(jīng)常鍛煉所以他的健康狀況可能會優(yōu)于他身邊不吸煙的朋友,。而最小二乘法的一個最簡單的例子便是算術(shù)平均。

最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù),。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配,。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小,。用函數(shù)表示為：

使誤差「所謂誤差,，當(dāng)然是觀察值與實際真實值的差量」平方和達(dá)到最小以尋求估計值的方法，就叫做最小二乘法,，用最小二乘法得到的估計,，叫做最小二乘估計。當(dāng)然,，取平方和作為目標(biāo)函數(shù)只是眾多可取的方法之一。

最小二乘法的一般形式可表示為：

有效的最小二乘法是勒讓德在 1805 年發(fā)表的,，基本思想就是認(rèn)為測量中有誤差,，所以所有方程的累積誤差為

我們求解出導(dǎo)致累積誤差最小的參數(shù)即可：

勒讓德在論文中對最小二乘法的優(yōu)良性做了幾點說明：

• 最小二乘使得誤差平方和最小，并在各個方程的誤差之間建立了一種平衡,，從而防止某一個極端誤差取得支配地位

• 計算中只要求偏導(dǎo)后求解線性方程組,，計算過程明確便捷

• 最小二乘可以導(dǎo)出算術(shù)平均值作為估計值

對于最后一點，從統(tǒng)計學(xué)的角度來看是很重要的一個性質(zhì),。推理如下：假設(shè)真值為 θ, x1,?,xn為n次測量值, 每次測量的誤差為ei=xi?θ,，按最小二乘法，誤差累積為

求解 使達(dá)到最小,，正好是算術(shù)平均,。

由于算術(shù)平均是一個歷經(jīng)考驗的方法，而以上的推理說明,，算術(shù)平均是最小二乘的一個特例,，所以從另一個角度說明了最小二乘方法的優(yōu)良性，使我們對最小二乘法更加有信心,。

三,、幾何解釋

從一個簡單的例子開始，已知平面上有三個點（1,2）,，（0,2）,，（2,，3），我們想用一條直線去擬合它,，像高中時一樣,，設(shè)這條直線的方程為Y=kx+b(一次函數(shù))，我們希望這條直線可以同時通過這三個點,，也就是這條直線的參數(shù)要滿足：

學(xué)過初中解方程組的同學(xué)知道,，這個方程組是無解的。

怎么解一個無解的方程組呢,？

為了解釋的方便,，我們用X1表示k,用X2表示b,則：

寫出矩陣的形式：

從列的角度看

一旦寫出列的形式，我們很自然的想到把向量a1a2和b畫到圖上,。

要找到解,，就要找到a1和a2的一個線性組合，使得組合的向量剛好等于b,可惜任何的a1和a2的線性組合,，只能出現(xiàn)在a1和a2所在的平面s上（高中必修二第二章平面基本性質(zhì)二的推論二兩條相交直線確定一個平面,，a1和a2可以認(rèn)為是兩條相交直線），但是向量b不在平面s上,，不可能找到解,，怎么辦呢？

找不到完美的解,，就只能找到一個最接近的解,，所以我們想在平面S上找到一個最接近向量b的向量來代替向量b,記這個替代品位向量p，我們知道最接近的肯定是它的投影,，即過直線b的終點做平面S的垂線,，垂足就是替代向量p的終點，p和b之間的誤差e=b-p,。

原來的方程是無解的,，我們用p代替b后，p在a1和a2的所在的平面上,，所以現(xiàn)在方程就一定有解了,。

下面我們說一說這個解釋怎么求出來的,我們知道：

要求的解就是式子中間帶帽子的X（是真實值的近似解或者說最接近的那個值），要使p和b之間的差距（誤差e）最小,，那么e一定是垂直于平面S的,，也就是要垂直于a1和a2的，想想我們高中是怎么表示兩個向量垂直的,？只要他們的點乘等于0就行了,。

也就是：

用矩陣表示就是：

即：

把上式代入值前面的e的方程得到最終的結(jié)果：

化簡一下，反解出x,

最終最佳的近似解就是：

所以以后再說最小二乘就這個東東了,！