【回故系列】線性回歸的矩陣推導(dǎo)...

小王8rweu66yyc 2021-04-26

展開全文

線性模型（Linear Model）,，是機器學(xué)習(xí)中的一類算法的總稱，其形式化定義為：通過給定的樣本數(shù)據(jù)集 $\large D$ ,，線性模型試圖學(xué)習(xí)到這樣的一個模型,，使得對于任意的輸入特征向量 $\large x=(x_1, x_2, ..., x_n)^T$ ，模型的預(yù)測輸出 $\large f(x)$ 能夠表示為輸入特征向量 $\large x$ 的線性函數(shù),，即滿足：

$\large f(x)=w_1x_1+w_2x_2+...+w_nx_n+b)$

也可以寫成矩陣的形式：

$\large f(x)=w^Tx+b$

其中,， $\large w=(w_1, w_2, ... , w_n)^T$ 和 $\large b$ 稱為模型的參數(shù)。

為了求解線性模型的參數(shù) $w$ 和 $b$ ,，首先我們定義損失函數(shù),，在回歸任務(wù)中，常用的損失函數(shù)是均方誤差：

$L\left ( w, b \right ) = \frac{1}{2} \sum_{i=1}^{m}\left (f(x^i)-y^i \right )^2$

優(yōu)化損失函數(shù)就是我們的目標(biāo),，基于均方誤差損失函數(shù)來求解模型參數(shù)的方差,，也就是我們熟悉的最小二乘法，最小二乘法的思想其實就是尋找一個超平面,，使得訓(xùn)練數(shù)據(jù)集 $\large D$ 中的所有樣本點到這個超平面的歐式距離最小,。

OK，接下來就是優(yōu)化問題了,，如何取優(yōu)化該損失函數(shù),，從而獲得最優(yōu)模型參數(shù) $\large w^*$ 和 $\large b^*$ ,因為該損失函數(shù)是凸函數(shù)，根據(jù)極值存在的必要條件,，我們可以運用解析法進行求解,。

下面我們將給出詳細(xì)的推導(dǎo)求解和的過程：

1. 首先將參數(shù)和進行合并，用 $\large \theta$ 來進行表示： $\large \theta=\left( w_1, w_2, ..., w_n, b \right )$ , 容易知道 $\large \theta$ 是 $\large n+1$ 維度,。

對輸入特征向量進行改寫,， $\large X^i=\left ( x_1^i,x_2^i,x_n^i,1 \right )$ ，則全體訓(xùn)練集,，可用矩陣進行如下表示：

$\large X=\begin{pmatrix} (X^1)^T \\ (X^2)^T \\ ... \\ (X^m)^T \end{pmatrix}$

對輸入特征向量的輸出標(biāo)簽,，可以改寫為：

$\large Y=\left( y^1, y^2, ..., y^m \right)^T$

2. 根據(jù)1.我們可以知道 $\large X$ 是一個 $\large m\times (n+1)$ 的矩陣,，這樣模型在訓(xùn)練集上所有預(yù)測結(jié)果可以寫成矩陣形式：

$\large f \left( X \right)=X\theta$

3. 根據(jù)1和2，損失函數(shù)可以轉(zhuǎn)化為矩陣形式：

$\large L\left( \theta \right ) =\frac{1}{2}(X\theta-Y)^T(X\theta-Y)$

根據(jù)極值存在的必要條件,，下面進行對參數(shù) $\large \theta$ 的求導(dǎo)：

$\large \bigtriangledown_\theta L(\theta) =\bigtriangledown_\theta \frac{1}{2}(X\theta-Y)^T(X\theta-Y)$

$\large =\frac{1}{2}\bigtriangledown_\theta(\theta^TX^TX\theta - \theta^TX^TY-Y^TX\theta+Y^TY)$ 對上一步結(jié)果進行展開

$\large =\frac{1}{2}\bigtriangledown_\theta tr(\theta^TX^TX\theta - \theta^TX^TY-Y^TX\theta + Y^TY)$ 轉(zhuǎn)換為跡運算

$\large =\frac{1}{2}\bigtriangledown_\theta \left ( tr(\theta^TX^TX\theta) -tr( \theta^TX^TY)-tr(Y^TX\theta )+ tr(Y^TY) \right )$ 對上一步結(jié)果進行展開

根據(jù)常見矩陣求導(dǎo)公式 $\large tr(A)=tr(A^T)$ ,可知 $\large \because (\theta^TX^TY)^T = Y^TX\theta \therefore tr( \theta^TX^TY) = tr(Y^TX\theta )$

$\large =\frac{1}{2}\bigtriangledown_\theta \left ( tr(\theta^TX^TX\theta) -2tr(Y^TX\theta )\right )$

根據(jù)常見矩陣求導(dǎo)公式 $\large \bigtriangledown_X tr(X^TAX)=(A+A^T)X$ ,，可知 $\large \bigtriangledown_\theta \left ( tr(\theta^TX^TX\theta) \right ) = \left ((X^TX)^T + X^TX \right)\theta = 2X^TX\theta$

根據(jù)常見矩陣求導(dǎo)公式 $\large \bigtriangledown_X tr(\beta^TX)=\beta$ ，可知 $\large \bigtriangledown_\theta \left ( tr(Y^TX\theta )\right ) = (Y^TX)^T=X^TY$

綜上可知,， $\large \bigtriangledown_\theta L(\theta) = \frac{1}{2} \left (2X^TX\theta -2X^T\theta \right)=X^TX\theta-X^TY$

令 $\large \bigtriangledown_\theta L(\theta) = 0$ ,，可得 $\large X^TX\theta-X^TY=0$ ，求解得到 $\large \theta=(X^TX)^{-1}X^TY$

需要注意,，要保證對稱矩陣 $\large X^TX$ 是可逆的,，如果不可逆，則解析法求解失效,。

完,，脊回歸的推導(dǎo)也很相似。

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,，所有內(nèi)容均由用戶發(fā)布,，不代表本站觀點。請注意甄別內(nèi)容中的聯(lián)系方式,、誘導(dǎo)購買等信息,，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,，請點擊一鍵舉報,。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻花（0） +1

來自：小王8rweu66yyc > 《待分類》

舉報/認(rèn)領(lǐng)