機器學習入門02

達天下圖書館 2020-12-31

展開全文

1- 線性回歸
2- 訓練與損失
- 平方損失（L2 損失）
3- 理解
- 問題
- 解答
4- 關(guān)鍵詞

原文鏈接：https://developers.google.com/machine-learning/crash-course/descending-into-ml/

線性回歸是一種找到最適合一組點的直線或超平面的方法,。

回到頂部

1- 線性回歸

線性回歸是一種找到最適合一組點的直線或超平面的方法。

以數(shù)學形式表達： $y = m x + b$

y指的是試圖預(yù)測的值
m指的是直線的斜率
x指的是輸入特征的值
b指的是 y 軸截距

按照機器學習的慣例來書寫此方程式：

$y^{'} = b + w_{1} x_{1}$

回到頂部

2- 訓練與損失

簡單來說,，訓練模型表示通過有標簽樣本來學習（確定）所有權(quán)重和偏差的理想值,。
在監(jiān)督式學習中，機器學習算法構(gòu)建模型的方式：檢查多個樣本并嘗試找出可最大限度地減少損失的模型,；這一過程稱為經(jīng)驗風險最小化,。

損失是一個數(shù)值，表示對于單個樣本而言模型預(yù)測的準確程度。如果模型的預(yù)測完全準確,，則損失為零,，否則損失會較大。
訓練模型的目標是從所有樣本中找到一組平均損失“較小”的權(quán)重和偏差,。

能否創(chuàng)建一個數(shù)學函數(shù)（損失函數(shù)）,，以有意義的方式匯總各個損失?

平方損失（L₂ 損失）

平方損失是一種常見的損失函數(shù)。

單個樣本的平方損失是“標簽值與預(yù)測值兩者差平方”：(observation - prediction(x))2 ,，也就是 (y - y')2

均方誤差 (MSE) 指的是每個樣本的平均平方損失,。
要計算 MSE，請求出各個樣本的所有平方損失之和,，然后除以樣本數(shù)量,。
$M S E = \frac{1}{N} \sum_{(x, y) \in D} (y - p r e d i c t i o n (x))^{2}$

(x, y)指的是樣本，其中x指的是模型進行預(yù)測時使用的特征集,，y指的是樣本的標簽,。
prediction(x)指的是權(quán)重和偏差與特征集x結(jié)合的函數(shù)。
D指的是包含多個有標簽樣本（即(x, y)）的數(shù)據(jù)集,。
N指的是D中的樣本數(shù)量,。

雖然 MSE 常用于機器學習，但它既不是唯一實用的損失函數(shù),，也不是適用于所有情形的最佳損失函數(shù),。

回到頂部

3- 理解

問題

對于以下曲線圖中顯示的兩個數(shù)據(jù)集，哪個數(shù)據(jù)集的均方誤差 (MSE) 較高,？

解答

右側(cè)的數(shù)據(jù)集,。--- 正確
線上的 8 個樣本產(chǎn)生的總損失為 0。不
過,，盡管只有兩個點在線外,，但這兩個點的離線距離依然是左圖中離群點的 2 倍。
平方損失進一步加大差異,，因此兩個點的偏移量產(chǎn)生的損失是一個點的 4 倍,。
$M S E = \frac{0^{2} + 0^{2} + 0^{2} + 2^{2} + 0^{2} + 0^{2} + 0^{2} + 2^{2} + 0^{2} + 0^{2}}{10} = 0.8$

左側(cè)的數(shù)據(jù)集。
線上的 6 個樣本產(chǎn)生的總損失為 0,。
不在線上的 4 個樣本離線并不遠,，因此即使對偏移求平方值，產(chǎn)生的值仍然很?。?br data-filtered="filtered"> $M S E = \frac{0^{2} + 1^{2} + 0^{2} + 1^{2} + 0^{2} + 1^{2} + 0^{2} + 1^{2} + 0^{2} + 0^{2}}{10} = 0.4$

回到頂部

4- 關(guān)鍵詞

偏差 (bias)
距離原點的截距或偏移,。偏差（也稱為偏差項）在機器學習模型中用 b 或 w0 表示。
例如,，在下面的公式中,，偏差為 b：

$y^{'} = b + w_{1} x_{1} + w_{2} x_{2} + \dots w_{n} x_{n}$
請勿與預(yù)測偏差混淆。

權(quán)重 (weight)
線性模型中特征的系數(shù)，或深度網(wǎng)絡(luò)中的邊,。
訓練線性模型的目標是確定每個特征的理想權(quán)重,。
如果權(quán)重為 0，則相應(yīng)的特征對模型來說沒有任何貢獻,。

線性回歸 (linear regression)
一種回歸模型,，通過將輸入特征進行線性組合輸出連續(xù)值。

推斷 (inference)
在機器學習中,，推斷通常指以下過程：通過將訓練過的模型應(yīng)用于無標簽樣本來做出預(yù)測,。
在統(tǒng)計學中，推斷是指在某些觀測數(shù)據(jù)條件下擬合分布參數(shù)的過程,。（請參閱維基百科中有關(guān)統(tǒng)計學推斷的文章,。）

經(jīng)驗風險最小化 (ERM, empirical risk minimization)
用于選擇可以將基于訓練集的損失降至最低的函數(shù)。與結(jié)構(gòu)風險最小化相對,。

損失 (Loss)
一種衡量指標,，用于衡量模型的預(yù)測偏離其標簽的程度?；蛘吒^地說是衡量模型有多差,。
要確定此值，模型必須定義損失函數(shù),。
例如,，線性回歸模型通常將均方誤差用作損失函數(shù)，而邏輯回歸模型則使用對數(shù)損失函數(shù),。

均方誤差 (MSE, Mean Squared Error)
每個樣本的平均平方損失,。MSE 的計算方法是平方損失除以樣本數(shù),。
TensorFlow Playground 顯示的“訓練損失”值和“測試損失”值都是 MSE,。

平方損失函數(shù) (squared loss)
在線性回歸中使用的損失函數(shù)（也稱為 L2 損失函數(shù)）。
該函數(shù)可計算模型為有標簽樣本預(yù)測的值和標簽的實際值之差的平方,。
由于取平方值,，因此該損失函數(shù)會放大不佳預(yù)測的影響。
也就是說,，與 L1 損失函數(shù)相比,，平方損失函數(shù)對離群值的反應(yīng)更強烈。

訓練 (training)
確定構(gòu)成模型的理想?yún)?shù)的過程,。