本周剩余內(nèi)容：

2. 建模方法回顧

    2.0 偏差與方差

    2.1 線性回歸-Linear Regression

        2.1.1 模型原理

        2.1.2 損失函數(shù)

    2.2 支持向量機-Support Vector Machine

        2.2.1 模型原理

        2.2.2 損失函數(shù)

        2.2.3 核方法

    2.3 邏輯回歸-Logistic Regression

        2.3.1 模型原理

        2.3.2 損失函數(shù)

    2.4 Bagging and Boosting框架

        2.4.1 Bagging框架

        2.4.2 Boosting框架

    2.5 Additive Tree 模型

        2.5.1 Random Forests

        2.5.2 AdaBoost with trees

        2.5.3 Gradient Boosting Decision Tree

        2.5.4 簡單的例子

    2.6 人工神經(jīng)網(wǎng)絡(luò)-Neural Network

        2.6.1 神經(jīng)元

        2.6.2 神經(jīng)網(wǎng)絡(luò)的常用結(jié)構(gòu)

        2.6.3 一個簡單的神經(jīng)網(wǎng)絡(luò)例子

以通用的監(jiān)督學(xué)習(xí)為例,，基本包含4個部分:

● 在機器學(xué)習(xí)算法中,，偏差是由先驗假設(shè)的不合理帶來的模型誤差,，高偏差會導(dǎo)致欠擬合：所謂欠擬合是指對特征和標(biāo)注之間的因果關(guān)系學(xué)習(xí)不到位，導(dǎo)致模型本身沒有較好的學(xué)到歷史經(jīng)驗的現(xiàn)象,；

● 方差表征的是模型誤差對樣本發(fā)生一定變化時的敏感度,，高方差會導(dǎo)致過擬合：模型對訓(xùn)練樣本中的隨機噪聲也做了擬合學(xué)習(xí)，導(dǎo)致在未知樣本上應(yīng)用時出現(xiàn)效果較差的現(xiàn)象,；

● 機器學(xué)習(xí)模型的核心之一在于其推廣能力,，即在未知樣本上的表現(xiàn)。

一個例子,，假如我們有預(yù)測模型:

我們希望用f^e(x)估計f(x),，如果使用基于square loss 的線性回歸，則誤差分析如下:

所以大家可以清楚的看到模型學(xué)習(xí)過程其實就是對偏差和方差的折中過程,。

標(biāo)準(zhǔn)線性回歸通過對自變量的線性組合來預(yù)測因變量,，組合自變量的權(quán)重通過最小化訓(xùn)練集中所有樣本的預(yù)測平方誤差和來得到，原理如下,。

● 預(yù)測函數(shù) 

● 參數(shù)學(xué)習(xí)－采用最小二乘法 

所有機器學(xué)習(xí)模型的成立都會有一定的先驗假設(shè),，線性回歸也不例外，它對數(shù)據(jù)做了以下強假設(shè):

● 自變量相互獨立,，無多重共線性

● 因變量是自變量的線性加權(quán)組合：

● 所有樣本獨立同分布(iid),，且誤差項服從以下分布：

最小二乘法與以上假設(shè)的關(guān)系推導(dǎo)如下:

使用MLE(極大似然法)估計參數(shù)如下:

線性回歸有兩個重要變體：

● Lasso Regression:采用L1正則并使用MAP做參數(shù)估計

● Ridge Regression:采用L2正則并使用MAP做參數(shù)估計

關(guān)于正則化及最優(yōu)化后續(xù)會做介紹。

進一步閱讀可參考：Least Squares

https://en./wiki/Least_squares