ML之SVM：SVM算法的簡(jiǎn)介、應(yīng)用,、經(jīng)典案例之詳細(xì)攻略

SVM算法的簡(jiǎn)介

? ? ? ? 支持向量機(jī)（Support Vector Machine, SVM）是一類按監(jiān)督學(xué)習(xí)（supervised learning）方式對(duì)數(shù)據(jù)進(jìn)行二元分類（binary classification）的廣義線性分類器（generalized linear classifier），其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面（maximum-margin hyperplane）,。
? ? ? ? SVM的基本思想是：找到集合邊緣上的若干數(shù)據(jù)（稱為支持向量（Support Vector）），用這些點(diǎn)找出一個(gè)平面（稱為決策面），使得支持向量到該平面的距離最大。

1,、SVM模型分類—線性可分,、線性、非線性

? ? ? ? 由簡(jiǎn)至繁的SVM模型包括：

• 當(dāng)訓(xùn)練樣本線性可分時(shí)，通過硬間隔最大化，學(xué)習(xí)一個(gè)線性可分支持向量機(jī)；
• 當(dāng)訓(xùn)練樣本近似線性可分時(shí)，通過軟間隔最大化，學(xué)習(xí)一個(gè)線性支持向量機(jī)；
• 當(dāng)訓(xùn)練樣本線性不可分時(shí)，通過核技巧和軟間隔最大化，學(xué)習(xí)一個(gè)非線性支持向量機(jī)；

線性可分?jǐn)?shù)據(jù)
線性不可分?jǐn)?shù)據(jù)
非線性數(shù)據(jù)

2,、SVM的決策邊界

? ? ? ? 在分類問題中，很多時(shí)候有多個(gè)解，如下圖左邊所示，在理想的線性可分的情況下其決策平面會(huì)有多個(gè),。而SVM的基本模型是，在特征空間上找到最佳的分離超平面使得訓(xùn)練集上正負(fù)樣本間隔最大，SVM算法計(jì)算出來的分界會(huì)保留對(duì)類別最大的間距，即有足夠的余量，如下圖右邊所示。

3,、SVM中的核函數(shù)

? ? ? ? 在解決線性不可分問題時(shí)，它可以通過引入核函數(shù)，巧妙地解決了在高維空間中的內(nèi)積運(yùn)算，從而很好地解決了非線性分類問題,。如下圖所示，通過核函數(shù)的引入，將線性不可分的數(shù)據(jù)映射到一個(gè)高緯的特征空間內(nèi)，使得數(shù)據(jù)在特征空間內(nèi)是可分的。如下圖所示：

高斯核函數(shù)是無窮維的

4,、SVM算法推導(dǎo)

1.1,、SVM轉(zhuǎn)為對(duì)偶問題的求解—SMO算法思

5、SVM中“損失+懲罰”框架的靈活性

6,、SVM的損失函數(shù)分析

SVM的應(yīng)用——解決的問題類型

1,、SVM用作分類

1.1、SVM與二分類

二分類Binary Classification，解決輸出是0還是1的問題,。SVM解決的是二分類,。

1.2,、SVM與多分類

T1、線性核函數(shù)Linear Kernal：采用的策略是"one versus one" ,。
T2,、線性支持向量分類器LinearSVC，采用的策略是"one versus all"

2、SVM用作回歸

? ? ? ?支持向量回歸（Support Vector Regression, SVR）將SVM由分類問題推廣至回歸問題可以得到支持向量回歸（Support Vector Regression, SVR），此時(shí)SVM的標(biāo)準(zhǔn)算法也被稱為支持向量分類（Support Vector Classification, SVC）,。

? ? ? ?支持向量分類的方法能被推廣到解決回歸問題，稱為支持向量回歸,。由支持向量分類產(chǎn)生的模型僅依賴訓(xùn)練數(shù)據(jù)的子集，因?yàn)閯?chuàng)建模型的代價(jià)函數(shù)并不考慮超過邊界的訓(xùn)練點(diǎn)。類似地，由支持向量回歸產(chǎn)生的模型僅依賴訓(xùn)練數(shù)據(jù)的子集，因?yàn)閯?chuàng)建模型的代價(jià)函數(shù)忽略任何接近模型預(yù)測(cè)的訓(xùn)練數(shù)據(jù),。
? ? ??支持向量回歸有三個(gè)不同的執(zhí)行版本：rbfSVR，polySVR，linearSVR,。linearSVR執(zhí)行速度比SVR要快，但只提供線性核。fit方法取X, y作為輸入?yún)?shù)，這里，y取浮點(diǎn)值而不是分類的整數(shù)值,。

from sklearn import svm
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
clf = svm.SVR()
clf.fit(X, y)

SVM的經(jīng)典案例

DL之NN/Average_Darkness/SVM：手寫數(shù)字圖片識(shí)別(本地?cái)?shù)據(jù)集50000訓(xùn)練集+數(shù)據(jù)集加4倍)比較3種算法Average_Darkness,、SVM、NN各自的準(zhǔn)確率
MAT之SVM：SVM之Classification根據(jù)已有大量數(shù)據(jù)集案例，輸入已有病例的特征向量實(shí)現(xiàn)乳腺癌診斷高準(zhǔn)確率預(yù)測(cè)
MAT之SVM/BP：SVR(better)和BP兩種方法比較且實(shí)現(xiàn)建筑物鋼筋混凝土抗壓強(qiáng)度預(yù)測(cè)
ML之SVM：隨機(jī)產(chǎn)生100個(gè)點(diǎn)，建立SVM模型，找出超平面方程
ML之SVM：基于sklearn的svm算法實(shí)現(xiàn)對(duì)支持向量的數(shù)據(jù)進(jìn)行標(biāo)注