【原】【原創(chuàng)】大結(jié)局！scikit-learn 支持向量機算法庫使用小結(jié)

新用戶8173JS52 2020-10-27

展開全文

公眾號后臺回復(fù)“python“,，立刻領(lǐng)取100本機器學習必備Python電子書

之前通過一個系列對支持向量機(以下簡稱SVM)算法的原理做了一個總結(jié),，本文從實踐的角度對scikit-learn SVM算法庫的使用做一個小結(jié)。scikit-learn SVM算法庫封裝了libsvm 和 liblinear 的實現(xiàn),，僅僅重寫了算法了接口部分,。

1. scikit-learn SVM算法庫使用概述

scikit-learn中SVM的算法庫分為兩類，一類是分類的算法庫,，包括SVC,， NuSVC，和LinearSVC 3個類,。另一類是回歸算法庫,，包括SVR， NuSVR,，和LinearSVR 3個類,。相關(guān)的類都包裹在sklearn.svm模塊之中。

對于SVC,， NuSVC,，和LinearSVC 3個分類的類，SVC和 NuSVC差不多,，區(qū)別僅僅在于對損失的度量方式不同,，而LinearSVC從名字就可以看出，他是線性分類,，也就是不支持各種低維到高維的核函數(shù),，僅僅支持線性核函數(shù)，對線性不可分的數(shù)據(jù)不能使用,。

同樣的,，對于SVR， NuSVR,，和LinearSVR 3個回歸的類,， SVR和NuSVR差不多，區(qū)別也僅僅在于對損失的度量方式不同,。LinearSVR是線性回歸,，只能使用線性核函數(shù)。

我們使用這些類的時候,，如果有經(jīng)驗知道數(shù)據(jù)是線性可以擬合的,，那么使用LinearSVC去分類或者LinearSVR去回歸，它們不需要我們?nèi)ヂ恼{(diào)參去選擇各種核函數(shù)以及對應(yīng)參數(shù),，速度也快,。如果我們對數(shù)據(jù)分布沒有什么經(jīng)驗,，一般使用SVC去分類或者SVR去回歸，這就需要我們選擇核函數(shù)以及對核函數(shù)調(diào)參了,。

什么特殊場景需要使用NuSVC分類和 NuSVR 回歸呢,？如果我們對訓練集訓練的錯誤率或者說支持向量的百分比有要求的時候，可以選擇NuSVC分類和 NuSVR ,。它們有一個參數(shù)來控制這個百分比,。

這些類的詳細使用方法我們在下面再詳細講述。

2. 回顧SVM分類算法和回歸算法

我們先簡要回顧下SVM分類算法和回歸算法,，因為這里面有些參數(shù)對應(yīng)于算法庫的參數(shù),，如果不先復(fù)習下，下面對參數(shù)的講述可能會有些難以理解,。

對于SVM分類算法,，其原始形式是：

其中m為樣本個數(shù)，我們的樣本為,。是我們的分離超平面的系數(shù),為第i個樣本的松弛系數(shù),， C為懲罰系數(shù)。為低維到高維的映射函數(shù),。

通過拉格朗日函數(shù)以及對偶化后的形式為：

其中和原始形式不同的為拉格朗日系數(shù)向量,。為我們要使用的核函數(shù)。

3. SVM核函數(shù)概述

在scikit-learn中,，內(nèi)置的核函數(shù)一共有4種,，當然如果你認為線性核函數(shù)不算核函數(shù)的話，那就只有三種,。

1）線性核函數(shù)（Linear Kernel）表達式為：,，就是普通的內(nèi)積，LinearSVC 和 LinearSVR 只能使用它,。

2) 多項式核函數(shù)（Polynomial Kernel）是線性不可分SVM常用的核函數(shù)之一，表達式為：,，其中,，都需要自己調(diào)參定義,比較麻煩。

3）高斯核函數(shù)（Gaussian Kernel）,，在SVM中也稱為徑向基核函數(shù)（Radial Basis Function,RBF）,，它是libsvm默認的核函數(shù)，當然也是scikit-learn默認的核函數(shù),。表達式為：,，其中，大于0,，需要自己調(diào)參定義,。