一,、卷積神經(jīng)網(wǎng)絡(luò)的基本概念

       受Hubel和Wiesel對貓視覺皮層電生理研究啟發(fā)，有人提出卷積神經(jīng)網(wǎng)絡(luò)（CNN）,，Yann Lecun 最早將CNN用于手寫數(shù)字識別并一直保持了其在該問題的霸主地位,。近年來卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)方向持續(xù)發(fā)力，在語音識別,、人臉識別,、通用物體識別、運(yùn)動分析,、自然語言處理甚至腦電波分析方面均有突破,。

       卷積神經(jīng)網(wǎng)絡(luò)與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，卷積神經(jīng)網(wǎng)絡(luò)包含了一個(gè)由卷積層和子采樣層構(gòu)成的特征抽取器,。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中,，一個(gè)神經(jīng)元只與部分鄰層神經(jīng)元連接。在CNN的一個(gè)卷積層中,，通常包含若干個(gè)特征平面(featureMap)，每個(gè)特征平面由一些矩形排列的的神經(jīng)元組成,，同一特征平面的神經(jīng)元共享權(quán)值,，這里共享的權(quán)值就是卷積核。卷積核一般以隨機(jī)小數(shù)矩陣的形式初始化,，在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核將學(xué)習(xí)得到合理的權(quán)值,。共享權(quán)值（卷積核）帶來的直接好處是減少網(wǎng)絡(luò)各層之間的連接，同時(shí)又降低了過擬合的風(fēng)險(xiǎn),。子采樣也叫做池化（pooling）,，通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程,。卷積和子采樣大大簡化了模型復(fù)雜度,，減少了模型的參數(shù)。

二,、卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用場景

三,、卷積神經(jīng)網(wǎng)絡(luò)的原理

3.1 神經(jīng)網(wǎng)絡(luò)

       首先介紹神經(jīng)網(wǎng)絡(luò)，這一步的詳細(xì)可以參考資源1,。簡要介紹下,。神經(jīng)網(wǎng)絡(luò)的每個(gè)單元如下：

       其對應(yīng)的公式如下：

       其中，該單元也可以被稱作是Logistic回歸模型,。當(dāng)將多個(gè)單元組合起來并具有分層結(jié)構(gòu)時(shí),，就形成了神經(jīng)網(wǎng)絡(luò)模型,。下圖展示了一個(gè)具有一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)。

        其對應(yīng)的公式如下：

       比較類似的,，可以拓展到有2,3,4,5,，…個(gè)隱含層。

       神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法也同Logistic類似,，不過由于其多層性,，還需要利用鏈?zhǔn)角髮?dǎo)法則對隱含層的節(jié)點(diǎn)進(jìn)行求導(dǎo)，即梯度下降+鏈?zhǔn)角髮?dǎo)法則,，專業(yè)名稱為反向傳播,。關(guān)于訓(xùn)練算法，本文暫不涉及,。

3.2 卷積神經(jīng)網(wǎng)絡(luò)

       受Hubel和Wiesel對貓視覺皮層電生理研究啟發(fā),，有人提出卷積神經(jīng)網(wǎng)絡(luò)（CNN），Yann Lecun 最早將CNN用于手寫數(shù)字識別并一直保持了其在該問題的霸主地位,。近年來卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)方向持續(xù)發(fā)力,，在語音識別、人臉識別,、通用物體識別,、運(yùn)動分析、自然語言處理甚至腦電波分析方面均有突破,。

       卷積神經(jīng)網(wǎng)絡(luò)與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于,，卷積神經(jīng)網(wǎng)絡(luò)包含了一個(gè)由卷積層和子采樣層構(gòu)成的特征抽取器。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中,，一個(gè)神經(jīng)元只與部分鄰層神經(jīng)元連接,。在CNN的一個(gè)卷積層中，通常包含若干個(gè)特征平面(featureMap),，每個(gè)特征平面由一些矩形排列的的神經(jīng)元組成,，同一特征平面的神經(jīng)元共享權(quán)值，這里共享的權(quán)值就是卷積核,。卷積核一般以隨機(jī)小數(shù)矩陣的形式初始化,，在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核將學(xué)習(xí)得到合理的權(quán)值。共享權(quán)值（卷積核）帶來的直接好處是減少網(wǎng)絡(luò)各層之間的連接,，同時(shí)又降低了過擬合的風(fēng)險(xiǎn),。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式,。子采樣可以看作一種特殊的卷積過程,。卷積和子采樣大大簡化了模型復(fù)雜度，減少了模型的參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖所示：

       卷積神經(jīng)網(wǎng)絡(luò)由三部分構(gòu)成,。第一部分是輸入層,。第二部分由n個(gè)卷積層和池化層的組合組成。第三部分由一個(gè)全連結(jié)的多層感知機(jī)分類器構(gòu)成,。

3.2.1局部感受野

       卷積神經(jīng)網(wǎng)絡(luò)有兩種神器可以降低參數(shù)數(shù)目,，第一種神器叫做局部感知野。一般認(rèn)為人對外界的認(rèn)知是從局部到全局的,，而圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密,，而距離較遠(yuǎn)的像素相關(guān)性則較弱。因而,，每個(gè)神經(jīng)元其實(shí)沒有必要對全局圖像進(jìn)行感知,，只需要對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息,。網(wǎng)絡(luò)部分連通的思想,，也是受啟發(fā)于生物學(xué)里面的視覺系統(tǒng)結(jié)構(gòu)。視覺皮層的神經(jīng)元就是局部接受信息的（即這些神經(jīng)元只響應(yīng)某些特定區(qū)域的刺激）,。如下圖所示：左圖為全連接,，右圖為局部連接。

        在上右圖中,，假如每個(gè)神經(jīng)元只和10×10個(gè)像素值相連,，那么權(quán)值數(shù)據(jù)為1000000×100個(gè)參數(shù)，減少為原來的萬分之一,。而那10×10個(gè)像素值對應(yīng)的10×10個(gè)參數(shù),，其實(shí)就相當(dāng)于卷積操作。

3.2.3 權(quán)值共享

       但其實(shí)這樣的話參數(shù)仍然過多,，那么就啟動第二級神器，即權(quán)值共享,。在上面的局部連接中,，每個(gè)神經(jīng)元都對應(yīng)100個(gè)參數(shù)，一共1000000個(gè)神經(jīng)元,，如果這1000000個(gè)神經(jīng)元的100個(gè)參數(shù)都是相等的,，那么參數(shù)數(shù)目就變?yōu)?00了。

       怎么理解權(quán)值共享呢,？我們可以這100個(gè)參數(shù)（也就是卷積操作）看成是提取特征的方式,，該方式與位置無關(guān)。這其中隱含的原理則是：圖像的一部分的統(tǒng)計(jì)特性與其他部分是一樣的,。這也意味著我們在這一部分學(xué)習(xí)的特征也能用在另一部分上,，所以對于這個(gè)圖像上的所有位置，我們都能使用同樣的學(xué)習(xí)特征。

       更直觀一些,，當(dāng)從一個(gè)大尺寸圖像中隨機(jī)選取一小塊,，比如說 8x8 作為樣本，并且從這個(gè)小塊樣本中學(xué)習(xí)到了一些特征,，這時(shí)我們可以把從這個(gè) 8x8 樣本中學(xué)習(xí)到的特征作為探測器,，應(yīng)用到這個(gè)圖像的任意地方中去。特別是,，我們可以用從 8x8 樣本中所學(xué)習(xí)到的特征跟原本的大尺寸圖像作卷積,，從而對這個(gè)大尺寸圖像上的任一位置獲得一個(gè)不同特征的激活值。

       如下圖所示,，展示了一個(gè)3×3的卷積核在5×5的圖像上做卷積的過程,。每個(gè)卷積都是一種特征提取方式，就像一個(gè)篩子,，將圖像中符合條件（激活值越大越符合條件）的部分篩選出來,。

3.2.4 多卷積核

       上面所述只有100個(gè)參數(shù)時(shí)，表明只有1個(gè)10*10的卷積核,，顯然,，特征提取是不充分的，我們可以添加多個(gè)卷積核,，比如32個(gè)卷積核,，可以學(xué)習(xí)32種特征。在有多個(gè)卷積核時(shí),，如下圖所示：

       上圖右,，不同顏色表明不同的卷積核。每個(gè)卷積核都會將圖像生成為另一幅圖像,。比如兩個(gè)卷積核就可以將生成兩幅圖像,，這兩幅圖像可以看做是一張圖像的不同的通道。如下圖所示,，下圖有個(gè)小錯(cuò)誤,，即將w1改為w0，w2改為w1即可,。下文中仍以w1和w2稱呼它們,。

      下圖展示了在四個(gè)通道上的卷積操作，有兩個(gè)卷積核,，生成兩個(gè)通道,。其中需要注意的是，四個(gè)通道上每個(gè)通道對應(yīng)一個(gè)卷積核,，先將w2忽略,，只看w1，那么在w1的某位置（i,j）處的值，是由四個(gè)通道上（i,j）處的卷積結(jié)果相加然后再取激活函數(shù)值得到的,。

       所以,，在上圖由4個(gè)通道卷積得到2個(gè)通道的過程中，參數(shù)的數(shù)目為4×2×2×2個(gè),，其中4表示4個(gè)通道,，第一個(gè)2表示生成2個(gè)通道，最后的2×2表示卷積核大小,。

3.2.5 Down-pooling

       在通過卷積獲得了特征 (features) 之后,，下一步我們希望利用這些特征去做分類。理論上講,，人們可以用所有提取得到的特征去訓(xùn)練分類器,，例如 softmax 分類器，但這樣做面臨計(jì)算量的挑戰(zhàn),。例如：對于一個(gè) 96X96 像素的圖像,，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征，每一個(gè)特征和圖像卷積都會得到一個(gè) (96 ? 8 + 1) × (96 ? 8 + 1) = 7921 維的卷積特征,，由于有 400 個(gè)特征,，所以每個(gè)樣例 (example) 都會得到一個(gè) 7921 × 400 = 3,168,400 維的卷積特征向量。學(xué)習(xí)一個(gè)擁有超過 3 百萬特征輸入的分類器十分不便,，并且容易出現(xiàn)過擬合 (over-fitting),。

       為了解決這個(gè)問題，首先回憶一下,，我們之所以決定使用卷積后的特征是因?yàn)閳D像具有一種“靜態(tài)性”的屬性,，這也就意味著在一個(gè)圖像區(qū)域有用的特征極有可能在另一個(gè)區(qū)域同樣適用。因此,，為了描述大的圖像,，一個(gè)很自然的想法就是對不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，例如,，人們可以計(jì)算圖像一個(gè)區(qū)域上的某個(gè)特定特征的平均值 (或最大值),。這些概要統(tǒng)計(jì)特征不僅具有低得多的維度 (相比使用所有提取得到的特征)，同時(shí)還會改善結(jié)果(不容易過擬合),。這種聚合的操作就叫做池化 (pooling)，有時(shí)也稱為平均池化或者最大池化 (取決于計(jì)算池化的方法),。

       子采樣有兩種形式,，一種是均值子采樣（mean-pooling），一種是最大值子采樣（max-pooling）,。兩種子采樣看成特殊的卷積過程,，如圖下圖所示：

       (1)均值子采樣的卷積核中每個(gè)權(quán)重都是0.25，卷積核在原圖inputX上的滑動的步長為2。均值子采樣的效果相當(dāng)于把原圖模糊縮減至原來的1/4,。

       (2)最大值子采樣的卷積核中各權(quán)重值中只有一個(gè)為1,，其余均為0，卷積核中為1的位置對應(yīng)inputX被卷積核覆蓋部分值最大的位置,。卷積核在原圖inputX上的滑動步長為2,。最大值子采樣的效果是把原圖縮減至原來的1/4，并保留每個(gè)2*2區(qū)域的最強(qiáng)輸入,。

        至此,，卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和原理已經(jīng)闡述完畢。

3.2.6 多卷積層

       在實(shí)際應(yīng)用中,，往往使用多層卷積,，然后再使用全連接層進(jìn)行訓(xùn)練，多層卷積的目的是一層卷積學(xué)到的特征往往是局部的,，層數(shù)越高,，學(xué)到的特征就越全局化。

四,、卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

      本文的主要目的是介紹CNN參數(shù)在使用bp算法時(shí)該怎么訓(xùn)練,，畢竟CNN中有卷積層和下采樣層，雖然和MLP的bp算法本質(zhì)上相同,，但形式上還是有些區(qū)別的,，很顯然在完成CNN反向傳播前了解bp算法是必須的。

4.1 Forward前向傳播

       前向過程的卷積為典型valid的卷積過程,，即卷積核kernalW覆蓋在輸入圖inputX上,，對應(yīng)位置求積再求和得到一個(gè)值并賦給輸出圖OutputY對應(yīng)的位置。每次卷積核在inputX上移動一個(gè)位置,，從上到下從左到右交疊覆蓋一遍之后得到輸出矩陣outputY(如圖4.1與圖4.3所示),。如果卷積核的輸入圖inputX為Mx*Nx大小，卷積核為Mw*Nw大小,，那么輸出圖Y為（Mx-Mw+1）*（Nx-Nw+1）大小,。

4.2 BackForward反向傳播

       在錯(cuò)誤信號反向傳播過程中，先按照神經(jīng)網(wǎng)絡(luò)的錯(cuò)誤反傳方式得到尾部分類器中各神經(jīng)元的錯(cuò)誤信號,，然后錯(cuò)誤信號由分類器向前面的特征抽取器傳播,。錯(cuò)誤信號從子采樣層的特征圖（subFeatureMap）往前面卷積層的特征圖（featureMap）傳播要通過一次full卷積過程來完成。這里的卷積和上一節(jié)卷積的略有區(qū)別,。如果卷積核kernalW的長度為Mw*Mw的方陣,，那么subFeatureMap的錯(cuò)誤信號矩陣Q_err需要上下左右各拓展Mw-1行或列，與此同時(shí)卷積核自身旋轉(zhuǎn)180度,。subFeatureMap的錯(cuò)誤信號矩陣P_err等于featureMap的誤差矩陣Q_err卷積旋轉(zhuǎn)180度的卷積核W_rot180,。

       下圖錯(cuò)誤信號矩陣Q_err中的A,，它的產(chǎn)生是P中左上2*2小方塊導(dǎo)致的，該2*2的小方塊的對A的責(zé)任正好可以用卷積核W表示,，錯(cuò)誤信號A通過卷積核將錯(cuò)誤信號加權(quán)傳遞到與錯(cuò)誤信號量為A的神經(jīng)元所相連的神經(jīng)元a,、b、d,、e中,，所以在下圖中的P_err左上角的2*2位置錯(cuò)誤值包含A、2A,、3A,、4A。同理,，我們可以論證錯(cuò)誤信號B,、C、D的反向傳播過程,。綜上所述,，錯(cuò)誤信號反向傳播過程可以用下圖中的卷積過程表示。

4.3 權(quán)值更新過程中的卷積

       卷積神經(jīng)網(wǎng)絡(luò)中卷積層的權(quán)重更新過程本質(zhì)是卷積核的更新過程,。由神經(jīng)網(wǎng)絡(luò)的權(quán)重修改策略我們知道一條連接權(quán)重的更新量為該條連接的前層神經(jīng)元的興奮輸出乘以后層神經(jīng)元的輸入錯(cuò)誤信號,，卷積核的更新也是按照這個(gè)規(guī)律來進(jìn)行。

       在前向卷積過程中,，卷積核的每個(gè)元素（鏈接權(quán)重）被使用過四次,，所以卷積核每個(gè)元素的產(chǎn)生四個(gè)更新量。把前向卷積過程當(dāng)做切割小圖進(jìn)行多個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程,，我們得到四個(gè)4*1的神經(jīng)網(wǎng)絡(luò)的前層興奮輸入和后層輸入錯(cuò)誤信號,，如圖所示。

        根據(jù)神經(jīng)網(wǎng)絡(luò)的權(quán)重修改策略,，我們可以算出如圖所示卷積核的更新量W_delta,。權(quán)重更新量W_delta可由P_out和Q_err卷積得到，如圖下圖所示,。

五,、常見網(wǎng)絡(luò)結(jié)構(gòu)

5.1 ImageNet-2010網(wǎng)絡(luò)結(jié)構(gòu)

ImageNet LSVRC是一個(gè)圖片分類的比賽，其訓(xùn)練集包括127W+張圖片,，驗(yàn)證集有5W張圖片,，測試集有15W張圖片。本文截取2010年Alex Krizhevsky的CNN結(jié)構(gòu)進(jìn)行說明,，該結(jié)構(gòu)在2010年取得冠軍,，top-5錯(cuò)誤率為15.3%。值得一提的是,，在今年的ImageNet LSVRC比賽中,，取得冠軍的GoogNet已經(jīng)達(dá)到了top-5錯(cuò)誤率6.67%?？梢?，深度學(xué)習(xí)的提升空間還很巨大。

下圖即為Alex的CNN結(jié)構(gòu)圖,。需要注意的是,，該模型采用了2-GPU并行結(jié)構(gòu)，即第1,、2,、4、5卷積層都是將模型參數(shù)分為2部分進(jìn)行訓(xùn)練的,。在這里,，更進(jìn)一步，并行結(jié)構(gòu)分為數(shù)據(jù)并行與模型并行,。數(shù)據(jù)并行是指在不同的GPU上,，模型結(jié)構(gòu)相同，但將訓(xùn)練數(shù)據(jù)進(jìn)行切分,，分別訓(xùn)練得到不同的模型,，然后再將模型進(jìn)行融合。而模型并行則是,，將若干層的模型參數(shù)進(jìn)行切分,，不同的GPU上使用相同的數(shù)據(jù)進(jìn)行訓(xùn)練，得到的結(jié)果直接連接作為下一層的輸入,。

上圖模型的基本參數(shù)為：

• 輸入：224×224大小的圖片,，3通道
• 第一層卷積：11×11大小的卷積核96個(gè)，每個(gè)GPU上48個(gè),。
• 第一層max-pooling：2×2的核,。
• 第二層卷積：5×5卷積核256個(gè)，每個(gè)GPU上128個(gè),。
• 第二層max-pooling：2×2的核,。
• 第三層卷積：與上一層是全連接，3*3的卷積核384個(gè),。分到兩個(gè)GPU上個(gè)192個(gè),。
• 第四層卷積：3×3的卷積核384個(gè)，兩個(gè)GPU各192個(gè),。該層與上一層連接沒有經(jīng)過pooling層,。
• 第五層卷積：3×3的卷積核256個(gè)，兩個(gè)GPU上個(gè)128個(gè),。
• 第五層max-pooling：2×2的核,。
• 第一層全連接：4096維,，將第五層max-pooling的輸出連接成為一個(gè)一維向量，作為該層的輸入,。
• 第二層全連接：4096維
• Softmax層：輸出為1000,，輸出的每一維都是圖片屬于該類別的概率。

5.2 DeepID網(wǎng)絡(luò)結(jié)構(gòu)

        DeepID網(wǎng)絡(luò)結(jié)構(gòu)是香港中文大學(xué)的Sun Yi開發(fā)出來用來學(xué)習(xí)人臉特征的卷積神經(jīng)網(wǎng)絡(luò),。每張輸入的人臉被表示為160維的向量,，學(xué)習(xí)到的向量經(jīng)過其他模型進(jìn)行分類，在人臉驗(yàn)證試驗(yàn)上得到了97.45%的正確率,，更進(jìn)一步的,，原作者改進(jìn)了CNN，又得到了99.15%的正確率,。

如下圖所示,，該結(jié)構(gòu)與ImageNet的具體參數(shù)類似，所以只解釋一下不同的部分吧,。

       上圖中的結(jié)構(gòu),，在最后只有一層全連接層，然后就是softmax層了,。論文中就是以該全連接層作為圖像的表示,。在全連接層，以第四層卷積和第三層max-pooling的輸出作為全連接層的輸入,，這樣可以學(xué)習(xí)到局部的和全局的特征,。

參考資源

• [1] http://deeplearning./wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 梔子花對Stanford深度學(xué)習(xí)研究團(tuán)隊(duì)的深度學(xué)習(xí)教程的翻譯
• [2] http://blog.csdn.net/zouxy09/article/details/14222605 csdn博主zouxy09深度學(xué)習(xí)教程系列
• [3] http:///tutorial/ theano實(shí)現(xiàn)deep learning
• [4] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
• [5] Sun Y, Wang X, Tang X. Deep learning face representation from predicting 10,000 classes[C]//Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014: 1891-1898.
• [6] http://blog.csdn.net/stdcoutzyx/article/details/41596663