對于一個數(shù)據(jù)科學(xué)家或機器學(xué)習(xí)工程師來說,，建立一個卷積神經(jīng)網(wǎng)絡(luò)（CNN）不是一個很大的挑戰(zhàn)。一個人一旦理解了它的體系結(jié)構(gòu),，很容易用它來解決人工智能（AI）或機器學(xué)習(xí)（ML）方面的問題,。

而這篇文章使CNN架構(gòu)使得大眾也很容易理解。

具有三維體積的神經(jīng)元(3D volumes of neurons)

卷積神經(jīng)網(wǎng)絡(luò)利用輸入是圖片的特點,，把神經(jīng)元設(shè)計成三個維度 ： width, height, depth(注意這個depth不是神經(jīng)網(wǎng)絡(luò)的深度，而是用來描述神經(jīng)元的) ,。比如輸入的圖片大小是 32 × 32 × 3 (rgb),，那么輸入神經(jīng)元就也具有 32×32×3 的維度。下面是圖解：

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)

一個卷積神經(jīng)網(wǎng)絡(luò)由很多層組成，它們的輸入是三維的,，輸出也是三維的,，有的層有參數(shù)，有的層不需要參數(shù),。

在機器學(xué)習(xí)中,，卷積神經(jīng)網(wǎng)絡(luò)（CNN或ConvNet）是一類深度前饋人工神經(jīng)網(wǎng)絡(luò)，已成功應(yīng)用于視覺圖像分析,。

有線電視網(wǎng)絡(luò)使用多層感知器設(shè)計,，需要最少的預(yù)處理。它們也被稱為移位不變或空間不變的人工神經(jīng)網(wǎng)絡(luò)（SIANN）,，基于它們的共享權(quán)重結(jié)構(gòu)和平移不變性特征,。

卷積網(wǎng)絡(luò)受到生物過程的啟發(fā),，其中神經(jīng)元之間的連接模式受到動物視覺皮層組織的啟發(fā)。個別的皮層神經(jīng)元只對被稱為接收場的視野受限制的區(qū)域作出反應(yīng),。不同神經(jīng)元的接收域部分重疊,，從而覆蓋整個視野。

與其他圖像分類算法相比,，CNN使用相對較少的預(yù)處理,。這意味著網(wǎng)絡(luò)學(xué)習(xí)了傳統(tǒng)算法中手工設(shè)計的濾波器。這種獨立于先前知識和人力設(shè)計的特點是一大優(yōu)勢,。

他們在圖像和視頻識別,，推薦系統(tǒng)和自然語言處理中有應(yīng)用。

在ANN（人工神經(jīng)網(wǎng)絡(luò)）中將會有一個輸入層,，其中輸入將是輸入的向量的長度（例如,，28×28 = 784個神經(jīng)元）。讓我們一起來看看卷積網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)的不同之處,。

積層(藍(lán)色)的神經(jīng)元，連接到它們的接收場(紅色)

CNN與ANN的區(qū)別是什么,？

1.ConvNet體系結(jié)構(gòu)明確地假定輸入是圖像,。

2.它們的體系結(jié)構(gòu)不同于前饋神經(jīng)網(wǎng)絡(luò)，通過減少要學(xué)習(xí)的參數(shù)數(shù)量來提高它們的效率,。

3.在人工神經(jīng)網(wǎng)絡(luò)中,，如果你有一張150x150x3的圖像，則第一個隱藏層中的每個神經(jīng)元將有67500個權(quán)重來學(xué)習(xí),。

4. ConvNets具有神經(jīng)元的三維輸入,，一個層中的神經(jīng)元只連接到之前層的一個小區(qū)域。

ConvNets

ConvNet層的神經(jīng)元排列成三維：高度,、寬度,、深度。

這里的深度并不是整個網(wǎng)絡(luò)的深度,。它是指層的第三個維度,，因此是激活量的第三個維度。

本質(zhì)上,，ConvNet由具有簡單API的層組成,。將三維輸入體積轉(zhuǎn)換為三維輸出體積，具有一些可能有或沒有參數(shù)的可微函數(shù),。

卷積神經(jīng)網(wǎng)絡(luò)通常包含以下幾種層：

卷積層（Convolutional layer）,，卷積神經(jīng)網(wǎng)路中每層卷積層由若干卷積單元組成，每個卷積單元的參數(shù)都是通過反向傳播算法優(yōu)化得到的,。卷積運算的目的是提取輸入的不同特征,，第一層卷積層可能只能提取一些低級的特征如邊緣,、線條和角等層級，更多層的網(wǎng)絡(luò)能從低級特征中迭代提取更復(fù)雜的特征,。

線性整流層（Rectified Linear Units layer, ReLU layer）,，這一層神經(jīng)的活性化函數(shù)（Activation function）使用線性整流（Rectified Linear Units, ReLU）f(x)=max(0,x)。

池化層（Pooling layer）,，通常在卷積層之后會得到維度很大的特征,，將特征切成幾個區(qū)域，取其最大值或平均值,，得到新的,、維度較小的特征。

全連接層（ Fully-Connected layer）, 把所有局部特征結(jié)合變成全局特征,，用來計算最后每一類的得分

CNN的體系結(jié)構(gòu)

內(nèi)核或濾波器

過濾器由一個權(quán)重向量表示,，我們將其與輸入進(jìn)行卷積。你可以在輸入卷上增加濾波器的數(shù)量,，以增加獲得的激活映射的數(shù)量,。每個濾波器提供一個激活映射。

你得到的每個激活圖都試圖傾斜圖像的不同方面,，如邊緣,、顏色斑點等。

如果在32x32x3的圖像卷上實現(xiàn)了12個5x5x3大小的濾鏡,，則第一個卷積圖層在某些條件下將具有28x28x12的大小。

幾個濾波器被用來提取NNet的卷積層中的幾個特征,。3X3矩陣的一個單步被稱為“大步”,。

CNN層三個維度的排列

激活功能

激活函數(shù)通常是代表單元格中動作電位的觸發(fā)速率的抽象,。主要有線性激活和非線性激活,。如果沒有非線性，神經(jīng)網(wǎng)絡(luò)將非常強大,。用于引入非線性的激活功能是必需的,。

線性整流層（ReLU）

ReLU是整流線性單位的縮寫。該層應(yīng)用非飽和激活函數(shù){\ displaystyle f（x）= \ max（0,，x）} {\ displaystyle f（x）= \ max（0,，x）}。它增加了決策函數(shù)和整個網(wǎng)絡(luò)的非線性特性,，而不影響卷積層的接受域,。

其他函數(shù)也用于增加非線性，例如飽和雙曲正切{\ displaystyle f（x）= \ tanh（x）} {\ displaystyle f（x）= \ tanh（x）},，{\ displaystyle f（x ）= | \ tanh（x）|} {\ displaystyle f（x）= | \ tanh（x）|}和sigmoid函數(shù){\ displaystyle f（x）=（1 + e ^ { - x}）^ {-1}} f（x）=（1 + e ^ { - x}）^ { - 1},。 ReLU通常比其他函數(shù)更受歡迎,，因為它可以快速地訓(xùn)練神經(jīng)網(wǎng)絡(luò)，而不會對泛化精度造成嚴(yán)重的損失,。

池化層

合并用于對圖像的寬度,、高度進(jìn)行下采樣,，但深度保持不變,。主要有三種類型的池化。最小值,、最大值,、平均值,。

池化層獨立地在每個深度層面上工作，使用指定的數(shù)學(xué)運算（例如MAX或Avg）調(diào)整其大小,。等等

完全連接層

最后,，經(jīng)過幾個卷積和最大匯聚層之后，神經(jīng)網(wǎng)絡(luò)中的高層推理是通過完全連接的層進(jìn)行的,。完整連接層中的神經(jīng)元與前一層中的所有激活都有聯(lián)系,，正如常規(guī)神經(jīng)網(wǎng)絡(luò)中所見。因此可以用一個矩陣乘法和一個偏置偏移來計算它們的激活,。

在完全連接層中使用softmax激活來獲取最大概率并進(jìn)行預(yù)測,。

過度擬合的問題

在訓(xùn)練數(shù)據(jù)的分類精度方面可能會出現(xiàn)過度擬合，如果訓(xùn)練的準(zhǔn)確性超出了我們的測試準(zhǔn)確性,，則意味著我們的模型是訓(xùn)練數(shù)據(jù)的學(xué)習(xí)細(xì)節(jié)和噪聲,，特別是訓(xùn)練數(shù)據(jù)的工作。