根據(jù)計算模式的不同,，深度神經(jīng)網(wǎng)絡(luò)可以分為前饋神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)兩大類：

①前饋神經(jīng)網(wǎng)絡(luò)是指特征計算過程中不出現(xiàn)環(huán)路的神經(jīng)網(wǎng)絡(luò)，是應(yīng)用極為廣泛的一類模型,，在計算機視覺,、自然語言處理等領(lǐng)域發(fā)揮著重要的作用，主要包括多層感知機（深度置信網(wǎng)絡(luò),、深度波爾茲曼機等）和卷積神經(jīng)網(wǎng)絡(luò)（AlexNet,、GoogleNet、ResNet,、DenseNet等）,。

②循環(huán)神經(jīng)網(wǎng)絡(luò)是一類以序列數(shù)據(jù)為輸入，在序列的演進方向進行遞歸且所有節(jié)點（循環(huán)單元）按鏈式連接的遞歸神經(jīng)網(wǎng)絡(luò)。為了解決長序列帶來的特征遺忘問題,，研究人員對循環(huán)神經(jīng)網(wǎng)絡(luò)進行了改進,，提出了長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory, LSTM），主要用于自然語言翻譯,、語音識別等時序任務(wù),。

深度神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個非線性復(fù)合函數(shù)，通過對輸入樣本（如圖像,、文本,、語音等）進行逐級特征變換，最終實現(xiàn)對輸入的預(yù)測,。構(gòu)建神經(jīng)網(wǎng)絡(luò)的基本模塊是“層”,，每一層都對應(yīng)于一種特定的數(shù)學變換，由于網(wǎng)絡(luò)中具有許多這樣的層,，故得名深度神經(jīng)網(wǎng)絡(luò),。常見的層包括：

①全連接層。層內(nèi)任何輸入節(jié)點都與所有輸出節(jié)點通過可學習權(quán)重相連,，可實現(xiàn)對其輸入特征的線性變換,，是深度神經(jīng)網(wǎng)絡(luò)中一種最為常用的模塊。

②非線性激活層,。對輸入特性實施逐點非線性化的模塊，通常不包含可學習參數(shù),。常見的非線性激活層包括線性濾波單元（ReLU）,、Sigmoid函數(shù)和Tanh函數(shù)。

③卷積層,。卷積神經(jīng)網(wǎng)絡(luò)的核心模塊,，通常用于處理二維圖像數(shù)據(jù)。卷積層的可學習參數(shù)又稱濾波器,，對圖像進行卷積操作時,，濾波器在不同空間位置實現(xiàn)參數(shù)共享，因此具有參數(shù)少和抗過擬合等優(yōu)點,。卷積層具有多個變種,，如分組卷積、膨脹卷積,、深度可分離卷積等,，也可以推廣至一維卷積、三維卷積等用于處理不同類型的輸入數(shù)據(jù),。

④池化層,。卷積網(wǎng)絡(luò)中常用的模塊。池化層對其輸入特征圖實施下采樣操作，壓縮特征圖尺寸以達到減少計算量和增大感受野的目的,。常見的池化操作包括最大池化和均值池化,。

⑤反卷積層。又稱轉(zhuǎn)置卷積層,，用于對其輸入特征圖進行上采樣,，以得到分辨率更高的特征圖。反卷積層主要用于密集預(yù)測式視覺任務(wù)（如圖像語義分割,、光流預(yù)測,、深度圖估計、圖像翻譯）和生成式對抗網(wǎng)絡(luò),。

⑥D(zhuǎn)ropout層,。對其輸入特征的不同維度進行獨立隨機的置零操作，以減少深度神經(jīng)網(wǎng)絡(luò)訓練過程中的協(xié)同自適應(yīng)現(xiàn)象,，降低過擬合風險,。

⑦歸一化層。對其輸入特征進行某種形式的歸一化操作,，以加速深度神經(jīng)網(wǎng)絡(luò)訓練的收斂速度,。常見的歸一化操作包括批歸一化、層歸一化,、權(quán)重歸一化等,。

⑧損失函數(shù)層。通常置于深度神經(jīng)網(wǎng)絡(luò)的輸出端,，用于計算模型輸出與期望值之間的偏差,。常見的損失函數(shù)包括交叉熵損失、1-范數(shù)損失和平方損失等,。

針對不同的任務(wù),，上述基本模塊可以通過特定的方式進行組織，構(gòu)成不同類型的深度神經(jīng)網(wǎng)絡(luò),。神經(jīng)網(wǎng)絡(luò)構(gòu)建的方式對其泛化性能,、計算效率和訓練難度有非常重要的影響，因此神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計是深度學習領(lǐng)域一個重要的研究課題,。