【原】DL：深度學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò))的簡(jiǎn)介,、基礎(chǔ)知識(shí)(神經(jīng)元/感知機(jī),、訓(xùn)練策略、預(yù)測(cè)原理),、算法分類(lèi),、經(jīng)典案例應(yīng)用之詳細(xì)攻略

處女座的程序猿 2021-09-28

展開(kāi)全文

DL：深度學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò))的簡(jiǎn)介、基礎(chǔ)知識(shí)(神經(jīng)元/感知機(jī),、訓(xùn)練策略,、預(yù)測(cè)原理)、算法分類(lèi),、經(jīng)典案例應(yīng)用之詳細(xì)攻略

深度學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò))的簡(jiǎn)介

? ? ? ?深度學(xué)習(xí)（Deep Learning, DL）或階層學(xué)習(xí)（hierarchical learning）是機(jī)器學(xué)習(xí)的技術(shù)和研究領(lǐng)域之一，通過(guò)建立具有階層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)（Artifitial Neural Networks, ANNs），在計(jì)算系統(tǒng)中實(shí)現(xiàn)人工智能 ?,。由于階層ANN能夠?qū)斎胄畔⑦M(jìn)行逐層提取和篩選，因此深度學(xué)習(xí)具有表征學(xué)習(xí)（representation learning）能力，可以實(shí)現(xiàn)端到端的監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí) ,。此外，深度學(xué)習(xí)也可參與構(gòu)建強(qiáng)化學(xué)習(xí)（reinforcement learning）系統(tǒng)，形成深度強(qiáng)化學(xué)習(xí) ?。

? ? ? ?深度學(xué)習(xí)所使用的階層ANN具有多種形態(tài)，其階層的復(fù)雜度被通稱為“深度” ?,。按構(gòu)筑類(lèi)型，深度學(xué)習(xí)的形式包括多層感知器,、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò),、深度置信網(wǎng)絡(luò)和其它混合構(gòu)筑 ?,。深度學(xué)習(xí)使用數(shù)據(jù)對(duì)其構(gòu)筑中的參數(shù)進(jìn)行更新以達(dá)成訓(xùn)練目標(biāo)，該過(guò)程被通稱為“學(xué)習(xí)” ?。學(xué)習(xí)的常見(jiàn)方法為梯度下降算法及其變體，一些統(tǒng)計(jì)學(xué)習(xí)理論被用于學(xué)習(xí)過(guò)程的優(yōu)化 [9] ?,。

? ? ? ? 在應(yīng)用方面，深度學(xué)習(xí)被用于對(duì)復(fù)雜結(jié)構(gòu)和大樣本的高維數(shù)據(jù)進(jìn)行學(xué)習(xí)，按研究領(lǐng)域包括計(jì)算機(jī)視覺(jué),、自然語(yǔ)言處理、生物信息學(xué),、自動(dòng)控制等，且在人像識(shí)別,、機(jī)器翻譯、自動(dòng)駕駛等現(xiàn)實(shí)問(wèn)題中取得了成功,。?

1,、深度學(xué)習(xí)浪潮興起的三大因素

海量的數(shù)據(jù)
不斷提升的算法能力
高性能計(jì)算硬件的實(shí)現(xiàn)：GPU、TPU

深度學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò))的基礎(chǔ)知識(shí)(相關(guān)概念,、訓(xùn)練策略)

? ? ? ?深度學(xué)習(xí)的實(shí)質(zhì)是構(gòu)建具有多個(gè)隱藏層的機(jī)器學(xué)習(xí)模型，通過(guò)海量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)更有用的特征，從而最終提升分類(lèi)或預(yù)測(cè)的準(zhǔn)確性,。“深度模型”是手段，“表示學(xué)習(xí)”是目的。
? ? ? ?深度學(xué)習(xí)與傳統(tǒng)的淺層學(xué)習(xí)的不同在于：

(1) 強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，有2層以上的隱藏層；
(2) 明確突出了表示學(xué)習(xí)的重要性,。通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新的特征空間，使分類(lèi)或預(yù)測(cè)更加容易,。

DL之DNN優(yōu)化技術(shù)：神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介之GD/SGD算法的簡(jiǎn)介、代碼實(shí)現(xiàn),、代碼調(diào)參之詳細(xì)攻略
DL之DNN：BP類(lèi)神經(jīng)網(wǎng)絡(luò)理解之不需要額外任何文字，只需要八張圖講清楚BP類(lèi)神經(jīng)網(wǎng)絡(luò)的工作原理

1,、神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)

神經(jīng)元
感知機(jī)
激活函數(shù)：Sigmoid、tanh,、ReLU,、Leaky ReLU、ELU,、Softmax,。
多層感知機(jī)：
萬(wàn)能逼近定理：

2、神經(jīng)元的結(jié)構(gòu)

生物神經(jīng)元包括細(xì)胞體和突起兩個(gè)部分，突起又包括樹(shù)突(接收信號(hào))和軸突(傳出信號(hào)),。

軸突記錄了神經(jīng)元間聯(lián)系的強(qiáng)弱,。只有達(dá)到一定的興奮程度，神經(jīng)元才向外界傳輸信息。
神經(jīng)元之間的信號(hào)通過(guò)突觸傳遞,。

3,、感知機(jī)

DL之Perceptron：Perceptron感知器(感知機(jī)/多層感知機(jī)/人工神經(jīng)元)的簡(jiǎn)介、原理,、案例應(yīng)用(相關(guān)配圖)之詳細(xì)攻略

4,、萬(wàn)能逼近定理

?(Universal approximation theorem)

只需一個(gè)包含單個(gè)隱藏層的前饋神經(jīng)網(wǎng)絡(luò)，即可逼近任意一個(gè)連續(xù)函數(shù),。
盡管僅有一個(gè)隱藏層的前饋網(wǎng)絡(luò)足以表示任何函數(shù)，但是該隱藏層的神經(jīng)元數(shù)目可能非常多，從而導(dǎo)致網(wǎng)絡(luò)無(wú)法學(xué)習(xí)或正確泛化。

5,、神經(jīng)網(wǎng)絡(luò)訓(xùn)練

(1),、損失函數(shù)：
平均損失函數(shù)
絕對(duì)值損失函數(shù)
交叉熵?fù)p失函數(shù)：softmax回歸，獨(dú)熱編碼。

(2),、優(yōu)化目標(biāo)

(3),、梯度下降：

梯度下降批次訓(xùn)練策略：
?? ? ? ? ??批次梯度下降(Batch Gradient Descent)、
?? ? ? ? ??隨機(jī)梯度下降(Stochastic Gradient Descent),、
?? ? ? ? ??小批次梯度下降(Mini-batch Gradient Descent),、
DL之DNN優(yōu)化技術(shù)：神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介之梯度下降算法(GD算法)中相關(guān)概念(方向?qū)?shù)/梯度)、目標(biāo)函數(shù),、其他常見(jiàn)損失函數(shù)求梯度(求導(dǎo))案例之詳細(xì)攻略

梯度下降各種優(yōu)化算法：Momentum,、NAG、Adagrad,、Adadelta,、RMSprop、Adam

(4),、反向傳播法：計(jì)算圖解釋

1,、神經(jīng)網(wǎng)絡(luò)訓(xùn)練的優(yōu)化目標(biāo)

6、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

(1),、通過(guò)調(diào)整神經(jīng)元的參數(shù)，使得網(wǎng)絡(luò)對(duì)給定輸入可產(chǎn)生期望輸出,。

(2)、學(xué)習(xí)層次化的表示（表征）

? ? ?

7,、神經(jīng)網(wǎng)絡(luò)的前饋運(yùn)算與反向傳播

前饋運(yùn)算和反向傳播：在訓(xùn)練網(wǎng)絡(luò)過(guò)程中所使用的,。如果經(jīng)過(guò)訓(xùn)練模型，網(wǎng)絡(luò)穩(wěn)定下來(lái)以后，就可以把參數(shù)固定下來(lái)，此時(shí)就不再需要反向傳播了，只需要前饋運(yùn)算進(jìn)行推理和預(yù)測(cè)即可！
?

8、激活函數(shù)

DL學(xué)習(xí)—AF：理解機(jī)器學(xué)習(xí)中常用的激活函數(shù)(sigmoid,、softmax等)簡(jiǎn)介,、應(yīng)用、計(jì)算圖實(shí)現(xiàn),、代碼實(shí)現(xiàn)詳細(xì)攻略

深度學(xué)習(xí)(神經(jīng)網(wǎng)絡(luò))的算法分類(lèi)

? ? ? ? ?深度學(xué)習(xí)的形式包括多層感知器,、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò),、深度置信網(wǎng)絡(luò)和其它混合構(gòu)筑 ?。
?? ? ? ? ?前饋神經(jīng)網(wǎng)絡(luò)(NN)，而是和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的概念是相對(duì)的,。而反向傳播方法可以用在FF網(wǎng)絡(luò)中，此時(shí)，基于反向傳播算法的前饋神經(jīng)網(wǎng)絡(luò)，被稱為BP神經(jīng)網(wǎng)絡(luò),。