激活函數(shù)將非線性引入網(wǎng)絡(luò),，因此激活函數(shù)自身也被稱為非線性,。神經(jīng)網(wǎng)絡(luò)是普適的函數(shù)逼近器，而深度神經(jīng)網(wǎng)絡(luò)基于反向傳播訓(xùn)練,，因此要求可微激活函數(shù),。反向傳播在這一函數(shù)上應(yīng)用梯度下降，以更新網(wǎng)絡(luò)的權(quán)重,。理解激活函數(shù)非常重要,，因?yàn)樗鼘?duì)深度神經(jīng)網(wǎng)絡(luò)的質(zhì)量起著關(guān)鍵的作用。本文將羅列和描述不同的激活函數(shù),。

線性激活函數(shù)

恒等函數(shù)（Identity）或線性激活（Linear activation）函數(shù)是最簡(jiǎn)單的激活函數(shù),。輸出和輸入成比例。線性激活函數(shù)的問(wèn)題在于,，它的導(dǎo)數(shù)是常數(shù),，梯度也是常數(shù)，梯度下降無(wú)法工作,。

值域：(-∞, +∞)

例子：f(2) = 2或f(-4) = -4

階躍函數(shù)

階躍函數(shù)（Heaviside step function）通常只在單層感知器上有用,，單層感知器是神經(jīng)網(wǎng)絡(luò)的早期形式，可用于分類線性可分的數(shù)據(jù),。這些函數(shù)可用于二元分類任務(wù),。其輸出為A1（若輸入之和高于特定閾值）或A0（若輸入之和低于特定閾值）。感知器使用的值為A1 = 1,、A0 = 0.

值域：0或1

例子：f(2) = 1,、f(-4) = 0、f(0) = 0,、f(1) = 1

圖片來(lái)源：維基百科

sigmoid函數(shù)

sigmoid函數(shù),，也稱邏輯激活函數(shù)（Logistic activation function）最常用于二元分類問(wèn)題。它有梯度消失問(wèn)題,。在一定epoch數(shù)目之后,，網(wǎng)絡(luò)拒絕學(xué)習(xí)，或非常緩慢地學(xué)習(xí),，因?yàn)檩斎耄╔）導(dǎo)致輸出（Y）中非常小的改動(dòng)?，F(xiàn)在，sigmoid函數(shù)主要用于分類問(wèn)題,。這一函數(shù)更容易碰到后續(xù)層的飽和問(wèn)題,，導(dǎo)致訓(xùn)練變得困難。計(jì)算sigmoid函數(shù)的導(dǎo)數(shù)非常簡(jiǎn)單,。

就神經(jīng)網(wǎng)絡(luò)的反向傳播過(guò)程而言,，每層（至少）擠入四分之一的誤差,。因此，網(wǎng)絡(luò)越深,，越多關(guān)于數(shù)據(jù)的知識(shí)將“丟失”,。某些輸出層的“較大”誤差可能不會(huì)影響相對(duì)較淺的層中的神經(jīng)元的突觸權(quán)重（“較淺”意味著接近輸入層）。

sigmoid函數(shù)定義

sigmoid函數(shù)的導(dǎo)數(shù)

值域：(0, 1)

例子：f(4) = 0.982,、f(-3) = 0.0474,、f(-5) = 0.0067

圖片來(lái)源：維基百科

圖片來(lái)源：deep learning nano foundation

tanh函數(shù)

tanh函數(shù)是拉伸過(guò)的sigmoid函數(shù)，以零為中心,，因此導(dǎo)數(shù)更陡峭,。tanh比sigmoid激活函數(shù)收斂得更快。

值域：(-1, 1)

例子：tanh(2) = 0.9640,、tanh(-0.567) = -0.5131,、tanh(0) = 0

圖片來(lái)源：維基百科

ReLU函數(shù)

ReLU（Rectified Linear Unit，修正線性單元）訓(xùn)練速度比tanh快6倍,。當(dāng)輸入值小于零時(shí),，輸出值為零。當(dāng)輸入值大于等于零時(shí),，輸出值等于輸入值,。當(dāng)輸入值為正數(shù)時(shí)，導(dǎo)數(shù)為1,，因此不會(huì)出現(xiàn)sigmoid函數(shù)反向傳播時(shí)的擠壓效應(yīng),。

值域：[0, x)

例子：f(-5) = 0、f(0) = 0,、f(5) = 5

圖片來(lái)源：維基百科

不幸的是,，ReLU在訓(xùn)練時(shí)可能很脆弱,，可能“死亡”,。例如，通過(guò)ReLU神經(jīng)元的較大梯度可能導(dǎo)致權(quán)重更新過(guò)頭,，導(dǎo)致神經(jīng)元再也不會(huì)因?yàn)槿魏螖?shù)據(jù)點(diǎn)激活,。如果這一情況發(fā)生了，經(jīng)過(guò)這一單元的梯度從此以后將永遠(yuǎn)為零,。也就是說(shuō),，ReLU單元可能在訓(xùn)練中不可逆地死亡，因?yàn)樗鼈儽粡臄?shù)據(jù)流形上踢出去了,。例如,，你可能發(fā)現(xiàn)，如果學(xué)習(xí)率設(shè)置過(guò)高,，40%的網(wǎng)絡(luò)可能“死亡”（即神經(jīng)元在整個(gè)訓(xùn)練數(shù)據(jù)集上永遠(yuǎn)不會(huì)激活）,。設(shè)置一個(gè)合適的學(xué)習(xí)率可以緩解這一問(wèn)題,。—— Andrej Karpathy CS231n 課程

Leaky ReLU函數(shù)

Leaky ReLU讓單元未激活時(shí)能有一個(gè)很小的非零梯度。這里,，很小的非零梯度是0.01.

值域：(-∞, +∞)

PReLU函數(shù)

PReLU（Parametric Rectified Linear Unit）函數(shù)類似Leaky ReLU,，只不過(guò)將系數(shù)（很小的非零梯度）作為激活函數(shù)的參數(shù)，該參數(shù)和網(wǎng)絡(luò)的其他參數(shù)一樣,，在訓(xùn)練過(guò)程中學(xué)習(xí),。

值域：(-∞, +∞)

RReLU函數(shù)

RReLU也類似Leaky ReLU，只不過(guò)系數(shù)（較小的非零梯度）在訓(xùn)練中取一定范圍內(nèi)的隨機(jī)值,，在測(cè)試時(shí)固定,。

值域：(-∞, +∞)

ELU函數(shù)

ELU（Exponential Linear Unit，指數(shù)線性單元）嘗試加快學(xué)習(xí)速度,?；贓LU，有可能得到比ReLU更高的分類精確度,。這里α是一個(gè)超參數(shù)（限制：α ≥ 0）,。

值域：(-α, +∞)

SELU函數(shù)

SELU（Scaled Exponential Linear Unit，拉伸指數(shù)線性單元）是ELU經(jīng)過(guò)拉伸的版本,。