激活函數(shù)可以分為兩大類 ：

• 飽和激活函數(shù)： sigmoid,、 tanh

• 非飽和激活函數(shù): ReLU 、Leaky Relu   ,、ELU【指數(shù)線性單元】,、PReLU【參數(shù)化的ReLU 】、RReLU【隨機(jī)ReLU】

相對于飽和激活函數(shù),，使用“非飽和激活函數(shù)”的優(yōu)勢在于兩點(diǎn)：
    1.首先,，“非飽和激活函數(shù)”能解決深度神經(jīng)網(wǎng)絡(luò)【層數(shù)非常多！！】的“梯度消失”問題,，淺層網(wǎng)絡(luò)【三五層那種】才用sigmoid 作為激活函數(shù),。
    2.其次，它能加快收斂速度,。

目錄

（1）sigmoid 函數(shù) (以前最常用) 

（2）tanh  (雙曲正切函數(shù) ;Hyperbolic tangent function) 

  (3)  relu （Rectified linear unit; 修正線性單元 ）

（4）Leaky Relu  (帶泄漏單元的relu )                     (5)  RReLU（隨機(jī)ReLU）

（6）softsign                    （7）softplus                （8）Softmax   

（9）閾值函數(shù) ,、階梯函數(shù)                                    （10）分段線性函數(shù) 

（1）sigmoid 函數(shù) (以前最常用) 

參數(shù)  α  > 0 可控制其斜率。 sigmoid 將一個(gè)實(shí)值輸入壓縮至[0,1]的范圍,也可用于二分類的輸出層,。

（2）tanh  (雙曲正切函數(shù) ;Hyperbolic tangent function) 

 將 一個(gè)實(shí)值輸入壓縮至 [-1, 1]的范圍,，這類函數(shù)具有平滑和漸近性，并保持單調(diào)性.

(3)  relu （Rectified linear unit; 修正線性單元 ）

 深度學(xué)習(xí)目前最常用的激活函數(shù)

# Relu在tensorflow中的實(shí)現(xiàn)： 直接調(diào)用函數(shù) 
tf.nn.relu( features, name= None )

與Sigmoid/tanh函數(shù)相比,，ReLu激活函數(shù)的優(yōu)點(diǎn)是：

•  使用梯度下降（GD）法時(shí),，收斂速度更快  

• 相比Relu只需要一個(gè)門限值，即可以得到激活值,，計(jì)算速度更快  

 缺點(diǎn)是：  Relu的輸入值為負(fù)的時(shí)候,，輸出始終為0，其一階導(dǎo)數(shù)也始終為0,，這樣會(huì)導(dǎo)致神經(jīng)元不能更新參數(shù),，也就是神經(jīng)元不學(xué)習(xí)了，這種現(xiàn)象叫做“Dead Neuron”,。

 為了解決Relu函數(shù)這個(gè)缺點(diǎn),，在Relu函數(shù)的負(fù)半?yún)^(qū)間引入一個(gè)泄露（Leaky）值，所以稱為Leaky Relu函數(shù),。

 （4）Leaky Relu  (帶泄漏單元的relu )

              數(shù)學(xué)表達(dá)式： y = max(0, x) + leak*min(0,x) 

與 ReLu 相比 ,，leak 給所有負(fù)值賦予一個(gè)非零斜率，  leak是一個(gè)很小的常數(shù)  ,，這樣保留了一些負(fù)軸的值,，使得負(fù)軸的信息不會(huì)全部丟失） 

#leakyRelu在tennsorflow中的簡單實(shí)現(xiàn)
tf.maximum(leak * x, x),

       比較高效的寫法為：

import tensorflow as tf
def LeakyReLU(x,leak=0.2,name="LeakyReLU"):
with tf.variable_scope(name):
f1 = 0.5*(1 + leak)
f2 = 0.5*(1 - leak)
return f1*x+f2*tf.abs(x)

(5)  RReLU（隨機(jī)ReLU）

在訓(xùn)練時(shí)使用RReLU作為激活函數(shù)，則需要從均勻分布U(I,u)中隨機(jī)抽取的一個(gè)數(shù)值  ,，作為負(fù)值的斜率,。

（6）softsign

數(shù)學(xué)表達(dá)式：

      ，導(dǎo)數(shù)：

（7）softplus

          Softplus函數(shù)是Logistic-Sigmoid函數(shù)原函數(shù),。  ,加了1是為了保證非負(fù)性,。Softplus可以看作是強(qiáng)制非負(fù)校正函數(shù)max(0,x)平滑版本。紅色的即為ReLU,。

 （8）Softmax

  用于多分類神經(jīng)網(wǎng)絡(luò)輸出

以下兩個(gè)是以前使用的：

（9）閾值函數(shù) ,、階梯函數(shù)

相應(yīng)的輸出   為 

（10）分段線性函數(shù) 

它類似于一個(gè)放大系數(shù)為 1 的非線性放大器，當(dāng)工作于線性區(qū)時(shí)它是一個(gè)線性組合器,， 放大系數(shù)趨于無窮大時(shí)變成一個(gè)閾值單元,。