深度學(xué)習(xí)能夠訓(xùn)練計(jì)算機(jī)來(lái)執(zhí)行人類的任務(wù),，例如：識(shí)別語(yǔ)音,，辨認(rèn)圖像或進(jìn)行預(yù)測(cè)等。

不同于用定義好的方程處理數(shù)據(jù)的傳統(tǒng)模式,，深度學(xué)習(xí)設(shè)置好關(guān)于數(shù)據(jù)的基本參數(shù),，并訓(xùn)練計(jì)算機(jī)自己進(jìn)行學(xué)習(xí)。

為了使應(yīng)用程序能夠理解用戶的輸入并同樣以人類的形式做出反饋,，研究人員對(duì)作為認(rèn)知計(jì)算的基石之一的深度學(xué)習(xí)進(jìn)行了大量的研究。到如今,，深度學(xué)習(xí)技術(shù)已經(jīng)極大的增強(qiáng)了計(jì)算機(jī)分類,、辨識(shí)、發(fā)現(xiàn)與描述的能力,，或者說(shuō)增強(qiáng)了其理解的能力,。

很多應(yīng)用已經(jīng)被用在處理非數(shù)字化的數(shù)據(jù)，例如：圖像分類,、語(yǔ)音識(shí)別,、物品檢測(cè)和內(nèi)容描述。像 Siri 和 Cortana 的系統(tǒng)也要?dú)w功于基于深度機(jī)器學(xué)習(xí)的認(rèn)知計(jì)算,。

深度學(xué)習(xí)取得的進(jìn)步得力于一些技術(shù)的發(fā)展,。算法的改善提高了深度學(xué)習(xí)方法的性能，機(jī)器學(xué)習(xí)準(zhǔn)確性的提高創(chuàng)造了巨大的商業(yè)價(jià)值,。完美適用于文本翻譯和圖像分類應(yīng)用的新型神經(jīng)網(wǎng)絡(luò)也已經(jīng)得到實(shí)現(xiàn),。

盡管神經(jīng)網(wǎng)絡(luò)已經(jīng)存在近50年的時(shí)間,，但是直到上世紀(jì)90年代末，由于可用于訓(xùn)練的數(shù)據(jù)不足,，一直無(wú)法得到精確的結(jié)論,。革命性的轉(zhuǎn)機(jī)出現(xiàn)在最近10年：

• 我們有了足夠建立更多更深層神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)，包括來(lái)自物聯(lián)網(wǎng)的流數(shù)據(jù),，來(lái)自社交媒體的文本數(shù)據(jù),，醫(yī)療記錄和研究報(bào)告。

• 分布式云計(jì)算和 GPU 的發(fā)展給我們提供了訓(xùn)練深層算法所必須的計(jì)算能力,。

與此同時(shí),，人機(jī)界面也得到了很大的進(jìn)化。鼠標(biāo)與鍵盤正在被手勢(shì),、動(dòng)作,、觸摸和自然語(yǔ)言所代替，認(rèn)知計(jì)算迎來(lái)了新的發(fā)展契機(jī),。

深度學(xué)習(xí)算法的迭代性質(zhì)導(dǎo)致它們的復(fù)雜性會(huì)隨著層數(shù)加深而增加,，網(wǎng)絡(luò)也需要龐大的數(shù)據(jù)量來(lái)進(jìn)行訓(xùn)練。自然,，深度學(xué)習(xí)問(wèn)題需要有龐大的計(jì)算能力進(jìn)行支持,。

傳統(tǒng)的建模方法是很好理解的，它們的預(yù)測(cè)方法和業(yè)務(wù)規(guī)則也很容易說(shuō)明,。而深度學(xué)習(xí)卻更像是一個(gè)黑箱方法,。你可以通過(guò)用新數(shù)據(jù)訓(xùn)練它們來(lái)證明它們運(yùn)行正常。但是由于它們非線性的本質(zhì),，為什么會(huì)得到一個(gè)特定的結(jié)果卻很難進(jìn)行解釋,。這種特性可能會(huì)對(duì)深度學(xué)習(xí)技術(shù)的實(shí)際應(yīng)用造成一些阻力，在高度管制的工業(yè)生產(chǎn)中更是如此,。

另一方面,，基于學(xué)習(xí)方法的動(dòng)態(tài)特性，它們能夠持續(xù)進(jìn)行改進(jìn)并適應(yīng)基礎(chǔ)信息模式的變化,，這種能力能夠在分析時(shí)引入更少的確定性,，進(jìn)行更動(dòng)態(tài)行為的模擬。這一特性可以用在進(jìn)行更個(gè)性化的用戶分析中,。

趁計(jì)算能力發(fā)展的契機(jī),，長(zhǎng)久以來(lái)部署的神經(jīng)網(wǎng)絡(luò)應(yīng)用的準(zhǔn)確性與性能也得到了很大的提高。有更好的算法和計(jì)算能力支持,，它們的深度也能夠繼續(xù)增加,。

外界看來(lái),，深度學(xué)習(xí)也許仍處于計(jì)算機(jī)科學(xué)家和數(shù)據(jù)專家們正在對(duì)其能力進(jìn)行測(cè)試的研究階段,，實(shí)際上,，深度學(xué)習(xí)已經(jīng)有一些實(shí)際的商業(yè)應(yīng)用，隨著研究的進(jìn)行,，更多的應(yīng)用也將實(shí)現(xiàn),。目前主要的應(yīng)用有：

• 語(yǔ)音識(shí)別：商業(yè)和學(xué)術(shù)界都在使用深度學(xué)習(xí)進(jìn)行語(yǔ)音識(shí)別。Xbox,，Skype,，Google Now 和 Apple Siri，都已經(jīng)在其系統(tǒng)中采用深度學(xué)習(xí)技術(shù),。

• 圖像識(shí)別：圖像識(shí)別的一個(gè)實(shí)際應(yīng)用是自動(dòng)圖像說(shuō)明和場(chǎng)景描述,。這對(duì)于在一個(gè)擁擠地區(qū)有犯罪發(fā)生時(shí)，從旁觀者提交的數(shù)千張照片中查明犯罪活動(dòng)的執(zhí)法調(diào)查至關(guān)重要,。自動(dòng)駕駛汽車同樣能從中受益,。

• 自然語(yǔ)言處理：神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的核心組成部分，很多年來(lái)一直被用來(lái)分析和處理書面文本,。專業(yè)化的文本挖掘可以用于處理用戶投訴,，醫(yī)療記錄或新聞報(bào)道。

• 推薦系統(tǒng)：Amazon 和 Netflix 已經(jīng)公布了一個(gè)推薦系統(tǒng)的點(diǎn)子,，它們能夠根據(jù)歷史記錄知道你最可能感興趣的物品,。深度學(xué)習(xí)也可以用來(lái)提高跨平臺(tái)音樂(lè)，服裝推薦系統(tǒng)的性能,。

深度學(xué)習(xí)將告訴電腦如何解決問(wèn)題的傳統(tǒng)分析模式轉(zhuǎn)變?yōu)?strong>訓(xùn)練電腦自己解決問(wèn)題,。

傳統(tǒng)模型建立的過(guò)程是使用手頭的數(shù)據(jù)來(lái)設(shè)計(jì)特征并導(dǎo)出新的變量，然后選擇一個(gè)分析模型,，最后估計(jì)它的參數(shù),。因?yàn)榻Y(jié)果的完整性和正確性基于模型的質(zhì)量和特征，這樣的預(yù)測(cè)系統(tǒng)并不容易推廣到其他問(wèn)題上,。例如：如果你想要開發(fā)一個(gè)具有特征工程的欺詐模型,，從一組變量開始，使用數(shù)據(jù)轉(zhuǎn)換從這些變量中導(dǎo)出模型,。你可能最終會(huì)得到模型依賴的30000個(gè)變量,，接著就需要找出這些變量中哪些是有意義的，哪些沒(méi)有,，等等,。如果增加更多的數(shù)據(jù)你又要將這些重新來(lái)過(guò)。而應(yīng)用深度學(xué)習(xí)的新方法是使用適當(dāng)?shù)膶哟位卣魈鎿Q模型的公式和規(guī)范,，并根據(jù)層中的規(guī)律識(shí)別出數(shù)據(jù)的隱藏特征,。

深度學(xué)習(xí)的范式轉(zhuǎn)變是從特征工程到特征表示的轉(zhuǎn)變。使用深度學(xué)習(xí)可以開發(fā)出概括性強(qiáng),，適應(yīng)性好,，能使用新數(shù)據(jù)持續(xù)進(jìn)行完善的系統(tǒng),。比建立在確定性業(yè)務(wù)規(guī)則上的預(yù)測(cè)系統(tǒng)更具動(dòng)態(tài)性。我們不再是去適應(yīng)一個(gè)模型,，而是去訓(xùn)練一個(gè)模型,。

下面為大家介紹一個(gè)深度學(xué)習(xí)模型—卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是模擬動(dòng)物腦部視覺(jué)皮層而建立起來(lái)的，其特點(diǎn)是單個(gè)神經(jīng)元只響應(yīng)某個(gè)特定區(qū)域的刺激,。它的主要結(jié)構(gòu)包括卷積層,，池化層，激活層,，全連接層等,。

1）卷積層

如圖所示，卷積層中一個(gè)神經(jīng)元能夠關(guān)聯(lián)輸入層的一小塊被稱為接收?qǐng)龅膮^(qū)域,，想象一下在卷積層用一個(gè)手電照向輸入層,，并在輸入層上進(jìn)行滑動(dòng)，它所照亮的區(qū)域就是接收?qǐng)?。這把手電同樣是由一組數(shù)據(jù)構(gòu)成,，被稱作卷積核。

利用一個(gè)卷積核對(duì)輸入層的信息進(jìn)行過(guò)濾,，將對(duì)應(yīng)位置的像素值相乘再累加就可以得到一個(gè)卷積結(jié)果,，將卷積核依次劃過(guò)輸入層的所有數(shù)據(jù)后，就完成了一次對(duì)原始數(shù)據(jù)的加工,。用公式可以描述為：

2）權(quán)值共享

假設(shè)使用一幅1000*1000大小的圖像作為網(wǎng)絡(luò)的輸入,，此時(shí)輸入層上有1000000個(gè)像素，如果網(wǎng)絡(luò)的下一層也同樣有1000000個(gè)神經(jīng)元,，采用全連接的方式時(shí),，每個(gè)神經(jīng)元均與輸入層的所有像素通過(guò)權(quán)值連接，此時(shí)網(wǎng)絡(luò)中參數(shù)的數(shù)量是10^12,，可以想到完成這些需要相當(dāng)龐大的計(jì)算量,。

想想上面提過(guò)的感受野，如果我們讓每個(gè)神經(jīng)元只與輸入層的10*10個(gè)像素連接,，此時(shí)參數(shù)的數(shù)量減少到了100*1000000?，F(xiàn)在，讓我們的腦洞再大一點(diǎn),，如果所有的神經(jīng)元都是用同一組權(quán)值會(huì)怎么樣,？當(dāng)1000000個(gè)神經(jīng)元共用一組權(quán)值的時(shí)候，參數(shù)的數(shù)量變成了100個(gè),！當(dāng)然,，使用一個(gè)卷積核只能提取到原數(shù)據(jù)一部分的特征，要提取更多的特征，我們把卷積核的數(shù)量提高到100個(gè),，此時(shí)參數(shù)的數(shù)量是100*100=10000個(gè),。可以看到參數(shù)已經(jīng)較之前大大減少了,！

3）池化層

池化層將輸入數(shù)據(jù)劃分為許多小的子區(qū)域，只提取每個(gè)子區(qū)域最大值的方法就稱為最大值池化,。池化層的意義在于提取出數(shù)據(jù)中的“顯著特征”而忽略“細(xì)節(jié)特征”,，以減少網(wǎng)絡(luò)中的參數(shù)和計(jì)算量，并且能夠控制過(guò)擬合,。如圖所示即是最大值池化,。

4）激活層

它的作用是使卷積計(jì)算結(jié)果中小于0的值等于0，其他的值保持不變,。在不影響卷積層的接收?qǐng)龅耐瑫r(shí)增加了決策函數(shù)和整個(gè)網(wǎng)絡(luò)的非線性屬性,。相較于其他激活函數(shù)

ReLU 不需要計(jì)算指數(shù)，能大幅提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度,。

5）全連接層

全連接層一般放在網(wǎng)絡(luò)的最后,，對(duì)前一層得到的高階特征進(jìn)行分類。

本文作者：雷原嘉（點(diǎn)融黑幫）,，現(xiàn)就職于點(diǎn)融網(wǎng)工程部 Fincore TechOps 團(tuán)隊(duì),，暴雪腦殘粉一枚。