人工智能領(lǐng)域的突破

近幾年來(lái),，人工智能領(lǐng)域許多存在了幾十年的挑戰(zhàn)忽然間被攻克了，幾乎沒(méi)有任何預(yù)兆,。以長(zhǎng)期以來(lái)被人工智能純化論者所鄙視的途徑——從海量數(shù)據(jù)中學(xué)習(xí)概率的方式——解決了。

從此你無(wú)需把問(wèn)題編碼成可運(yùn)行的格式,，更不依賴(lài)人自身解決問(wèn)題的技巧——從目標(biāo)分類(lèi)和語(yǔ)音識(shí)別到圖片標(biāo)注和合成特定藝術(shù)家風(fēng)格的圖像,，甚至指導(dǎo)機(jī)器人執(zhí)行尚未被編程的任務(wù),，都被一一解決。這個(gè)占主導(dǎo)地位的新進(jìn)展最初被冠以“神經(jīng)網(wǎng)絡(luò)”之名,，如今被稱(chēng)作“深度學(xué)習(xí)”——用來(lái)定性地強(qiáng)調(diào)相比以前的長(zhǎng)足進(jìn)展,。

“深度學(xué)習(xí)”最近的成功常被歸功于更大量的可用數(shù)據(jù)、更強(qiáng)大的計(jì)算系統(tǒng),，以及大科技公司對(duì)這一領(lǐng)域突然增加的興趣和投入,。這些不斷增長(zhǎng)的資源確實(shí)客觀上有助于當(dāng)前人工智能的快速發(fā)展，雖然大公司一直以來(lái)都投入了大量資源到各種機(jī)器學(xué)習(xí)方法中,，但只有深度學(xué)習(xí)取得了如此令人難以置信的進(jìn)展,；其他機(jī)器學(xué)習(xí)方法雖然也有改進(jìn)，但是遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到可以與深度學(xué)習(xí)相提并論的程度,。

探尋深度學(xué)習(xí)成功的秘訣

到底是什么因素將深度學(xué)習(xí)與其他方法區(qū)分開(kāi),？它是否能夠解決那些到目前為止沒(méi)有人能用編程提供解決方案的問(wèn)題？

第一個(gè)成功因素,，是自神經(jīng)網(wǎng)絡(luò)早期以來(lái)就不斷被重復(fù)發(fā)現(xiàn),、一直行之有效的算法，被稱(chēng)之為“后向傳輸”,。它其實(shí)只是規(guī)則鏈（一種簡(jiǎn)單的微積分技巧）以非常簡(jiǎn)潔優(yōu)雅的方式被應(yīng)用,。它被深入應(yīng)用于連續(xù)數(shù)學(xué)和離散數(shù)學(xué)領(lǐng)域，使得一系列復(fù)雜的潛在解決方案可以在矢量微積分運(yùn)算過(guò)程中自動(dòng)優(yōu)化,。

關(guān)鍵之處在于,，將這些潛在解決方案的模板組織成一個(gè)有向圖（例如，在很多節(jié)點(diǎn)中,，給一幅照片自動(dòng)添加標(biāo)注說(shuō)明）,，反向遍歷這個(gè)圖使得算法可以自動(dòng)計(jì)算“梯度矢量”，而梯度矢量指導(dǎo)搜索進(jìn)一步優(yōu)化的解決方案,。你只要稍微檢視一下大部分當(dāng)前深度學(xué)習(xí)技術(shù)就不難發(fā)現(xiàn),，他們與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上有諸多相似之處。因此,，后向傳輸算法無(wú)論對(duì)傳統(tǒng)的還是新的構(gòu)架都至關(guān)重要,。

但是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對(duì)后向傳輸?shù)氖褂眠h(yuǎn)不及新的深度學(xué)習(xí)技術(shù)，哪怕使用現(xiàn)有的硬件和海量數(shù)據(jù)來(lái)實(shí)現(xiàn)也如此,。

所以當(dāng)前架構(gòu)成功的另一個(gè)關(guān)鍵是又一個(gè)簡(jiǎn)單到具有欺騙性的想法：神經(jīng)網(wǎng)絡(luò)的組件可以同時(shí)被用在多個(gè)地方,。當(dāng)神經(jīng)網(wǎng)絡(luò)被優(yōu)化后，它的每個(gè)組件的拷貝都被強(qiáng)制保持不變（這個(gè)想法被稱(chēng)作“權(quán)重綁定”）,。這一點(diǎn)給權(quán)重綁定的組件附加了一個(gè)限制條件：它們必須同時(shí)學(xué)習(xí)在不同地方生效,，而不是局限在特定位置。權(quán)重綁定驅(qū)使神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)更普遍有效的函數(shù)功能,，因?yàn)橐粋€(gè)單詞可能出現(xiàn)在一段文字中的任意位置,，或者一個(gè)實(shí)際物體可能會(huì)出現(xiàn)在圖像中的任意位置,。

把普遍適用的組件放在神經(jīng)網(wǎng)絡(luò)中的很多位置，可以類(lèi)比于在程序中編寫(xiě)一個(gè)函數(shù)然后在全局調(diào)用它——這是計(jì)算機(jī)科學(xué)另一個(gè)完全不同領(lǐng)域的核心概念,，即函數(shù)式編程,。實(shí)際上它不只是類(lèi)比，權(quán)重綁定的組件其實(shí)跟編程中可重用函數(shù)的理念不謀而合,，而且權(quán)重綁定更加深入——最近大獲成功的許多架構(gòu)里都在復(fù)用組件,，跟函數(shù)式編程里“高階函數(shù)”的編寫(xiě)模式一模一樣。這暗示其他來(lái)自函數(shù)式編程的算子可以借鑒到深度學(xué)習(xí)結(jié)構(gòu)中,。

可微分式編程,？

要探索以深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的函數(shù)式結(jié)構(gòu)，最自然的方式是一款新語(yǔ)言,，它能夠直接在函數(shù)式程序上運(yùn)行后向傳輸,。正如目前所展現(xiàn)的那樣，這種結(jié)構(gòu)隱藏于實(shí)現(xiàn)細(xì)節(jié)之中,，函數(shù)式程序?qū)嶋H上被編譯進(jìn)一個(gè)類(lèi)似后向傳輸所需要的計(jì)算圖,，圖中每個(gè)組件必須是可微分的。而Grefenstette等人最近發(fā)表了關(guān)于許多簡(jiǎn)單數(shù)據(jù)結(jié)構(gòu)的可微分構(gòu)造（棧,，隊(duì)列,，雙端隊(duì)列），他們的研究表明進(jìn)一步可微分的實(shí)現(xiàn)可能只需要一點(diǎn)聰明的數(shù)學(xué)技巧,。

這一領(lǐng)域的后繼進(jìn)展很可能會(huì)創(chuàng)造一個(gè)新的編程范式--可微分式編程,。用可微分式語(yǔ)言編程將會(huì)像起草一個(gè)函數(shù)式的結(jié)構(gòu)，并把細(xì)節(jié)留給優(yōu)化器,；語(yǔ)言本身將會(huì)使用后向傳輸從而根據(jù)整個(gè)程序的目標(biāo)來(lái)自動(dòng)學(xué)習(xí)細(xì)節(jié)實(shí)現(xiàn)——正如深度學(xué)習(xí)中的自動(dòng)優(yōu)化權(quán)重值一樣,，但函數(shù)式編程可作為更有表達(dá)力的權(quán)重綁定實(shí)現(xiàn)。

總結(jié)

深度學(xué)習(xí)看上去可能很像"專(zhuān)家系統(tǒng)"或“大數(shù)據(jù)”領(lǐng)域里的另一個(gè)暫時(shí)性的狂熱,?？晌⒎质骄幊淌且粋€(gè)很新的概念，但它是后向傳輸和權(quán)重綁定思想的一個(gè)自然而然的延伸,，而且可能會(huì)被證明跟前兩者一樣長(zhǎng)期有效,。哪怕特定的實(shí)現(xiàn)、架構(gòu),、技術(shù)術(shù)語(yǔ)不斷出現(xiàn)又消失,，這些核心概念將會(huì)一直是人工智能成功的核心要素。