當(dāng)輸入有小幅擾動(dòng)時(shí),，深度學(xué)習(xí)方法會(huì)失效,。例如當(dāng)顏色改變之后，圖像識(shí)別就可能會(huì)崩潰,。

基于梯度優(yōu)化的學(xué)習(xí)是非常慢的（除了慢,，對(duì)于非凸的問(wèn)題，梯度下降算法還可能陷入局部極值） ,。需要許多許多步梯度下降才能捕獲模式,。高維預(yù)測(cè)十分困難。

深度學(xué)習(xí)方法難以處理約束條件,。和線性規(guī)劃不同,，它不能找到滿足約束條件的解。

復(fù)雜模型的訓(xùn)練是十分不穩(wěn)定的,。神經(jīng)網(wǎng)絡(luò)圖靈機(jī)(Neural turing machines)和 生成式對(duì)抗網(wǎng)絡(luò)常常訓(xùn)練失敗,，它們非常依賴初始的隨機(jī)值。

和圖模型不同,，深度神經(jīng)網(wǎng)絡(luò)和現(xiàn)實(shí)世界難以對(duì)應(yīng),。不能提取因果結(jié)構(gòu)。

例如,，對(duì)于影響因素檢測(cè)問(wèn)題,。給出議員投票數(shù)據(jù)集，要檢測(cè)關(guān)鍵影響因素,。在深度神經(jīng)網(wǎng)絡(luò)中很難清晰表達(dá),。

強(qiáng)化學(xué)習(xí)方法很難伺候,。模型表現(xiàn)十分依賴調(diào)參技巧。但是這個(gè)問(wèn)題只在特定條件下出現(xiàn),。

深度學(xué)習(xí)進(jìn)行未知實(shí)體的推理是十分困難的,。比如有一段擊球手的視頻，投手在畫(huà)面外,。

在深度神經(jīng)網(wǎng)絡(luò)技術(shù)的世界里,，我們尚不清楚怎樣推斷投手的存在。

在線訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)是很難的（參閱上文訓(xùn)練很慢的部分）,。所以很難動(dòng)態(tài)響應(yīng),。

一般情況下，智能行為都是離線訓(xùn)練的,。

人們常常提到深度網(wǎng)絡(luò)的可解釋性,。我不認(rèn)為這個(gè)問(wèn)題像人們說(shuō)的那樣嚴(yán)重。但是,，人類難以察覺(jué)深度網(wǎng)絡(luò)學(xué)到的內(nèi)容,。我們憑什么保證偏見(jiàn)和種族主義的東西沒(méi)有被學(xué)習(xí)到呢？看看那些講 word2vec模型中的種族主義的文章吧,。

深度神經(jīng)網(wǎng)絡(luò)在解決邏輯問(wèn)題上遇到困難,。3SAT 求解器功能十分強(qiáng)大，但是很難嵌入到深度網(wǎng)絡(luò)中,。

在處理尺度范圍較大的特征時(shí)，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)很差,。和穩(wěn)定的隨機(jī)森林不同,， 深度神經(jīng)網(wǎng)絡(luò)需要進(jìn)行大量的特征調(diào)整。

超參數(shù)搜索也很可怕,。工程師不但要進(jìn)行繁重的計(jì)算,，還需要大量的手工調(diào)整結(jié)構(gòu)。

這絕不是一份詳盡的清單,。所有這些都是值得思考(和進(jìn)一步研究)的問(wèn)題,。

還有一個(gè)重要的問(wèn)題：這些問(wèn)題是深度網(wǎng)絡(luò)固有的，還是工程上需要克服的挑戰(zhàn),？

講真,，這很難說(shuō)。有一些問(wèn)題似乎可以解決,。更多的硬件設(shè)備可以使自動(dòng)超參數(shù)搜索變得可行,。

一些前期結(jié)構(gòu)可以進(jìn)行自動(dòng)歸一化（auto-normalize），處理大尺度范圍數(shù)據(jù),，所以特征處理也可以提升,。

但是,，邏輯、約束,、隱含層和審查方面的問(wèn)題可能更為嚴(yán)重,。

不過(guò)，我很希望被打臉,。深度學(xué)習(xí)工程師們都才華橫溢,，富有想象力。

此外,，摩爾定律目前對(duì)GPU的表現(xiàn)依然有效,。（但是能持續(xù)多久呢？TPUs 和定制硬件能拯救我們嗎,？）

所以,，我對(duì)于這些挑戰(zhàn)還是相對(duì)樂(lè)觀的。盡管如此,，我懷疑深度網(wǎng)絡(luò)對(duì)廣義的智能來(lái)說(shuō)是不夠的,。

不過(guò)這可能是我個(gè)人的偏見(jiàn)。專業(yè)的工程師在預(yù)測(cè)方面往往很糟糕,。埋頭苦干太長(zhǎng)時(shí)間了,。

以至于只見(jiàn)樹(shù)木，不見(jiàn)森林,。

我并不想把這篇推文寫進(jìn)論文里,。我還不知道是否會(huì)有潛在的主題。

最后,，探索和分析就留給有眼光的讀者們,，當(dāng)作一個(gè)練習(xí)吧！