【AI WORLD 2017世界人工智能大會倒計時26天】

昨天,，在RE·WORK蒙特利爾深度學(xué)習(xí)峰會上,，“AI三巨頭”Geoffrey Hinton、Yoshua Bengio和Yann LeCun有史以來頭一遭,，不僅出現(xiàn)在同一個活動中,，而且聚集在同一個panel里，分享了他們對前沿研究進展的展望,，并討論了加拿大人工智能和深度學(xué)習(xí)生態(tài)系統(tǒng)的格局,。

來自麥吉爾大學(xué)的Joelle Pineau主持了這場討論,，她以十分有趣的方式開場，請三大神介紹站在自己旁邊的人,，整個禮堂立馬充滿了笑聲,。

Yoshua Bengio率先開了頭，他說：“這是Yann,，我在讀碩（Master）期間遇到了他,，當(dāng)時他正跟著Geoff一起做博士后，后來Yann請我去和他一起工作,，開始研究卷積神經(jīng)網(wǎng)絡(luò),，到今天這仍然是個熱門課題！”

接著,，Yann LeCun介紹Geoffrey Hinton,，LeCun說：“我也來回顧一下歷史，我還是本科生的時候研究了神經(jīng)網(wǎng)絡(luò),，發(fā)現(xiàn)在上世紀(jì)70年代這方面沒有研究發(fā)表,。我看到一篇題為《優(yōu)化感知推理》（Optimal Perceptual Inference）的文章，Geoff是三位作者之一,。我讀了這篇論文,，知道我必須見見Geoffery?！?/p>

最后輪到Hinton,，他開玩笑說，他或許是Bengio論文的導(dǎo)師（supervisor）,，但他實際上已經(jīng)不記得了,。Hinton繼續(xù)說：“那是一篇非常好的論文，將神經(jīng)網(wǎng)絡(luò)用于語音識別,。Yoshua和我在加拿大做得很好,，因為加拿大支持基礎(chǔ)研究。如今領(lǐng)域發(fā)展得非?？?，我現(xiàn)在已經(jīng)跟不上Yoshua的節(jié)奏了！每個星期都有好幾篇arXiv論文出來,，Yoshua在attention方面的工作令我印象非常深刻,。我感覺Yoshua年紀(jì)是最小的，他還有一些路要走,，但不幸的是我認為他已經(jīng)追上我們了,！現(xiàn)在Yoshua在他的領(lǐng)域里已經(jīng)做出了跟Yann在CNN上同樣大的影響力。”

以下是現(xiàn)場討論實錄：

能談一下現(xiàn)在和上世紀(jì)八九十年代研究深度學(xué)習(xí)，在深度學(xué)習(xí)領(lǐng)域工作的區(qū)別嗎,？

Bengio：在那時,，你可以全身心投入研究，一點干擾也沒有,。當(dāng)時的環(huán)境跟現(xiàn)在完全不同,。當(dāng)我們幾個遇到彼此的時候，情況跟現(xiàn)在還是有一些類似的,，但神經(jīng)網(wǎng)絡(luò)還是邊緣研究,，才開始了5到10年的樣子。上世紀(jì)90年代初,，神經(jīng)網(wǎng)絡(luò)火過一陣子,，企業(yè)也是真的大力投入，有過一些炒作,，所以跟現(xiàn)在還是有些類似的,。但是，現(xiàn)在神經(jīng)網(wǎng)絡(luò)是真的能用了,。

LeCun：我認為神經(jīng)網(wǎng)絡(luò)在當(dāng)那時候也能用?。〉?，60年代研究感知的人認為神經(jīng)網(wǎng)絡(luò)不是一個有價值的方向,，所以他們開始各種改名字改叫法，按他們的方式去做,，造成了巨大的實際影響,。

Hinton：他們都太年輕啦，根據(jù)不記得這回事,！

LeCun：現(xiàn)在的AI教科書里,，還有很多那時候的東西，上世紀(jì)90年代的神經(jīng)網(wǎng)絡(luò),，早就過時了,，但現(xiàn)在還被當(dāng)做參考，它們是有用,，但是它們不是通往AI的路徑,。很多我們今天使用的技術(shù)，也將以同樣的方式廣為傳播,，也將以同樣的方式傳給下一代,、下下一代，除非我們找到讓這些技術(shù)能夠繼續(xù)有用、往前發(fā)展的下一步,，否則現(xiàn)在的很多技術(shù)也將會死亡,。

Hinton：同意Yann的觀點！

在你的眾多論文中,，有什么是我們應(yīng)該注意但卻忽略了的嗎,？

Hinton：比h-index少一個引用數(shù)的那篇吧（笑）。我在2008/9年寫了一篇文章,，使用矩陣來對關(guān)系（relationship）和概念（concept）建模,。給定3個東西，你要根據(jù)前兩個推斷出第3個,。我在2000年初做了很多工作,，基本上是早期的嵌入。有人說我該放棄這項工作,，因為整篇論文中只有一個非自我引用,！我的想法是，不是用向量表示對象,，矩陣表示概念,，而是用矩陣來表示這兩者，這樣就能表示關(guān)系的關(guān)系,。我們教它 3 + 2 等于 5,，然后教它 2 和 + 在一起是 +2，系統(tǒng)產(chǎn)生的輸出從來沒有見過“+”這個概念,，所以它必須學(xué)習(xí)自己,。這篇論文得了個 2、2,、3的評分（滿分10分）,。后來，我把論文發(fā)給認知科學(xué)那邊,，他們也不喜歡,，說：“如果我對論文的理解是正確的，那這篇論文真是太棒了,，但我認為我們的讀者不會對這個感興趣,！”

Bengio：我都沒有提交我的論文，因為我知道肯定會被拒,！那篇論文的想法是,，為了學(xué)習(xí)我們需要其他人的指導(dǎo)，這里就不多說了,。

隨著時間的推移,，你們幾位取得的共識似乎越來越多。現(xiàn)在你們被稱為“深度學(xué)習(xí)三巨頭”，但還有什么是你們彼此之間存有巨大分歧的,？

Bengio：這是坑嗎,？我不跳哦！

Hinton：政治,！但我們對美國的政治看法都相同,。

LeCun：相比問題本身，或許我們對解決問題的方法有不同的意見,。有段時間，Geoff用概率……

Bengio：凡是有關(guān)概率的事情,，Yann一點都不想知道,，他把Geoff叫做概率警察。

現(xiàn)在有很多人在做深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò),，深度學(xué)習(xí)會在AI里一直存在嗎,，還是說其他領(lǐng)域會興起？

Bengio：我們絕對需要在現(xiàn)有基礎(chǔ)上發(fā)展新的想法,。這些想法將受到我們現(xiàn)有技術(shù)和概念的啟發(fā),，并將成為創(chuàng)造新東西的基礎(chǔ)。

LeCun：這些概念將被參數(shù)化并且繼續(xù)發(fā)展——它們不會消失,，但光是現(xiàn)在這樣顯然是不夠的,，所以我們需要考慮新的架構(gòu)——很多人都在積極探索動態(tài)架構(gòu)（dynamic architecture），自然語言處理也有很多有趣的事情發(fā)生,。我們還需要更多的訓(xùn)練超大規(guī)模學(xué)習(xí)系統(tǒng)的方法——這可能不是最終的答案,，還可能有舊的想法再次火起來。接下來還會出現(xiàn)這樣一些方法,，那就是將深度學(xué)習(xí)和推理這樣更離散的東西連接起來,。

Bengio：我們需要找到方法，讓ML和DL重新拿起目標(biāo)函數(shù),，并用新的方法來訓(xùn)練和教育這些目標(biāo)函數(shù),，這對AI來說是至關(guān)重要的。

Hinton：Yann和Yoshua還認為——最大的困難并不是找到一個無監(jiān)督學(xué)習(xí)的目標(biāo)函數(shù),。我在92年發(fā)表了一篇將空間一致性作為目標(biāo)函數(shù)的論文,。有了這個以后，我們能夠?qū)W習(xí)更多的層,，了解更多的東西,。我們還能訓(xùn)練自編碼器。

雖然具體解決時間我們還不知道,，但你們認為下一個挑戰(zhàn)和我們會解決的下一個問題是什么,？

LeCun：在Facebook，有一個團隊是做星際爭霸的。這個游戲比圍棋更難,，因為它使用戰(zhàn)略,，有多個智能體，各種技術(shù)——你不知道你的同伴在做什么,，在韓國星際是職業(yè)競技的一種,，非常具有挑戰(zhàn)性。現(xiàn)在有一些玩星際的bot,，但都不在人類的水平,。Facebook和DeepMind的團隊正在使用機器學(xué)習(xí)玩星際，我認為我們會在這方面看到一些進展,。但是,，下一個真正改變?nèi)祟惿睿⑶椅覀兛梢越鉀Q的問題,，是如何訓(xùn)練一輛汽車自動駕駛——有沒有辦法做到完全自動并且安全,？

Bengio：我實際上最近也在做這樣一個項目。一個AI游戲,，里面有一個人和一個AI嬰兒,。人需要使用自然語言來教育這個AI，告訴它什么是什么,，總之做所有一般父母都會做的事情,。這些都在虛擬環(huán)境中發(fā)生。這個游戲是為了讓人用最好,、最快捷的方式來訓(xùn)練AI,，而不必擔(dān)心其他太多問題。這個項目很棒,，因為是游戲,，對于參與的人而言很有趣，也有助于收集大量的數(shù)據(jù),，讓我們了解如何使用強化學(xué)習(xí)來確定自然語言和環(huán)境之間的相關(guān)性,。

在AI中，有沒有一些問題,，讓你覺得如果把它們都解決了,，你就可以退休了？

Bengio：有一些真正困難的問題還有待解決,，這很有趣,！我想知道機器如何發(fā)現(xiàn)高表征（High Representations）來解釋世界。關(guān)于解釋世界,，現(xiàn)在有一些通用的假設(shè),，它們短期內(nèi)在統(tǒng)計學(xué)意義上是有效的,，這非常簡單，但是要真正解決起來就沒那么簡單了,。

Hinton：對我來說,，會產(chǎn)生影響的一個特殊的事情是自然語言處理和語言理解。有一些句子,，像“獎杯放不到手提箱里,，因為它太小了”或者“獎杯放不到手提箱里，因為它太大了”,，在第一個是“它”指手提箱（太?。竺娴摹八敝釜劚ㄌ罅耍?。因為語言結(jié)構(gòu)的原因,，我們能推斷出這一點，但如果你把這些句子翻譯成法語,，還有其他一些因素要考慮：機器是否正確區(qū)分和使用了陽性和陰性詞？所以它必須理解背景,。如果一臺機器可以成功地完成這些翻譯,，那么就說明它們真正了解發(fā)生了什么。但是我認為,，這需要比現(xiàn)在的機器翻譯大約大1000倍的性能才能正常工作,。如果我們能夠做到這一點，機器會掌握所有的常識,。它會說服那些固守傳統(tǒng)的人,，AI的成功并不是偶然，而是機器真的了解發(fā)生了什么,。我認為可能在10年內(nèi)可以做到這一點,。

Bengio：我想我們應(yīng)該讓機器學(xué)習(xí)解釋什么是睡覺和為什么要睡覺。我覺得很奇怪,，人們不會質(zhì)疑為什么我們要把生命的三分之一以上的時間花在睡覺上,。但如果你剝奪了人們睡覺的權(quán)利，他們會發(fā)瘋的,！我們喜歡8個小時的睡眠,，但是我們卻不知道為什么。我強烈地認為,，睡覺會這一活動會告訴我們,，究竟人們是如何進行學(xué)習(xí)的。

LeCun：我們?nèi)绾巫寵C器獲得常識,？無監(jiān)督學(xué)習(xí),？代表空間的目標(biāo)函數(shù),？可能需要10或20年，我們不知道,。

Hinton：又或者只需要一周的時間,。

拋開技術(shù)問題，談?wù)剛惱怼男﹤惱矸矫娴膯栴}最有可能讓你夜不能寐,？

Bengio：對我來說,，是對AI 和我們所開發(fā)的產(chǎn)品的錯誤使用。例如,，我對在智能武器裝備中使用AI特別敏感 ,，這可能是非常危險的。我認為政府應(yīng)該簽署條約,。此外,，以操縱AI的方式進行廣告宣傳，對民主來說可能是真正危險的,。最后,，AI落在錯誤的人手中的問題真的很麻煩。

LeCun：如果被心懷惡意的用戶使用,，這可能是非常糟糕的,。事實上，機器學(xué)習(xí)方法確實可能會被用在一些糟糕的場景中,，造成損害,。例如，當(dāng)你使用有偏見的數(shù)據(jù)訓(xùn)練機器時,，機器會有偏見,，當(dāng)你訓(xùn)練系統(tǒng)時，會復(fù)制訓(xùn)練它的人的行為,。這是技術(shù)問題,，也是道德問題——我們?nèi)绾蜗姡緼I在公眾中的形象可能會因此變得黯淡,，所以我們必須積極主動做出改變,。我正在與“The Partnership in AI”合作，我們一起提出了部署測試的指導(dǎo)綱要,，以保證安全,。

對于從事AI工作的年輕人，有什么建議,？

Hinton：如果你有一個強烈的直覺,，認為自己有一個很好的主意，但其他人都說“不”,。那么注意,，它不是一個壞的想法,，它實際上是一個原創(chuàng)的想法。然后想想,，你應(yīng)該好好研究你的這個“好主意”嗎,？如果你有良好的直覺，那么就在你的想法上開始工作,。如果你沒有良好的直覺,，你做什么都不重要！

Bengio：我的建議是,，聽Hinton的,。

LeCun：我們?nèi)齻€人非常直觀，我們通過直覺提出了概念和想法,，雖然有時其他人告訴我們這是不可行的,。所以一些最有趣的想法不是最復(fù)雜的，但是要實現(xiàn)它的方式可能是,。令人驚訝的是,，人們需要這么長時間才能認識到一些事情是好的想法！

原文鏈接：https:///blog/interview-yoshua-bengio-yann-lecun-geoffrey-hinton

【AI WORLD 2017世界人工智能大會倒計時26天】