上周,,AI圈最大的事情,,沒有之一,就是圖靈獎(jiǎng),,終于終于,,終于頒給了深度學(xué)習(xí)三巨頭。 關(guān)于Geoffrey Hinton和他的兩位學(xué)生Yoshua Bengio,、Yann LeCun的故事,,在消息出來后的幾天里,理所當(dāng)然完成了刷屏,。 即使AI從業(yè)者和愛好者基本已經(jīng)對(duì)這三位的事跡耳熟能詳,,但他們“高舉著火焰,沖過了最黑暗的時(shí)代”的英雄主義情結(jié),還是能夠輕易讓遠(yuǎn)離AI世界的人們動(dòng)容,。 “三巨頭”和深度學(xué)習(xí)的經(jīng)歷,,事實(shí)上是一幕從學(xué)術(shù)邊緣開始,在產(chǎn)業(yè)狂歡中自證,,再回頭征服主流學(xué)術(shù)界的故事,。起伏線索簡直比好萊塢大片還要好萊塢。 然而現(xiàn)實(shí)人生和電影最大的區(qū)別或許在于,,電影可以在高潮處戛然而止,,留給觀眾意味深長的壯美。但生活還要繼續(xù),,日子還得過,,AI還得發(fā)展。深度學(xué)習(xí)并不會(huì)因?yàn)閳D靈獎(jiǎng)的到來而畫上圓滿的句號(hào),。 如果說三巨頭在全世界都不相信深度學(xué)習(xí)時(shí)的執(zhí)拗,,最終換來了圖靈獎(jiǎng)和一句句“泰斗”的贊美聲;那么我們今天更應(yīng)該留意的,,或許是在深度學(xué)習(xí)如日中天的現(xiàn)在,,三巨頭又在忙活著什么?他們現(xiàn)在所忙的,,是不是又映射著AI的未來? 咱們不妨換個(gè)角度,,不說他們可歌可泣的當(dāng)年,,而是聊聊三巨頭的現(xiàn)在。 需要注意的是,,這里并不打算把三人及團(tuán)隊(duì)的每一篇論文都整理出來,,而是希望從他們?cè)贏I爆發(fā)之際的選擇,讀出些許關(guān)于深度學(xué)習(xí)未來走勢與先天不足的底層規(guī)律,。 Yann LeCun: 產(chǎn)學(xué)候鳥與AI圈魯迅 三巨頭中最頻繁活躍在大眾視線里的,,是Yann LeCun。 為什么很多不認(rèn)識(shí)Hinton的人也認(rèn)識(shí)Yann LeCun,?這個(gè)AI界的未解之謎有很多解釋,。 不靠譜的解釋包括,Yann LeCun這個(gè)名字非常適合寫成楊麗坤,,所以好記,。再比如說他的招牌式笑容很容易讓人覺得AI沒那么枯燥。 而靠譜的解釋是,,Yann LeCun是三人中進(jìn)入產(chǎn)業(yè)世界程度最深的那一位,,甚至一度被視作AI科學(xué)家走向商業(yè)世界的代表人物。 2013年,Yann LeCun突然加入Facebook是一件非常有爆炸力的事,。大家既不理解Facebook要AI科學(xué)家干嘛,,也不明白Yann LeCun去一個(gè)社交媒體做什么。 來到Facebook之后,,Yann LeCun一手創(chuàng)立了FAIR,。這不是個(gè)律師事務(wù)所,而是Facebook人工智能實(shí)驗(yàn)室,。 必須要承認(rèn),,作為FAIR一把手的Yann LeCun,在那幾年間是有不少作為的,。比如大幅度提升了Facebook的自動(dòng)化運(yùn)營能力,,提高了廣告等Facebook生命線的智能化程度。而另一方面,,充滿理想主義精神和學(xué)者氣息的Yann LeCun還把FAIR搞成了硅谷最有烏托邦味道的實(shí)驗(yàn)室之一,。 在Facebook,F(xiàn)AIR的專家們關(guān)注那些天馬行空的前瞻性技術(shù),,以及AI如何在未來造福全人類,。在扎克伯格的默許與支持下,F(xiàn)AIR的紅火甚至一度被認(rèn)為是硅谷的工程師文化要向科學(xué)家文化交槍,。 此外,,Yann LeCun個(gè)人魅力也成為Facebook快速招到頂級(jí)科學(xué)家的利器,5年中,,F(xiàn)AIR擴(kuò)大到6個(gè)辦公地點(diǎn),,有近100名研究員。與吳恩達(dá),、李飛飛并列,,Yann LeCun也被稱為由學(xué)校到企業(yè)的三位AI明星之一。 但隨著團(tuán)隊(duì)規(guī)模的不斷擴(kuò)大,,Yann LeCun作為理想派科學(xué)家,,逐漸暴露出了團(tuán)隊(duì)管理能力的不足。加上2017年Facebook風(fēng)雨飄搖,,在整體業(yè)務(wù)改革之后,,業(yè)務(wù)線開始向FAIR索取更多直接的、有助于提升業(yè)務(wù)質(zhì)量或者變現(xiàn)能力的技術(shù)——而這并非Yann LeCun所愿與所長,。 始終保留著紐約大學(xué)教職的Yann LeCun,,在2018年1月宣布辭去了FAIR負(fù)責(zé)人的職務(wù),轉(zhuǎn)向幕后擔(dān)任首席科學(xué)家,。而這也被外界解讀為一個(gè)信號(hào):似乎和吳恩達(dá),、李飛飛一樣,頂級(jí)科學(xué)家真的不那么容易在大企業(yè)高管的位置上長治久安。 而在產(chǎn)業(yè)的探索之外,,Yann LeCun的另一個(gè)人設(shè),,堪稱AI圈里的魯迅——路見不平一聲twitter,該罵你時(shí)候絕不休息,。 不少人感覺Yann LeCun有點(diǎn)過于“好作驚人語”,,但其實(shí)要看到更大的背景在于,,今天圍繞著深度學(xué)習(xí)到底是什么,,未來會(huì)怎么發(fā)展,以及AI有沒有用等一系列問題,,滋生出了無盡的爭議,。 而作為AI行內(nèi)最大的明星之一,Yann LeCun似乎也在某種程度上有義務(wù)出來正本清源,。 讓咱們回顧一下讓Yann LeCun啟動(dòng)開懟模式的三件事: 1,、對(duì)著名的人形機(jī)器人,全球首位“機(jī)器公民“索菲亞,。Yann LeCun怒斥其為 “徹頭徹尾的騙局”“完全是胡說八道”,。在Yann LeCun看來,所謂索菲亞不過是一具放錄音的模型而已,,對(duì)它的“物體崇拜”會(huì)讓人們覺得AI就是在變戲法,。真正的AI想要達(dá)到嬰兒甚至動(dòng)物的智商,還要走很遠(yuǎn)的路,。 2,、硅谷鋼鐵俠馬斯克,近兩年的愛好是到處說AI就要?dú)缛祟惲?。Yann LeCun認(rèn)為這種說法非常不負(fù)責(zé)任。在他看來,,馬斯克就是跟一些樂觀派的科學(xué)家聊天,,又回家看了一些想象成分居多的書,然后就產(chǎn)生了《終結(jié)者》馬上要實(shí)現(xiàn)的想法,。加上眾所周知馬斯克總想拯救人類,,最后導(dǎo)致了我們聽到的那些聲音。而在Yann LeCun看來,,科學(xué)家是知道那種強(qiáng)AI不太可能在幾年內(nèi)實(shí)現(xiàn)的,,馬斯克的言論是在散布恐慌。 3,、去年,,一位計(jì)算機(jī)視覺專家Filip Piekniewski連續(xù)發(fā)表了《深度學(xué)習(xí)已死》之類的“雄文”,高唱深度學(xué)習(xí)泡沫要破。Yann LeCun則馬上開啟了回懟模式,,直言作者“非常無知”,,指出這位作者首先沒有看到學(xué)術(shù)和產(chǎn)業(yè)界的現(xiàn)實(shí),其次用一些無關(guān)的證據(jù)強(qiáng)行證明AI“寒冬來了”的結(jié)論,。比如作者提到AI藥丸,,一大證據(jù)是AI科學(xué)家發(fā)twitter少了——?dú)獾腨ann LeCun趕緊發(fā)了一堆twitter。 總結(jié)一下,,會(huì)發(fā)現(xiàn)Yann LeCun開懟的主要是三種聲音:假AI,、AI威脅論,AI寒冬論,。 其實(shí)環(huán)顧左右,,這三種論調(diào)是不是也飄散于我們身邊呢? Yoshua Bengio: 保衛(wèi)象牙塔,,鎮(zhèn)守加拿大 說了最高調(diào)的,,再說說最低調(diào)的Yoshua Bengio。 之所以說他低調(diào),,是因?yàn)閅oshua Bengio可說是三巨頭中最不愿意探索產(chǎn)業(yè)世界的一位,。他在必然出現(xiàn)的重金誘惑面前,也沒有加入那幾家我們耳熟能詳?shù)目萍季揞^,,而是選擇繼續(xù)留在蒙特利爾大學(xué)的象牙塔里,,享受著加拿大的好山好水。 然而隨著自己發(fā)明的深度學(xué)習(xí)越來越火,,Yoshua Bengio發(fā)現(xiàn)事情并不簡單,。科技巨頭和投資人開始瘋狂向?qū)W校搶人,。深度學(xué)習(xí)方向的博士變成了炙手可熱的香餑餑,,直到Y(jié)oshua Bengio發(fā)現(xiàn),他還沒畢業(yè)的博士都已經(jīng)被饑渴的科技公司瓜分干凈,。這位科學(xué)家決心要保衛(wèi)象牙塔的純凈,。 他的辦法是,自己開一家公司…… 咳咳,,事實(shí)上,,Yoshua Bengio是在幾位合伙人的勸說下,決定共同建立一個(gè)新型的產(chǎn)學(xué)一體化機(jī)構(gòu),。我們知道AI界有著名的OpenAI,,專注無不商業(yè)目標(biāo)的開源項(xiàng)目,讓科學(xué)家能在企業(yè)完成自己的夢想,。 而Yoshua Bengio與合伙人聯(lián)合創(chuàng)立的Element AI,,則反其道而行之,。它致力于讓AI科學(xué)家們可以直接參與商業(yè)項(xiàng)目,獲取相關(guān)回報(bào),,但同時(shí)能夠保留教職——比如每周只用抽出幾個(gè)小時(shí)來來Element AI干活,,大家一起做做項(xiàng)目賺賺外快就行了。 這種有點(diǎn)像AI科學(xué)家在線兼職的模式,,可以有效解決一個(gè)問題:創(chuàng)業(yè)企業(yè)和傳統(tǒng)企業(yè),,根本無力與科技巨頭爭搶AI人才,但他們卻實(shí)打?qū)嵉匦枰狝I人才來幫忙,。這樣一種模式可謂兩全其美,。 很快,Element AI就獲得了微軟的投資,,現(xiàn)在在深入各行業(yè)定制AI解決方案之外,,也開始與大公司的聯(lián)合科研,以及對(duì)優(yōu)質(zhì)AI項(xiàng)目進(jìn)行投資和技術(shù)幫助,。而對(duì)于客戶來說,,Yoshua Bengio本人就是商業(yè)合作上的金字招牌。 Yoshua Bengio的另一個(gè)工作重心,,是學(xué)校里的蒙特利爾學(xué)習(xí)算法研究所(MILA),。MILA和Element AI一學(xué)一產(chǎn),構(gòu)成了蒙特利爾AI產(chǎn)業(yè)的雙核驅(qū)動(dòng),。今天,,加拿大AI的快速發(fā)展,以及蒙特利爾被稱為AI時(shí)代的硅谷,,都與Yoshua Bengio的工作緊密相關(guān),。 嗯,至少目前來看,,這位象牙塔守護(hù)者,,加拿大AI之星,還是比較好地完成了任務(wù),。 Yoshua Bengio還有一項(xiàng)比較出名的行動(dòng),,是在AI社會(huì)責(zé)任與公益領(lǐng)域廣泛擔(dān)當(dāng)呼吁者。比如他帶頭反對(duì)谷歌的軍方項(xiàng)目,,呼吁終止AI武器化。并且積極推動(dòng)關(guān)注AI中的歧視與不公平問題,。 假如給Yoshua Bengio近年來的工作打上三個(gè)標(biāo)簽,,那就是:學(xué)術(shù)的,公益的,,加拿大的…… Geoffrey Hinton:懷疑者,,依舊懷疑 與兩位50多歲的學(xué)生相比,,已經(jīng)72歲的老師Hinton,似乎應(yīng)該閑下來,,享受“AI教父“的尊名,,指導(dǎo)指導(dǎo)學(xué)生,籌劃一下傳記,。 然而事實(shí)并非如此,,Geoffrey Hinton今天依舊在保持高強(qiáng)度的工作。被腰間盤疾病困擾的他,,甚至必須要站著完成所有研究,。與兩位學(xué)生和大部分功成名就的同行相比,Hinton更像是工作在AI一線的那一個(gè),。 簡單來說,,那個(gè)又倔又橫的小伙子,如今變成了個(gè)又倔又橫的老頭,。 曾經(jīng)在一次采訪中,,Geoffrey Hinton被問到為什么能在幾十年的不被重視中堅(jiān)持下來,他的回答非??嵋卜浅inton,。他說: “他們都錯(cuò)了?!?/p> 直到今天,,Hinton還是認(rèn)為有可能所有人都錯(cuò)了,包括他自己,。 1986年,,Hinton發(fā)表了《Learning representations by back-propagation errors》,這是Hinton一生的代表作之一,,標(biāo)志著反向傳播算法被引進(jìn)深度學(xué)習(xí),,今天來看有著跨時(shí)代的意義。 然而Hinton在近兩年卻頻頻表示,,反向傳播有可能存在這巨大的缺陷,。他不但自己嘗試了多種方式突破它,還將大量相關(guān)研究綜合起來,,寫論文對(duì)比如何擺脫反向傳播的窠臼——直到現(xiàn)在,,他還沒有超越自己,但并不代表以后不能,。 Geoffrey Hinton是一個(gè)徹頭徹尾的懷疑者,,這點(diǎn)并沒有因?yàn)樗兂伞疤┒贰倍淖儭?/p> 在產(chǎn)業(yè)世界,Hinton的主要工作在谷歌大腦,。近兩年,,TensorFlow的簡化升級(jí),,谷歌大腦的AI能力拓展,背后都有Hinton與團(tuán)隊(duì)的身影,。 而作為“教父”一樣的存在,,Hinton更被人關(guān)注的是在AI學(xué)術(shù)領(lǐng)域不斷提出的顛覆性觀點(diǎn)。恰好這又是一個(gè)樂于顛覆自己和其他人工作的人,。 2017年年底,,Hinton發(fā)表了名為膠囊網(wǎng)絡(luò)Capsule Networks的方案,被廣泛認(rèn)為將改寫深度學(xué)習(xí)的發(fā)展軌跡,。 膠囊網(wǎng)絡(luò)所針對(duì)的,,是卷積神經(jīng)網(wǎng)絡(luò)的操作模式。傳統(tǒng)的深度學(xué)習(xí)算法中,,每一層神經(jīng)網(wǎng)絡(luò)必須做同樣的卷積運(yùn)算,。而膠囊網(wǎng)絡(luò)則認(rèn)為,不同的神經(jīng)元可以攜帶不同屬性,,這就像人腦中的不同區(qū)域負(fù)責(zé)不同的工作,。 這種將深度學(xué)習(xí)進(jìn)行稀疏激活的顛覆式方案,目前已經(jīng)被證明可以在圖像識(shí)別領(lǐng)域達(dá)成創(chuàng)新,。不少人相信,,膠囊網(wǎng)絡(luò)未來會(huì)成為AI可解釋、AI被賦予常識(shí)的關(guān)鍵技術(shù),。 近幾年,,Hinton帶來的另一個(gè)顛覆,是在暗知識(shí)提取dark knowledge extraction領(lǐng)域不間斷的工作,。一般來說,,深度學(xué)習(xí)獲取抽象特征,是建立在龐大的數(shù)據(jù)運(yùn)算基礎(chǔ)上的,。而這會(huì)導(dǎo)致AI必須消耗大量的數(shù)據(jù)和算力來反復(fù)完成訓(xùn)練,。而暗知識(shí)提取,或者叫知識(shí)蒸餾,,則致力于讓智能體之間可以提取隱藏的知識(shí),,把一部分知識(shí)留存到子深度學(xué)習(xí)系統(tǒng),最終達(dá)成智能體擺脫龐大的算力與數(shù)據(jù)渴求,,觸及相對(duì)先天的“智能”,。 可以看到,Hinton在今天依舊那么硬核,。很多在AI世界看似常識(shí)的東西,,AI之父卻壓根不相信它,并且在反復(fù)挑戰(zhàn),。 AI走到頭了嗎,?深度學(xué)習(xí)是最終解法嗎?這老頭一輩子從來沒相信過大多數(shù)人的判斷,。 三巨頭的今天:深度學(xué)習(xí),,從1到很多 假如說,三巨頭高舉火把,,四下無人的那些年,,是深度學(xué)習(xí)從0到1的時(shí)代。 那么今天全世界的深度學(xué)習(xí)熱,, 毫無疑問標(biāo)志著深度學(xué)習(xí)開始從1到N,。然而從三巨頭今天的工作來看,它也僅僅才到1而已,。 不知道大家注意到?jīng)]有,,三巨頭今天主要關(guān)注的方向,恰恰對(duì)應(yīng)著以深度學(xué)習(xí)為代表的這一次AI復(fù)興,,所攜帶的先天不足,,以及后天激發(fā)的問題。把三巨頭的工作強(qiáng)行合并,,可以看到這樣幾個(gè)方向: 1,、AI到底是空談還是事實(shí)?解決這個(gè)問題,,必須把深度學(xué)習(xí)扔到產(chǎn)業(yè)熔爐當(dāng)中,,在算力、數(shù)據(jù)和應(yīng)用場景里,,檢驗(yàn)深度學(xué)習(xí)到底能干什么,。而這也是大量AI科學(xué)家必須去企業(yè)的邏輯之一。 2,、AI火了之后,,各種亂七八糟的事情一定會(huì)出來飛舞,需要有人把火車?yán)剀壍?。Yann LeCun在社交媒體上四面開火就是因?yàn)檫@個(gè),。索菲亞的把戲、馬斯克的AI威脅論,,以及“AI寒冬又來了”,,這幾個(gè)說法今天在中國一定有大批擁護(hù)者。不難看出問題還是挺尖銳的,。 3,、AI的人才匹配與平衡問題。這輪AI復(fù)興的一個(gè)特征,,是高度的產(chǎn)學(xué)一體化,,導(dǎo)致學(xué)術(shù)人才可以直接與應(yīng)用打通,。然而學(xué)術(shù)人才如何在產(chǎn)業(yè)誘惑面前保持學(xué)術(shù)追求,產(chǎn)業(yè)如何在巨頭爭搶下獲得AI人才幫助,,這個(gè)問題在中國同樣存在,。 4、深度學(xué)習(xí)是把雙刃劍,,軍事化,、歧視與不公、因素安全等問題隨之產(chǎn)生,。AI的社會(huì)責(zé)任,,是一個(gè)刻不容緩的矛盾。 5,、深度學(xué)習(xí),,不是終點(diǎn)。反向傳播,,多層神經(jīng)網(wǎng)絡(luò)等等技術(shù)模式構(gòu)成了我們習(xí)以為常的那個(gè)“AI”,。但是深度學(xué)習(xí)依舊有大量問題存在,比如黑箱性,,遷移能力差,,高消耗等等。我們是把今天的AI當(dāng)成原教旨,,還是繼續(xù)挑戰(zhàn),,尋找更上層的終點(diǎn)?這點(diǎn)Hinton這位“深度學(xué)習(xí)之父”真是帶了個(gè)好頭,。 功績當(dāng)然偉大,,問題還有一堆。今天,,三巨頭還在工作,,他們?cè)跒樗麄兊脑煳镓?fù)責(zé)。 |
|