|
來自QM雜志 機器之心編譯出品 參與：微胖、妞妞姐姐,、曾用,、曾靖華、小櫻,、熒幕上的極客
2012年,，在YouTube視頻上流傳著一個可以識別貓的視頻,。就在上個月，另一個名為「一群玩飛盤的年輕人」的圖片也廣為流傳, 人工智能研究者們因「深度學(xué)習(xí)」取得的進一步成功而歡呼雀躍,，這是一套具有廣泛意義且非常成功的稀疏算法模型,，大致模仿了大腦僅通過身處真實世界就能對世界特征變得更加敏感的方法。 運用最新的深度學(xué)習(xí)協(xié)議，由人工神經(jīng)元網(wǎng)絡(luò)組成的計算機模型正變得越來越擅長圖像,，語音和模式識別——它們也是私人助理,，復(fù)雜數(shù)據(jù)分析和無人駕駛汽車的核心技術(shù),。但是,，盡管他們在訓(xùn)練電腦從一些不相關(guān)的數(shù)據(jù)從提取出顯著特點上取得這么大的進展，研究人員還沒有完全弄明白這種算法或者生物學(xué)習(xí)為什么會如此有效,。 現(xiàn)在,，有兩位物理學(xué)家發(fā)現(xiàn)深度學(xué)習(xí)工作方式之一和物理學(xué)最重要也最普遍的數(shù)學(xué)技術(shù)非常相似，這是一種用于計算物理的系統(tǒng)大規(guī)模并行行為的程序,，比如基本粒子及其相互作用,，流體，宇宙等,。 波士頓大學(xué)的 Pankaj Mehta和西北大學(xué)的 David Schwab的最新研究證明,，重整化（renormalization） 的統(tǒng)計學(xué)方法——一種可以使得物理學(xué)家不必要了解系統(tǒng)組成的所有確切狀態(tài)，也能較為精準(zhǔn)地描述系統(tǒng)的技術(shù)——也能讓人工神經(jīng)網(wǎng)絡(luò)實現(xiàn)數(shù)據(jù)分類與預(yù)測,；比如,，無論視頻中的顏色、大小,、姿勢如何,，都能認出這是一只「貓」。 Pankaj Mehta,，波士頓大學(xué)的物理系助理教授 埃默里大學(xué)的生物物理學(xué)家 Ilya Nemenman說,，「他們已經(jīng)通過確切證據(jù)將那些人們認為只有夢里才可能存在的東西寫成了論文?！埂附y(tǒng)計物理學(xué)和深度學(xué)習(xí)中的關(guān)聯(lián)特征提取,，并不僅僅是用語相似，它們就是一回事,，同一件事兒（they are one and the same）,。」 人類在灌木中發(fā)現(xiàn)一只貓,，人群中一張熟悉的臉,，甚至是我們身邊那些混亂顏色，條紋,，聲音中的任何事物,，深度學(xué)習(xí)和生物學(xué)習(xí)高度的相似性啟示我們，大腦或許也通過重整化（ renormalization ）的方式來理解這個世界,。Metha說,，「如何能從數(shù)據(jù)中發(fā)現(xiàn)相關(guān)特征，或許存在一些普遍的邏輯解釋，」「我認為,，這可能暗示類似東西的存在,。」 Schwab,、Mehta和其他研究人員曾認為,，物理學(xué)家的分析技巧和物體或語音識別背后的學(xué)習(xí)過程，具有哲學(xué)上的相似性,，如今,，他們的研究結(jié)論正式化了這一觀點。 Schwab說,，重整化是「選擇一個真正復(fù)雜系統(tǒng)并將它蒸餾到只?；窘M成部分」「這是深度神經(jīng)網(wǎng)絡(luò)在做的。也是大腦努力在做的事情,?！?span>（點評-熒幕上的極客：這里的重整化有兩個概念上的理解：一個是深度學(xué)習(xí)對于大腦的「重整化」；另一個是大腦對物理世界的「重整化」,。） 分層學(xué)習(xí) 十年前,，深度學(xué)習(xí)似乎還不給力。運行該程序的計算機模型經(jīng)常無法識別出圖片中的物體和錄音中的語音單詞,。 多倫多大學(xué)的英國計算機科學(xué)家Geoffrey Hinton和其他研究人員設(shè)計出一種運行于多層虛擬神經(jīng)元網(wǎng)絡(luò)的程序,，通過「放電」開關(guān)將信號傳送給周圍鄰居。這些「深度」神經(jīng)網(wǎng)絡(luò)的設(shè)計靈感來自人類視覺皮層的層級結(jié)構(gòu)——大腦這部分負責(zé)將大量光子轉(zhuǎn)化為有意義的觀念,。 當(dāng)人看見貓走過草坪時,，視覺皮層會分層處理所見情景，后一層的神經(jīng)元會對規(guī)模更大,、也更顯著的特征做出響應(yīng),。起初，視網(wǎng)膜神經(jīng)元發(fā)現(xiàn)與背景形成鮮明對比的內(nèi)容后會放電,，指出內(nèi)容的邊沿或者末端等,。這些視覺信號會傳至更高一層神經(jīng)元，這部分神經(jīng)元對邊沿組合以及其他越來越復(fù)雜的部分很敏感,。接著進入下一層,，一個胡須信號可能會與另一個胡須信號配對，還會和尖狀耳朵組合起來,，最終引發(fā)頂層的神經(jīng)元對貓的概念做出響應(yīng),。 十年前，Hinton嘗試復(fù)制發(fā)育中的嬰兒大腦與敏感數(shù)據(jù)中相關(guān)關(guān)聯(lián)的協(xié)調(diào)過程,，學(xué)會用胡須和胡子而不是背景中的花進行分類,。Hinton試著訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)使用簡單學(xué)習(xí)規(guī)則——這是上世紀(jì)八十年代，他和神經(jīng)科學(xué)家Terry Sejnowski的共同研究成果——來完成這一任務(wù)。當(dāng)圖片或者聲音輸入深度神經(jīng)網(wǎng)絡(luò)最底層后,，數(shù)據(jù)就引發(fā)一連串放電活動,。一個虛擬神經(jīng)元發(fā)電能引發(fā)相鄰一層與之相連的神經(jīng)元根據(jù)彼此連接的強度進行放電。這種聯(lián)系最初被分配到一個隨機優(yōu)勢分布,，但是,，當(dāng)兩個神經(jīng)元一起放電并對數(shù)據(jù)做出響應(yīng)，Hinton和Sejnowski的算法就會決定他們的這種聯(lián)系將得到加強,，增加了該聯(lián)系繼續(xù)成功傳送信號的可能,。相反,，幾乎很少用到的聯(lián)系就會被削弱,，這和赫布假設(shè)當(dāng)中的學(xué)習(xí)理論有一定的聯(lián)系。當(dāng)需要處理更多的圖片或語音時,，數(shù)據(jù)模式就會漸漸在網(wǎng)絡(luò)中留下痕跡,，就像支流慢慢向上穿層而過。理論上,，這些支流將匯聚到頂層一小撮神經(jīng)元中,，代表著聲音或物體的類別。 圖片源自 Josh Morgan（R.O.Wang實驗室）,，提供給《自然》雜志,。 《Evidence That Machines Learn Like Us》一文指出，深度神經(jīng)網(wǎng)絡(luò)可以運用與人類大腦相同的算法識別數(shù)據(jù)模式,。如上圖所示,， 視網(wǎng)膜圖突出了它的分層結(jié)構(gòu)。 問題是處于底層的大量數(shù)據(jù)需要經(jīng)過層層處理才到達神經(jīng)網(wǎng)絡(luò)的最頂層進入分類,。算法效率不夠,。 2005年，Hinton率領(lǐng)團隊設(shè)計了新的訓(xùn)練系統(tǒng),，這套系統(tǒng)靈感源于上世紀(jì)六十年代他在劍橋?qū)W習(xí)時了解到的大腦開發(fā)內(nèi)容,。生物學(xué)家Colin Blakemore在解剖貓大腦時發(fā)現(xiàn)了視覺皮層的發(fā)展階段，從視網(wǎng)膜開始,，每層的連接會進行相應(yīng)的調(diào)整,，從而對收到的感官信號做出回應(yīng)。 為了復(fù)制視覺皮層遞進式的發(fā)育方式,，Hinton在每層神經(jīng)網(wǎng)絡(luò)運行學(xué)習(xí)算法,，在輸出結(jié)果之前對每層網(wǎng)絡(luò)的連接進行訓(xùn)練——更大規(guī)模地呈現(xiàn)原始數(shù)據(jù)——對每層的數(shù)據(jù)輸入進行處理，然后對整個網(wǎng)絡(luò)進行微調(diào),。學(xué)習(xí)過程中效率顯著提高,。很快，深度學(xué)習(xí)打破了圖像和語言識別準(zhǔn)確度的記錄。整個研究項目迅速在谷歌,，臉書和微軟得到推廣使用,。
Naftali Tishby是耶路撒冷希伯萊大學(xué)一名計算機學(xué)和計算機神經(jīng)學(xué)科學(xué)家，他說「在Hinton及其同僚的努力下,，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成為目前最好的數(shù)據(jù)分類系統(tǒng),。」「然而,，機器學(xué)習(xí)領(lǐng)域的理論家對此十分沮喪,，他們還沒想通到底為什么神經(jīng)網(wǎng)絡(luò)能如此成功?！?/span> 深度學(xué)習(xí)的工作方式很大程度上是模仿大腦進行的,。然而卻無法完美地復(fù)制；人類大腦皮層的結(jié)構(gòu)要比人工的結(jié)構(gòu)復(fù)雜的多,，其內(nèi)部的網(wǎng)絡(luò)算法尚未知,，但在Hinton的成功推動下，深度學(xué)習(xí)近年來有了不同領(lǐng)域的分支,，在生物領(lǐng)域也已經(jīng)執(zhí)行了很多難以置信的學(xué)習(xí)任務(wù),。而Hinton本人，目前同時在多倫多大學(xué)和谷歌公司任職,，認為就機器學(xué)習(xí)和生物學(xué)習(xí)來講,，最關(guān)鍵的一個原則是：「你需要先從簡單的功能學(xué)起，根據(jù)所學(xué)再去研究更復(fù)雜的功能,，這是一個循序漸進的過程,。」 桌子里的夸克 2010年,，當(dāng)時還是普林斯頓大學(xué)生物物理專業(yè)博士后的Schwab搭乘火車前往紐約,，旁聽Hinton有關(guān)深度學(xué)習(xí)的課程。Hinton提出的那套逐層訓(xùn)練步驟讓他驟然想到早已在物理領(lǐng)域運用普遍的技術(shù),。Schwab覺得「這種逐層訓(xùn)練的方法似乎將物理學(xué)的某些本質(zhì)現(xiàn)象具體化了,。」 當(dāng)Schwab回到普林斯頓,，便給Mehta打了電話,，詢問他是否認為深度學(xué)習(xí)聽上去和重整化有很多相似之處。他倆早已熟識并自數(shù)年前暑期研究項目會議之時就開始合作研究,，時?；Q「瘋狂的想法」。Mehta倒不認為這個想法有多么不合邏輯,，兩人約定一起驗證他們的直覺是否正確,?！肝覀兘?jīng)常深更半夜打電話，并且保持聯(lián)系,，對我們而言有點著迷了,。」Mehta說到,。 重整化是一套從微觀層面到宏觀層面,，將影響到大尺度行為的因素與其他因子平均化的系統(tǒng)方法。于物理學(xué)家而言,，足夠幸運的是微觀細節(jié)并不重要,，描述一張桌子根本不需要知道它的亞原子夸克是如何相互作用的。不過整個過程中同樣需要通過一套復(fù)雜的方法來在巨量的高維空間中迭代尋找最優(yōu)系統(tǒng)的參數(shù)解（也是一個擬合的過程）,，在這一過程中強化了與之真正有關(guān)聯(lián)的細節(jié)同時淡化無關(guān)的因素,。 Mehta和Schwab的研究突破來自一次蒙特利爾爵士音樂節(jié)上的酒會，當(dāng)時他們決定專注一個可變的或「聚合體-自旋」式的重整化步驟,，即遞歸合并系統(tǒng)的要素成更大的聚合體并同時均分化體塊內(nèi)的要素,。該方法于1966年由統(tǒng)計物理學(xué)家Leo Kadanoff發(fā)明,。該方法對那些形似的物體很管用,，因為這些物體在任何尺度上看起來都很相似；Kadanoff的一個經(jīng)典例子就是二維伊辛模型（Ising model)—由自旋粒子或微小的指向可上可下的磁體組成的晶體,。他證明通過放大晶體尺度,，粒子的物理描述能夠很容易轉(zhuǎn)化成對粒子聚合體的物理描述。 帶著找到深度學(xué)習(xí)里層級化數(shù)據(jù)表現(xiàn)途徑的期望,，Schwab和Mehta在Kadanoff的經(jīng)典論文和兩篇2006年由Hinton和同事撰寫的文章之間來回尋找線索,，后者詳細闡述了第一個深度學(xué)習(xí)的協(xié)議。最終,，他們搞懂了如何從一個步驟通過數(shù)學(xué)方法映射到另一個步驟,，并證明這兩種概述世界特征的機制是等價的。 1966年由Leo Kadanoff發(fā)明的在不同分辨率尺度下描述自旋物晶體的方法和現(xiàn)代深度學(xué)習(xí)協(xié)議是對等的,。 為了描述這種對等,，Schwab和Mehta用20000個伊辛模型晶體例子來訓(xùn)練4層神經(jīng)網(wǎng)絡(luò)。利用Kadanoff方法總結(jié)海量數(shù)據(jù),，神經(jīng)元逐層即刻模仿呈現(xiàn)體塊越來越大的自旋物聚合體,。「神經(jīng)網(wǎng)絡(luò)能夠從那些應(yīng)該聚合-重整（block-renormalize）的樣本中學(xué)習(xí),」Mehta說到,?！高@對我們來說很棒，因為你不必人工輸入了,，相反,，系統(tǒng)在主動學(xué)習(xí),。」 當(dāng)面向一張貓的圖片而非形似的磁體晶體,，一個深度神經(jīng)網(wǎng)絡(luò)或許會采用其他更靈活的重整化方法來學(xué)習(xí),，但是研究人員推測，系統(tǒng)也會采用剔除無關(guān)因素,，聚合數(shù)據(jù)中與貓有聯(lián)系的相關(guān)因子的方式來從像素尺度的神經(jīng)層進階到寵物尺度的層級,。 概述世界 研究人員希望，深度學(xué)習(xí)與統(tǒng)計物理學(xué)的交叉能給兩者都帶來好處,，Schwab說,，「但要預(yù)計殺手級軟件會給任何一方帶來什么影響，還為時過早,?！?/span> 由于深度學(xué)習(xí)能讓自身適應(yīng)手中的數(shù)據(jù)，研究者希望,，對于傳統(tǒng)的重整化方案無法處理的過于凌亂的系統(tǒng),，比如細胞的集結(jié)體或復(fù)雜的蛋白質(zhì)，深度學(xué)習(xí)能管用,。對于這種缺乏對稱性,、且不具有分形特性的系統(tǒng)，「沒有任何一種統(tǒng)計物理學(xué)中的機械步驟管用,，」Nemenman說, 「但我們還是知道,，一定能得到一個粗粒化的描述,，因為我們的大腦能在客觀世界中運作,。如果真實的世界是不可概述的，那么,，我們的大腦也不會像現(xiàn)在這樣理解它,。」 通過深度學(xué)習(xí),，有希望能夠更理論性的理解人類的認知,。賓夕法尼亞大學(xué)的一位物理學(xué)家和神經(jīng)科學(xué)家，Vijay Balasubramanian聲稱,，他和他的同事們,，一群同樣跨越兩個學(xué)科的研究人員，從很久以前就注意到了重整化與人類感知之間概念上的相似性,。Balasubramanian說,，「Pankaj和David論文中的進展，也許能給我們一個工具,，讓這個類比更精確,?！?/span> 例如，研究成果似乎支持著新出現(xiàn)的假設(shè)：大腦中的一部分在一個「臨界點」運作,，在這個臨界點上,，每個神經(jīng)元都能影響整個神經(jīng)網(wǎng)絡(luò)。索爾克生物研究所（加利福尼亞州,，拉荷亞）的教授Sejnowski解釋說,，在物理學(xué)中，重整化計算是在物理體系的臨界點上進行的,?！杆运ㄖ卣┡c大腦相關(guān)的唯一可能性，在于它是否位于臨界點,?！?/span>（點評-熒幕上的極客：關(guān)于自組織臨界點：比如堆沙子，堆到一定高度,，再放上一粒沙子,，就會使得整個圓錐的沙堆系統(tǒng)崩塌，最后這粒沙子影響了整個系統(tǒng),。關(guān)于重整化：還是堆沙子,，但是重整化的過程有些像把細沙換成粗砂，同時要保證粗砂的臨界點變化（也就是崩塌）和細沙過程一致,，之后再多次重整化,，把粗砂換成小石子，只要能保證臨界點變化在可用精度范圍內(nèi)便算成功的重整化,。物理學(xué)上類似方法舉例來說，假如有一億個粒子的流體需要模擬,，那么為了減少計算開支,，可用將其合并為1000萬個，合理可接受的情況下再合并為100萬個,，以此類推,，在過程中保持系統(tǒng)的等價性。有關(guān)大腦臨界點的科普文章：《Disorderly genius: How chaos drives the brain》） 新的工作可能會帶來更進一步的消息,。Tishby認為,，這暗示了重整化、深度學(xué)習(xí)和生物學(xué)習(xí)都符合同一個信息學(xué)理論,。所有的技術(shù)都致力于簡化繁瑣的數(shù)據(jù),。他們一步步的把信息壓縮至本質(zhì)，在最后的版本中,，每一個字節(jié)都不與其他任何字節(jié)相關(guān),。比如,，貓用多種方式顯示它們的存在，但是深層神經(jīng)網(wǎng)絡(luò)整合不同類型的聯(lián)系,，并把它們壓縮進單個的神經(jīng)元,。「網(wǎng)絡(luò)的功能就是壓縮信息,，」Tishby說,，「這是個瓶頸?！?/span> 他指出,，通過公開將信息壓縮至最小版本的數(shù)學(xué)方法，「這篇論文或?qū)⒅敢覀儷@得激動人心的成果,?！?/span> 本文由機器之心原創(chuàng)編譯，轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán),。 ------------------------------------------------  機器之心是Comet Labs旗下的前沿科技媒體,。Comet Labs是由聯(lián)想之星發(fā)起、獨立運作的全球人工智能和智能機器加速投資平臺,，攜手全球領(lǐng)先的產(chǎn)業(yè)公司和投資機構(gòu),，幫助創(chuàng)業(yè)者解決產(chǎn)業(yè)對接、用戶拓展,、全球市場,、技術(shù)整合、資金等關(guān)鍵問題,。旗下業(yè)務(wù)還包括：Comet舊金山加速器,、Comet北京加速器、Comet垂直行業(yè)加速器,。 加入機器之心（全職記者/實習(xí)生）：[email protected] 投稿或?qū)で髨蟮溃篹[email protected] 廣告&商務(wù)合作：[email protected] |
|
|
