|
“宇宙級(jí)”深度神經(jīng)網(wǎng)絡(luò) Dan Page/Quanta Magazine 最近,，一些物理學(xué)家們正忙著用金屬板振動(dòng),、電壓和激光構(gòu)建深度神經(jīng)網(wǎng)絡(luò),。他們相信計(jì)算的未來不在更大,、更快的電腦，而在于對(duì)宇宙復(fù)雜物理行為的挖掘和利用,。 還記得科幻小說《銀河系漫游指南》系列中生命、宇宙及一切的終極答案“42”嗎,？為了解釋這個(gè)讓人摸不著頭腦的答案，宇宙第二強(qiáng)大的超級(jí)計(jì)算機(jī)“深思”(Deep Thought) 設(shè)計(jì)了一臺(tái)宇宙第一強(qiáng)大的電腦,，所有有機(jī)生命都是它運(yùn)行母體的一部分，而它運(yùn)行了1,000萬年,，只為找出生命、宇宙及一切的終極問題,，這臺(tái)電腦就是地球。 宇宙第二強(qiáng)大的超級(jí)計(jì)算機(jī)'深思” The Hitchhiker's Guide to the Galaxy 這種“世界即計(jì)算”的奇思妙想,，可能不只是道格拉斯·亞當(dāng)斯 (Douglas Adams)一時(shí)的靈感迸發(fā),，如今已經(jīng)走進(jìn)了現(xiàn)實(shí)。不過這個(gè)現(xiàn)實(shí),，目前怕是還有點(diǎn)兒“骨感”,。 最“智障”的神經(jīng)網(wǎng)絡(luò) 在一個(gè)隔音的箱子里,，裝著世界上最糟糕的神經(jīng)網(wǎng)絡(luò)之一。在看到一張數(shù)字“6”的手寫圖像后,，它停頓了片刻，然后得出了識(shí)別結(jié)果：0,。康奈爾大學(xué)的物理學(xué)家和工程師，也是該神經(jīng)網(wǎng)絡(luò)開發(fā)的負(fù)責(zé)人Peter McMahon 局促不安地笑了笑,，幾乎是不好意思地辯稱這個(gè)手寫數(shù)字太過潦草了,，而他實(shí)驗(yàn)室的訪問博士后,，來自 NTT Research 的Logan Wright 則拍著胸脯保證，它通常是能夠得出正確答案的,。不過，就連他也承認(rèn),，錯(cuò)誤的出現(xiàn)很常見,，“它就是這么糟糕”。 那它的過人之處究竟在哪里呢,？研究人員把箱子打開，里面露出的不是計(jì)算機(jī)芯片,，卻是一個(gè)麥克風(fēng)對(duì)著一張固定在揚(yáng)聲器上的鈦金屬板。其他的神經(jīng)網(wǎng)絡(luò)都在“0”和“1”的數(shù)字世界中運(yùn)行,，而這個(gè)設(shè)備依賴的是聲音。當(dāng) Wright 給它展示一個(gè)包含數(shù)字的新圖像時(shí),，圖片的像素被轉(zhuǎn)換成音頻從揚(yáng)聲器放出，導(dǎo)致金屬板發(fā)生振動(dòng),，于是實(shí)驗(yàn)室里就充滿了微弱的震顫聲。這個(gè)神經(jīng)網(wǎng)絡(luò)不是什么在硅晶上運(yùn)行的軟件,，而是使用金屬混響來進(jìn)行“閱讀”的，所以它能夠時(shí)不時(shí)地成功完成識(shí)別本身就很不可思議了,，以至于設(shè)計(jì)它的研究人員都不敢相信這是真的,。 鈦金屬板神經(jīng)網(wǎng)絡(luò) Rob Kurcoba/Cornell University “誰能想到呢,，金屬板的振動(dòng)竟然能和一個(gè)手寫數(shù)字的分類識(shí)別扯上關(guān)系?！盡cMahon 如此說道,。 深度學(xué)習(xí)與“宇宙級(jí)”超級(jí)計(jì)算機(jī) 雖說這個(gè)設(shè)備是開創(chuàng)性的，但結(jié)果的差強(qiáng)人意有目共睹,，那科學(xué)家們?yōu)槭裁催€要做這玩意兒呢,？這要從現(xiàn)有的機(jī)器學(xué)習(xí)和數(shù)字深度神經(jīng)網(wǎng)絡(luò)說起,。 神經(jīng)網(wǎng)絡(luò)最早是受到了大腦結(jié)構(gòu)的啟發(fā),，是一種通過不斷練習(xí)來實(shí)現(xiàn)學(xué)習(xí)的計(jì)算機(jī)程序，也是現(xiàn)在最流行的人工學(xué)習(xí)模型,。它可以被看做是一個(gè)網(wǎng)格,，由一層層的、存儲(chǔ)著數(shù)值的“神經(jīng)元”節(jié)點(diǎn)和連接它們的“突觸”權(quán)重組成,，其“思考”的過程就是輸入的信息經(jīng)過值和權(quán)重的相乘,，逐層推進(jìn)，并最終在最后一層得到結(jié)果,；而“學(xué)習(xí)”的過程就需要依靠一種叫做反向傳播算法的東西,，能夠從最后一層的正確答案開始逐層回溯整個(gè)網(wǎng)絡(luò)，并計(jì)算如何調(diào)整突觸權(quán)重才能得到這一正確答案,。這一過程就是深度學(xué)習(xí)的核心,。 深度學(xué)習(xí)入選2013年《麻省理工科技評(píng)論》“全球十大突破性技術(shù)” 深度神經(jīng)網(wǎng)絡(luò)這幾年發(fā)展迅猛，也廣泛應(yīng)用于圖像識(shí)別,、自動(dòng)駕駛,、自然語言識(shí)別等等，而上述的原理決定了它“越大越好”的特性,，算力越強(qiáng),，人工神經(jīng)元越多，層數(shù)越“深”,，則其得到的結(jié)果就越準(zhǔn)確,，功能就越強(qiáng)大。不過,，跟它的“老祖宗”大腦相比,，人工神經(jīng)網(wǎng)絡(luò)數(shù)字化版本的學(xué)習(xí)效率可太低了,。每天攝入不到2,000卡路里的熱量，人類兒童在幾年內(nèi)就能學(xué)會(huì)說話,、閱讀、玩游戲等等，而在如此有限的能量供給下,，即便是突破性的,、能夠?qū)崿F(xiàn)流利交談的神經(jīng)網(wǎng)絡(luò) GPT-3，也需要一千年才剛能學(xué)會(huì)聊天,。 對(duì) McMahon 這樣的物理學(xué)家來說,，大型數(shù)字深度神經(jīng)網(wǎng)絡(luò)的問題就在于太執(zhí)著于數(shù)學(xué)運(yùn)算了。當(dāng)今最大的龐然大物需要記錄和操縱超過五千億個(gè)數(shù)字,，這聽起來已經(jīng)很了不起了吧,？然而，僅僅一個(gè)房間里可能就有數(shù)萬億個(gè)空氣分子在四處彈跳,，要讓計(jì)算機(jī)去無損模擬它們的碰撞是絕對(duì)不可能的,，但空氣本身可以毫不費(fèi)力地決定它的實(shí)時(shí)表現(xiàn)?？梢哉f,，相較于宇宙時(shí)時(shí)刻刻都在完成的任務(wù)，計(jì)算機(jī)微不足道的簿記能力原始得仿佛一個(gè)算盤,。 于是,，他們決定另辟蹊徑，用一種非正統(tǒng)的方法,，讓宇宙替我們處理計(jì)算的問題,。“很多物理系統(tǒng)在進(jìn)行某些計(jì)算時(shí)天然比計(jì)算機(jī)更快,、更有效”,，McMahon 說道,。什么意思呢？打個(gè)比方,，工程師設(shè)計(jì)了一架飛機(jī)需要測試方案，“正統(tǒng)”的做法可能是將飛機(jī)的圖紙數(shù)字化建模,，然后丟到超級(jí)計(jì)算機(jī)中花好幾個(gè)小時(shí)去模擬空氣在機(jī)翼周圍的流動(dòng)；而如果用所謂的物理系統(tǒng),，就是把飛機(jī)直接放到一個(gè)風(fēng)洞里,，看它是否飛得起來。從計(jì)算的角度來看,，風(fēng)洞能夠即時(shí)“計(jì)算”機(jī)翼與空氣的相互作用,。 Peter McMahon 和 Tatsuhiro Onodera 在實(shí)驗(yàn)室 @Dave Burbank/Cornell University 與只支持空氣動(dòng)力學(xué)的風(fēng)洞不同,，這里的挑戰(zhàn)在于構(gòu)建一種物理的系統(tǒng)，并確保該系統(tǒng)可以自然而然地實(shí)現(xiàn)人工智能所必需的兩個(gè)過程——比如對(duì)圖像進(jìn)行分類的“思考”過程,，以及正確分類這些圖像所需的“學(xué)習(xí)”過程。同時(shí)掌握這兩項(xiàng)任務(wù)的物理系統(tǒng)就可以充分利用宇宙的數(shù)學(xué)運(yùn)算能力,，而無需實(shí)際進(jìn)行數(shù)學(xué)運(yùn)算。于是,，也就有了上面的鈦金屬板神經(jīng)網(wǎng)絡(luò)。 “我們不僅僅是在重塑硬件”,，瑞士蘇黎世聯(lián)邦理工學(xué)院的數(shù)學(xué)家 Benjamin Scellier 說，“更是在重塑整個(gè)計(jì)算的范式,。” 萬物皆“思考” 2017年,，數(shù)個(gè)研究團(tuán)隊(duì)提出，深度神經(jīng)網(wǎng)絡(luò)的行為近似于一個(gè)平滑的數(shù)學(xué)函數(shù),，而深度越大的神經(jīng)網(wǎng)絡(luò)效果越好的原因在于其對(duì)應(yīng)的函數(shù)鋸齒更小，更接近理想曲線,。不過，既然是“0”和“1”的數(shù)字化方法,，那鋸齒就是與生俱來的,，于是 McMahon 就開始思考另一種可能性，如果使用一個(gè)平滑變化的物理系統(tǒng)來代替數(shù)字神經(jīng)網(wǎng)絡(luò),，那是不是可以規(guī)避掉這種固有的鋸齒呢？ 這里的訣竅是找到一種方法來馴化一個(gè)復(fù)雜的系統(tǒng),，也即通過訓(xùn)練來調(diào)整它的行為,。McMahon 和他的同事們選擇了鈦金屬板，原因在于它的多種振動(dòng)模式會(huì)以卷積的方式混合輸入的聲音,。為了讓鈦金屬板像神經(jīng)網(wǎng)絡(luò)一樣工作,，他們輸入了一種編碼了圖像（比如手寫的數(shù)字“6”）的聲音,，以及另一種代表突觸權(quán)重的聲音；聲波的峰和谷需要精準(zhǔn)地在恰當(dāng)?shù)臅r(shí)刻撞上鈦金屬板,，以便這一設(shè)備將聲音混合并給出答案,，比方說得到的新聲音在第六毫秒時(shí)音量達(dá)到最大，就代表著“6”這一結(jié)果,。 鈦金屬板“閱讀”的原理 Merrill Sherman/Quanta Magazine 該團(tuán)隊(duì)也在一個(gè)光學(xué)系統(tǒng)中實(shí)施了他們的方案,，其中輸入圖像和權(quán)重被編碼成兩道光束，并由一塊水晶混合到一起,，此外他們還嘗試了一個(gè)具備類似的輸入信息混合功能的電子電路,。原則上，任何具有拜占庭行為的系統(tǒng)都可以實(shí)現(xiàn)這一點(diǎn),，盡管研究人員認(rèn)為光學(xué)系統(tǒng)的前景最為光明,，原因不僅僅在于水晶融合光線的速度極快，更重要的是光可以容納大量的數(shù)據(jù),。 水晶 激光神經(jīng)網(wǎng)絡(luò) Rob Kurcoba/Cornell University 通過訓(xùn)練，鈦金屬板學(xué)會(huì)了分類識(shí)別手寫數(shù)字,，準(zhǔn)確率為87%，而電路和激光系統(tǒng)則分別達(dá)到了93%和97%的準(zhǔn)確率,。這一結(jié)果表明,，“不是只有常規(guī)的神經(jīng)網(wǎng)絡(luò)才可以通過反向傳播進(jìn)行訓(xùn)練”,，法國國家科學(xué)研究中心 (CNRS) 的物理學(xué)家 Julie Grollier 感嘆道,，“這太美妙了?！?/div> 電子電路神經(jīng)網(wǎng)絡(luò) Charlie Wood/Quanta Magazine 康奈爾大學(xué)的團(tuán)隊(duì)在一月份在《自然》雜志上發(fā)表的論文中提到了這臺(tái)設(shè)備非常原始的閱讀能力,，這也給了 McMahon 以及其他研究者以希望，相信它在（遙遠(yuǎn)的）未來的迭代版本能夠給計(jì)算帶來根本上的變革,。畢竟,，這一設(shè)備效率雖低，卻破天荒地證明了思考這個(gè)過程并不一定需要大腦或是計(jì)算機(jī)芯片來完成,，“任何物理系統(tǒng)都可以是一個(gè)神經(jīng)網(wǎng)絡(luò)”,，McMahon 不無自豪地說道。 McMahon 團(tuán)隊(duì)關(guān)于物理系統(tǒng)深度神經(jīng)網(wǎng)絡(luò)的論文 Nature 然而,，這些系統(tǒng)共同的致命弱點(diǎn)是訓(xùn)練它們需要回到數(shù)字領(lǐng)域,。反向傳播算法涉及反向運(yùn)行神經(jīng)網(wǎng)絡(luò)，但金屬板和水晶顯然不可能把聲音和光再拆分回去,。因此,，研究團(tuán)隊(duì)還是為每個(gè)物理系統(tǒng)構(gòu)建了數(shù)字模型,，通過在電腦使用反向傳播算法來計(jì)算如何調(diào)整權(quán)重，從而讓這些物理神經(jīng)網(wǎng)絡(luò)“學(xué)習(xí)”給出更準(zhǔn)確的答案,。 “硬核學(xué)習(xí)” 德國馬克斯·普朗克光科學(xué)研究所的物理學(xué)家 Florian Marquardt 對(duì)此并不滿意,。他提出，其中一種解決辦法就是造一臺(tái)反向運(yùn)行的機(jī)器,，于是在去年與人合作一同提出了一種反向傳播算法的物理模擬,，可以在這樣的系統(tǒng)上運(yùn)行。 Florian Marquardt Florian Marquardt 為了展示它的工作原理,，他們用數(shù)字模擬了一個(gè)類似 McMahon 的激光裝置，同樣將編碼了可調(diào)節(jié)權(quán)重的光波和另一個(gè)編碼了圖像的輸入光波混合到一起,。他們使用別的光學(xué)器件來分解混合波,，從而逆轉(zhuǎn)這一過程,，并不斷調(diào)整輸出值使其越來越接近正確答案,。“神奇的是”,，Marquardt 說，“當(dāng)你再次嘗試相同的輸入值時(shí),，（輸出值）就會(huì)傾向于更接近你想要的,。” 接下來,，他們將和實(shí)驗(yàn)科學(xué)家合作去建立這樣一個(gè)系統(tǒng),。 “大腦可不是這么工作的,！” 不過，大腦學(xué)習(xí)的過程并不依賴于所謂的反向傳播,，而是單向的,。一些科學(xué)家就對(duì)這種“不自然”的做法不以為然，決定完全摒棄反向傳播這個(gè)思路,。 2017 年,，瑞士蘇黎世聯(lián)邦理工學(xué)院的數(shù)學(xué)家 Benjamin Scellier 和蒙特利爾大學(xué)的計(jì)算機(jī)科學(xué)家 Yoshua Bengio 開發(fā)了一種被稱為平衡傳播算法的單向?qū)W習(xí)方法。要理解它的工作原理,，可以想象一個(gè)由箭頭組成的網(wǎng)絡(luò),，每一個(gè)箭頭都和神經(jīng)元一樣，其指向則代表著“0”或“1”,，由充當(dāng)突觸權(quán)重的彈簧連接在一起形成網(wǎng)格,。彈簧越松,，相互連接的箭頭就越不容易對(duì)齊。  平衡傳播算法的發(fā)表 frontiers 首先,，你可以通過扭轉(zhuǎn)最左邊一排中的箭頭以反映輸入的手寫數(shù)字圖片的像素,，然后將它們固定在這個(gè)位置，等待這一擾動(dòng)在彈簧網(wǎng)格上“呈漣漪狀”擴(kuò)散,，從而翻轉(zhuǎn)其他箭頭,。網(wǎng)格靜止后，最右邊一排的箭頭就會(huì)給出答案,。 最重要的是,，這個(gè)系統(tǒng)不需要通過逆轉(zhuǎn)這個(gè)過程來訓(xùn)練。這里需要做的是,，將另一組顯示正確答案的箭頭與它的底部連接起來,，下面的箭頭就會(huì)翻轉(zhuǎn)上面那組箭頭，使得整個(gè)網(wǎng)格達(dá)到一個(gè)新的平衡,；最后對(duì)箭頭的新方向與舊方向進(jìn)行比較,，并據(jù)此對(duì)每個(gè)彈簧做調(diào)整，進(jìn)行相應(yīng)的拉緊或放松,。經(jīng)過大量試錯(cuò),，彈簧網(wǎng)格中的張力變得更加“智能”，Scellier 和 Bengio 也已證明它的作用就相當(dāng)于反向傳播算法,。 “人們一直堅(jiān)信物理神經(jīng)網(wǎng)絡(luò)和反向傳播之間不可能存在聯(lián)系”,，Julie Grollier 評(píng)價(jià)道，“最近這一情況發(fā)生了變化,，這非常振奮人心,。” Julie Grollier Christophe Caudroy 閉環(huán) 不過,，雖然這樣的物理系統(tǒng)天然可以計(jì)算出應(yīng)該如何調(diào)整這些“彈簧”,，卻始終無法實(shí)現(xiàn)對(duì)突觸權(quán)重的自動(dòng)更新，換言之,，它無法完成“自主學(xué)習(xí)”,。所幸，有個(gè)團(tuán)隊(duì)湊齊了“拼圖”的所有部分,。 賓夕法尼亞大學(xué)的物理學(xué)家 Sam Dillavou 的團(tuán)隊(duì)同樣從大腦汲取了靈感,。作為一種真正的“智慧”物質(zhì)，大腦是一個(gè)相對(duì)統(tǒng)一的系統(tǒng),，可以在沒有任何單一結(jié)構(gòu)“獨(dú)裁”的情況下進(jìn)行學(xué)習(xí),，“每個(gè)神經(jīng)元都各行其是”，也就是所謂的去中心化,。他們構(gòu)建了一個(gè)電子電路,，可以用物理完成所有的關(guān)鍵步驟,，包括“思考”、“學(xué)習(xí)”和更新權(quán)重,，“我們已經(jīng)在一個(gè)小型系統(tǒng)中實(shí)現(xiàn)了閉環(huán)”,，Dillavou 說道。 Sam Dillavou 在擺弄他的“自學(xué)習(xí)”電路 Jacob F. Wycoff 在這個(gè)“自學(xué)習(xí)”電路中,，可變電阻器充當(dāng)突觸權(quán)重,，神經(jīng)元?jiǎng)t是電阻之間測量到的電壓。為了對(duì)給定的輸入值進(jìn)行分類,，它會(huì)先將數(shù)據(jù)轉(zhuǎn)換為施加到幾個(gè)節(jié)點(diǎn)的電壓,，然后電流流過電路，在穩(wěn)定下來的過程中自動(dòng)尋找耗散能量最少的路徑并改變各節(jié)點(diǎn)處的電壓,。最終指定輸出節(jié)點(diǎn)的電壓就是電路得出的答案,。 他們最重要的創(chuàng)新就在挑戰(zhàn)重重的“學(xué)習(xí)”這一步。為此他們?cè)O(shè)計(jì)了一種類似于平衡傳播的方案,，并稱其為耦合學(xué)習(xí)。當(dāng)一個(gè)電路接收數(shù)據(jù)并“思考”得出一個(gè)猜測時(shí),，另一個(gè)完全相同的電路則直接從正確答案開始,，并將其納入它的行為當(dāng)中。最后,，連接每對(duì)電阻的電子設(shè)備會(huì)自動(dòng)比較它們的值,，對(duì)它們進(jìn)行調(diào)整，從而達(dá)到一個(gè)“更智能”的配置,。 該團(tuán)隊(duì)在去年夏天的一篇預(yù)印本中描述了這個(gè)非常原始的電路,，宣稱它學(xué)會(huì)了辨別三種花，準(zhǔn)確率達(dá)到95%,。如今,，他們?cè)陂_發(fā)一種速度更快、功能更強(qiáng)大的裝置,。 “自學(xué)習(xí)”電路的預(yù)印本 Cornell University 聽起來像個(gè)冷笑話,？ 誠然，即便經(jīng)過好幾輪升級(jí),，這樣的系統(tǒng)也不可能擊敗當(dāng)今最先進(jìn)的硅晶芯片,。不過，搭建這些系統(tǒng)的物理學(xué)家們相信,，雖然數(shù)字神經(jīng)網(wǎng)絡(luò)在今天看來無比強(qiáng)大,，但最終會(huì)在它們的（物理）模擬表親面前顯得遲緩而先天不足。數(shù)字神經(jīng)網(wǎng)絡(luò)的擴(kuò)展始終有限,，最后總會(huì)因?yàn)橛?jì)算量過大而難有寸進(jìn),，而相比而言更大的物理神經(jīng)網(wǎng)絡(luò)則什么都不用做,，只需要存在就可以了。 畢竟,， 最強(qiáng)大的武器,，是宇宙規(guī)律。 ——《三體》,，劉慈欣 《三體》 圖源網(wǎng)絡(luò) 參考資料： 1.https://www./how-to-make-the-universe-think-for-us-20220531/ 2.https://www./articles/10.3389/fncom.2017.00024/full 3.https://mpl./divisions/marquardt-division/ 5.https://www.aep./aep/faculty-directory 6.https:///abs/2108.00275 7.https:///abs/2103.04992 -End-
|
|
|
