久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

曾被認(rèn)為不存在的「算珠」,正在重新發(fā)明神經(jīng)網(wǎng)絡(luò)

 好一個圖書館,! 2017-08-17

編者按:本文來自微信公眾號“機器之能”(ID:almosthuman2017),,作者 | Liesbeth Venema,編譯 | 張震,、chenxiaoqing,,來源 | 新科學(xué)家;36氪經(jīng)授權(quán)發(fā)布,。

大數(shù)據(jù)讓傳統(tǒng)計算機架構(gòu)捉襟見肘,,真實憶阻器的發(fā)現(xiàn)改變了這一局面。其元件特性適合模擬神經(jīng)元突觸的部分運作,,使得電腦神經(jīng)網(wǎng)絡(luò)制作上更能接近人腦,。目前,一些科技巨頭,、創(chuàng)業(yè)和研究機構(gòu)已在探索利用憶阻器強化計算機學(xué)習(xí)能力甚至取代普通晶體管計算機的路徑,。

我們可以談?wù)撊斯ぶ悄苷莆找恍┤祟惐绢I(lǐng),比如開車或者玩撲克,。但是,,當(dāng)需要讓海量、無序信息變得有意義時,,人類還無法打造一個哪怕是接近大腦的 AI,。部分原因在于大腦未解之謎,以及已有半世紀(jì)歷史的計算機架構(gòu),,制約了這一目標(biāo)的實現(xiàn),。

如今,一種新的計算范式為突破瓶頸帶來曙光,。這種激進(jìn)方案使用了一種同時存儲,、處理信息的硬件,與大腦神經(jīng)元網(wǎng)絡(luò)的差別不是很大,。充分發(fā)揮這一新范式的潛力,,我們就能創(chuàng)造出可以實時分析數(shù)據(jù)流、識別模式,,或許還能獨立自學(xué)的機器心智(mind),。

大數(shù)據(jù)時代,馮·諾依曼架構(gòu)捉襟見肘

筆記本,,智能手機,,平板電腦,只要你說上來的,,幾乎都遵循著馮·諾依曼結(jié)構(gòu),。70 多年前,,他主張計算機處理器與存儲單元應(yīng)該彼此獨立。聽起來不像是什么偉大的提議,,但這意味著每運行一個新程序,,沒必要再重新連接計算機。這種勞動分工的設(shè)計很湊效,,人類制造出更快的計算機,,辦法就是串聯(lián)處理器與內(nèi)存。

但是,,這一架構(gòu)也有短處,。

處理器需要數(shù)據(jù)信息,必須先從存儲單元讀取,。這就要求電子在兩個元件之間穿梭,,因此,處理器經(jīng)常覺得很無聊,,因為要等數(shù)據(jù),。你的筆記本為什么會有「多核」,這就是其中一個原因,;多個處理器單元——每一個都與內(nèi)存連接——意味著,,它們可以同時請求數(shù)據(jù),從整體上加快計算,。

如今,,這一局限性真的開始妨礙到人類進(jìn)步。

數(shù)據(jù)比以往任何時候都要多,,特別是「大數(shù)據(jù)」革命正在臨近,。我們已經(jīng)可以瞥見未來的樣子:預(yù)測心臟病,數(shù)據(jù)預(yù)測分析比傳統(tǒng)醫(yī)學(xué)方法更快,、更準(zhǔn),。英國諾丁漢大學(xué)研究人員設(shè)計了一種算法,可以處理近 400,000 病人的電子病歷,,多么龐大的數(shù)據(jù)分析任務(wù),。隨著物聯(lián)網(wǎng)范圍延伸到我們身邊的日常事物,從交通燈到冰箱,,機器會為我們提供更多的生活洞見,。

應(yīng)用得當(dāng),前景無限,。然而,,如此龐大的數(shù)據(jù)量已經(jīng)讓計算機過熱。美國能源部的一份報告顯示,,世界 5% 到 15% 的能源都被用于計算,,許多浪費在了數(shù)據(jù)的傳輸中,。這正是我們需要突破馮·諾依曼瓶頸的原因。

人們?yōu)榇诉M(jìn)行了許多嘗試,。上世紀(jì) 80 年代,科學(xué)家開始考慮利用光子而不是電子來編譯信息,。因為光子在光纖中的傳播速度更快,,所需傳播時間更少。其他人想要堅持使用電子,,不過希望將電子編碼進(jìn)量子力學(xué)特性(自旋)中,,讓電子攜帶更多信息。但是,,到目前為止,,這些辦法都沒有很大進(jìn)展,主要原因在于實施起來很復(fù)雜,,以至于投入產(chǎn)出不成比例,。

總而言之,多年來,,這個問題一直挑戰(zhàn)著人類智慧,,之所以很諷刺,是因為大腦本身就是一臺超級計算機,,但所需能耗與一只 20 瓦的電燈泡差不多,。它們不會存在類似馮·諾依曼結(jié)構(gòu)的瓶頸,因為同一個神經(jīng)網(wǎng)絡(luò)既可以存儲信息還可以處理信息,。

大腦三大關(guān)鍵特征與傳統(tǒng)模擬方法的弊病

那么,,如何模擬人類神經(jīng)網(wǎng)絡(luò)呢?這也是麻煩所在,。我們不可能完全知曉大腦如何工作,,不過,至少要模擬大腦的三個關(guān)鍵特征,。

首先,,大腦由大量的神經(jīng)元以及神經(jīng)元之間的突觸組成。其次,,這些連接具有突觸彈性,,也就是說它們可強可弱。學(xué)習(xí),,其實就是強化某組神經(jīng)元之間連接,。

第三個特征,脈沖時間相關(guān)的突觸可塑性 (spike-time-dependent plasticity),。相對前兩個特征,,這個特征沒有得到很好的理解,。該特征表明,如果兩個神經(jīng)元幾乎同時放電,,那么,,神經(jīng)元就會被加強;如果放電不同步,,就會變?nèi)?。?jīng)過這一漫長過程,協(xié)同工作的神經(jīng)元的關(guān)系會得到加強,,以傳遞信息,,不重要的聯(lián)系會被削弱。這就是大腦獨立學(xué)習(xí)的重要手段,。綠燈時,,你會立刻反應(yīng)到「可以走了」,因為經(jīng)過多年訓(xùn)練,,相關(guān)神經(jīng)元之間的聯(lián)系得到了強化,。

事實上,長期以來,,我們一直在試圖模仿大腦計算方式,。這個研究領(lǐng)域被稱之為神經(jīng)形態(tài)計算,,如今已取得一些進(jìn)步,。

最早突破之一,來自研究人員 Frank Rosenblatt,。1958 年,,他將研究成果 Mark 1 感知機公布于眾。Rosenblatt 對著機器的攝像頭展示了圓圈或三角型卡片,,讓機器進(jìn)行識別,,他來修正錯誤。50 次嘗試之內(nèi),,機器已經(jīng)學(xué)會輸入代表圓圈或者三角的信號,。

不過,當(dāng)時的電子工程技術(shù)限制了感知機的發(fā)展,。但是,,情況已今非昔比。谷歌的 DeepMind 神經(jīng)網(wǎng)絡(luò)的成績令人驚呼,,比如去年 AlphaGo 戰(zhàn)勝頂尖人類圍棋手,。

TMark 1 感知機

然而,DeepMind 神經(jīng)網(wǎng)絡(luò)完全是軟件層面的模擬,在標(biāo)準(zhǔn)硅電子元件上運行,。所以,,盡管和神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)方式類似,但并未突破馮·諾依曼結(jié)構(gòu)瓶頸,。

2014 年問世的 IBM TrueNorth 芯片走的更遠(yuǎn),。該芯片有 55 億個硅晶體管,按照人腦 100 萬個「神經(jīng)元」的結(jié)構(gòu)進(jìn)行排列,。有了這枚芯片,,手機可以實時識別視頻物體,比如汽車還是自行車,,但是所需電量很少,,僅為手機睡眠模式所需量,。聽起來很贊,,但是,如果將規(guī)模擴展到大腦神經(jīng)元級別,,其能耗將是人腦能耗的 1 萬倍?!高@個辦法實際上是一種浪費,?!谷鹗刻K黎世大學(xué)神經(jīng)形態(tài)工程師 Giacomo Indiveri 說,。

簡言之,,盡管想方設(shè)法模仿大腦某些特征,,但是,,我們從來未曾實現(xiàn)將這三大特征集中在一個物理系統(tǒng)上。比如,,TrueNorth 芯片擁有許多高度連接的「神經(jīng)元」,,但是,如果不借助軟件,,根本無法調(diào)節(jié)連接強度,。

憶阻器,機器獨立學(xué)習(xí)的未來

失敗要歸結(jié)于這樣一個事實:傳統(tǒng)電子產(chǎn)品還沒能力真去模擬神經(jīng)突觸,。但現(xiàn)在,,我們有辦法了,這要感謝半個世紀(jì)前的思想,。

1971 年,,加州大學(xué)伯克利分校的電子工程師 Leon Chua 正在看一道連接基本電路元件的方程式,,這些元件包括電阻、電容和電感。他突然注意到,,可以用另外一種方式安排這些術(shù)語,結(jié)果得到一個關(guān)于第四個元件的方程式,,這第四個元件的抗阻性會根據(jù)電流情況發(fā)生變化,。Chua 將之稱為「憶阻器」,因為它的阻抗性似乎展示出一種記憶能力,。但當(dāng)時并沒有以這種原理工作的材料或者設(shè)備,,人們幾乎忘記了這個發(fā)現(xiàn)。

約十年前,,惠普公司的一個由 Stan Williams 帶領(lǐng)的團隊正在研究一種新型內(nèi)存,,與臺式電腦不同,在關(guān)掉電源后,,新內(nèi)存仍然保留數(shù)據(jù),。研究人員研究著使用了極薄鈦膜的設(shè)備,他們發(fā)現(xiàn)其阻抗性會隨著經(jīng)過電流而發(fā)生奇怪的變化,。最終,,他們意識到薄膜中活動的不僅僅是電子,也有原子,,它們以微妙的方式反轉(zhuǎn)變化了材料結(jié)構(gòu)及其抗阻性,。易言之,這個團隊無意間創(chuàng)造出 Chua 憶阻器,。

Williams 的研究有助于解釋以前為什么從未發(fā)現(xiàn)過憶阻性,;因為只能在微觀尺度上自證存在。如今,,人們相繼發(fā)現(xiàn)一系列可充當(dāng)憶阻器的物質(zhì),,包括一些聚合物。

真實憶阻器的出現(xiàn)鼓舞了研究人員,,原因有幾個,,比如有可能開發(fā)出新的計算方式,其技術(shù)更成熟,、所用語言也比現(xiàn)在的更有效,。

但不久后,有人動真格了,。

緊跟 Williams 的發(fā)現(xiàn),,密歇根大學(xué)的工程師 Wei Lu 邁出關(guān)鍵一步。他向人們展現(xiàn)了這一事實:憶阻器可充當(dāng)具有彈性的突觸。他拿出了一個由幾層薄硅打造的設(shè)備(其中一層帶有少量銀離子),,它可以模擬上述大腦的第二個特征,。后來,Lu 展示憶阻器也可以模擬大腦的第三個特征,;應(yīng)用電脈沖確切時點不同(exact timing of applied electrical spikes),,憶阻器做成的突觸也會有強弱變化。

這項研究表明,,「對于神經(jīng)形態(tài)工程學(xué)來說,,這真是激動人心的時刻,」Indiveri 說,?!改壳皯?yīng)該放棄硅晶體管,」荷蘭格羅寧根大學(xué)物理學(xué)家 Beatriz Noheda 說,,聚焦研發(fā)成熟的,、使用憶阻器的神經(jīng)網(wǎng)絡(luò)。

看起來,,這只是擴展 Lu 研究成果的一個簡單案例,。盡管他的研究只有一個單獨的突觸(帶有一個輸入和輸出神經(jīng)元),,但是,,結(jié)果已經(jīng)表明憶阻器可以實現(xiàn)三大重要大腦功能。接下來的研究會考慮搭建多層憶阻器神經(jīng)元網(wǎng)絡(luò),;每增加一層,,網(wǎng)絡(luò)就能進(jìn)行更加復(fù)雜的「思考」。

沒那么快,,位于加州的 IBM Almaden 研究實驗室的 Geoffrey Burr 說,。他說,Lu 所證實的脈沖時間依存的可塑性,,只是在小規(guī)模上可行,,但是,神經(jīng)科學(xué)家并不確定在人腦大規(guī)模學(xué)習(xí)上表現(xiàn)如何,?!冈谀撤N程度上,肯定會發(fā)生,,」他說,,「但是,我們還搞不清狀況,?!挂簿褪钦f,部署在大型人工神經(jīng)網(wǎng)絡(luò),并不意味著可以帶來近似大腦的計算能力,。

Burr 更喜歡堅持沒有脈沖時間依存的可塑性的網(wǎng)絡(luò),。他使用的一個網(wǎng)絡(luò)類似驅(qū)動 DeepMind 的神經(jīng)網(wǎng)絡(luò),軟件控制著彈性突觸,。但是,,通過在憶阻器上運行這些網(wǎng)絡(luò)(而不是晶體管),他能夠節(jié)省很多能源,。

2014 年,,Burr 搭建了一個這樣的網(wǎng)絡(luò),用了差不多 165000 個突觸,。經(jīng)過手寫書信數(shù)據(jù)集訓(xùn)練后,,該網(wǎng)絡(luò)能夠準(zhǔn)確識別這些手寫書信。Burr 的憶阻器由一種硫系玻璃(a chalcogenide glass)制成,,這種材料能夠在原子有序或無序的兩相之間來回切換,,改變材料導(dǎo)性。這種相變憶阻器正變得越來越可靠,,芯片制造商們,,比如英特爾開始出售使用憶阻器的內(nèi)存設(shè)備。

其他人認(rèn)為,,憶阻器可以幫助實現(xiàn)完全獨立學(xué)習(xí)的機器,。

英國南安普頓大學(xué)納米電子學(xué)研究人員 Themis Prodromakis 就是其中一員。去年,,他搭建了一個神經(jīng)網(wǎng)絡(luò),,有四個輸入,兩個輸出神經(jīng)元,,用憶阻器突觸將它們連接起來,。他可以輸入電子信號,比如「1001」或「0110」,,這與 20 世紀(jì) 50 年代向感知機展示圓圈或三角形類似,。不過,感知機需要人類告訴機器有沒有猜對圖形形狀,,但 Prodromakis 的網(wǎng)絡(luò)完全自學(xué),,看到 1001 就發(fā)送(fire off)一個輸出神經(jīng)元,看到 0110 就發(fā)送另外一個,。即使是帶有噪音的信號輸入,,它也能正常運行。鑒于真實生活數(shù)據(jù)充滿噪音,,這是一個非常重要的優(yōu)勢,。

最后,,我們似乎正利用憶阻器重新創(chuàng)造大腦真實狀態(tài)(比如,當(dāng)你望向窗外時)的精華部分:不存在瓶頸的獨立學(xué)習(xí),。

適當(dāng)加以擴展,,這類自我學(xué)習(xí)系統(tǒng)就能實時篩查數(shù)據(jù),比如,,監(jiān)測自動駕駛汽車行為,、橋梁完整性或者核電站,對龐大數(shù)據(jù)存儲中心(比如,,為社交網(wǎng)絡(luò)存儲數(shù)據(jù)的中心)的需求也會減少,。由于需要冷卻,這些中心有時會建在北極附近,。但是,,如果憶阻器網(wǎng)絡(luò)能夠?qū)崟r解析數(shù)據(jù),那么,,可能就不需要存儲數(shù)據(jù),。

由憶阻器制成的電腦還有一個潛在的優(yōu)勢:因為運行原理類似大腦,因此,,與人類連接或許會更容易些?,F(xiàn)在已有一些使用硅芯片的設(shè)備,它們可以獲取大腦運動進(jìn)而將其轉(zhuǎn)交給現(xiàn)實世界的東西,,比如,,癱瘓人控制體外骨骼,或者在睡夢中控制電腦,。

但是,,挑戰(zhàn)依然不少,。大腦神經(jīng)元行為極為復(fù)雜,,現(xiàn)有的神經(jīng)接口很難處理所有那樣的信息?!敢娮釉幚砣绱素S富,、高寬帶的數(shù)據(jù),會讓它不堪重負(fù),?!筆rodromakis 說道。憶阻器,,是一個完美解決方案,,因為它們只記錄表現(xiàn)脈沖顯著的信號,忽略嘈雜的背景,。這讓 Prodromakis 興奮不已,,最近,,他開始與 Galvani Bioelectronics 合作研發(fā)基于憶阻器的神經(jīng)接口。Galvani Bioelectronics,,一家去年成立的英國公司,,源自 GlaxoSmithKline 和谷歌子公司一個 5.4 億英鎊合作項目。

困擾憶阻器網(wǎng)絡(luò)的最大問題之一,,是能否高效量產(chǎn),。運行良好的工廠可量產(chǎn)硅芯片,但也同樣適用于憶阻器嗎,?

想找到答案,,首先需要挑選最佳制造原料。Noheda 已在 Groningen 建立了一個研究中心從事這方面的研究,。如果她和其他憶阻器先驅(qū)們獲得成功,,那么,未來計算機可能會由那些四十年來,、我們一度認(rèn)為不存在的材料打造而成,。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,,不代表本站觀點,。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,,謹(jǐn)防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報,。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多