久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

深度 | 深度學(xué)習(xí) VS 仿腦計(jì)算

 長(zhǎng)沙7喜 2016-01-10


作者:曹立宏(中國(guó)傳媒大學(xué)腦科學(xué)與智能媒體研究院院長(zhǎng))

機(jī)器之心授權(quán)轉(zhuǎn)載

人工智能是一門既古老又嶄新的學(xué)科。早期的人工智能為早期的工業(yè)和互聯(lián)網(wǎng)發(fā)展做出了巨大的貢獻(xiàn),。但是,,早期人工智能技術(shù)對(duì)大腦的認(rèn)識(shí)尚很膚淺;近年來,,伴隨腦科學(xué)的發(fā)展,,人工智能正在進(jìn)入一個(gè)新時(shí)代。其中最為突出的是深度學(xué)習(xí)(Deep Learning)研究,。發(fā)明者借用了大腦的多層結(jié)構(gòu)這一基本思想,,通過對(duì)傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)改造,在諸如圖像識(shí)別,、語(yǔ)音識(shí)別等感知識(shí)別問題上已經(jīng)取得了重大突破,。


隨著深度學(xué)習(xí)在應(yīng)用領(lǐng)域獲得的成功,相關(guān)研究日益得到廣泛的支持和關(guān)注,。但是,,由于對(duì)深度學(xué)習(xí)的核心基礎(chǔ)、特點(diǎn)和功能的理解不夠全面深入,,相當(dāng)數(shù)量的媒體報(bào)道和大眾認(rèn)知對(duì)深度學(xué)習(xí),、特別是對(duì)深度學(xué)習(xí)與腦科學(xué)的關(guān)系,,在認(rèn)識(shí)上產(chǎn)生了一些想象與偏見:一方面,某些注重應(yīng)用的人士認(rèn)為,,深度學(xué)習(xí)是人工智能技術(shù)的核心,與腦科學(xué)關(guān)系不大,,因此深度學(xué)習(xí)研究不用關(guān)注腦科學(xué)發(fā)展,;而另一方面,某些注重社會(huì)發(fā)展的人士則認(rèn)為,,類人腦的人工智能時(shí)代已經(jīng)到來并威脅到人類的生存,。應(yīng)該說,這兩種理解都比較片面,、各有偏差,。然而由于目前國(guó)內(nèi)腦科學(xué)工作者專門探討深度學(xué)習(xí)的論文相對(duì)較少,一些觀念未能及時(shí)討論和廓清,,因此媒體對(duì)新一代人工智能技術(shù)的報(bào)道仍有不少誤區(qū),。


針對(duì)上述情形,本文擬在以下方面進(jìn)行努力:一,,從深度學(xué)習(xí)的發(fā)展歷史,、理論核心和計(jì)算特征等方面,闡明深度學(xué)習(xí)和腦科學(xué)之間的密切關(guān)系,。二,,分析深度學(xué)習(xí)的功能、局限及導(dǎo)致局限的核心原因,。其應(yīng)用局限表明,,深度學(xué)習(xí)作為一種弱人工智能,遠(yuǎn)未發(fā)展到威脅人類生存的程度,;而導(dǎo)致其功能局限的核心原因則在于其神經(jīng)模型的不完善,。三,從神經(jīng)模型,、計(jì)算特征,、功能及可行性等方面將深度學(xué)習(xí)和仿腦計(jì)算進(jìn)行深入比較,指出仿腦計(jì)算在類人腦的新人工智能發(fā)展領(lǐng)域的巨大優(yōu)勢(shì)和發(fā)展前景,。


一,、深度學(xué)習(xí)和腦科學(xué)的關(guān)系


關(guān)于深度學(xué)習(xí)和腦科學(xué)之間的深刻淵源和密切關(guān)系,筆者認(rèn)為,,如果說深度學(xué)習(xí)是人工智能技術(shù)的核心,,那么腦科學(xué)中的仿腦計(jì)算將是深度學(xué)習(xí)的核心基礎(chǔ),而腦科學(xué)則是基礎(chǔ)的基礎(chǔ),。事實(shí)上,,從技術(shù)發(fā)展和核心特征來看,,深度學(xué)習(xí)的成功得益于腦科學(xué)發(fā)展所帶來的啟示,深度學(xué)習(xí)的兩大特點(diǎn)也都來自于對(duì)大腦的模仿,。


一是深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特征,。深度學(xué)習(xí)的成功是相對(duì)于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的局限而言的。早期的人工神經(jīng)網(wǎng)絡(luò)發(fā)展比腦科學(xué)發(fā)展要早幾乎半個(gè)世紀(jì),,因此,,傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元、突觸模型以及網(wǎng)絡(luò)的構(gòu)架和真實(shí)大腦相比都是極其粗糙而不準(zhǔn)確的,。深度學(xué)習(xí)相比傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)在構(gòu)架上有了很大的變化,。例如Google Net的層數(shù)高達(dá)22層。人的視網(wǎng)膜粗分有3層,,如果細(xì)一點(diǎn)可以有5層甚至更多,。大腦皮層至少有6層。從視網(wǎng)膜到具有識(shí)別功能的大腦IT區(qū)域,,至少需要經(jīng)過視網(wǎng)膜-LGN-V1-V2-V4-IT6個(gè)區(qū)域,,因此至少需要30多層,然而傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)常常只有2,、3層,。因此,深度學(xué)習(xí)首先在結(jié)構(gòu)上打破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的傳統(tǒng),,向大腦的結(jié)構(gòu)靠近了一大步,。值得指出的是,伴隨結(jié)構(gòu)深度的增加,,神經(jīng)元和連接的數(shù)量也大幅提升,,對(duì)計(jì)算的要求也相應(yīng)提高。近年來GPU的發(fā)展正好滿足了深度學(xué)習(xí)的需求,,為深度學(xué)習(xí)提供了良好的硬件基礎(chǔ),。



深度神經(jīng)網(wǎng)絡(luò)的另一核心特征是卷積計(jì)算。而在神經(jīng)網(wǎng)絡(luò)中采用卷積計(jì)算則是受到大腦視覺系統(tǒng)中感受野(神經(jīng)細(xì)胞所能感受到的空間區(qū)域)特征的啟示,。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)在初始化時(shí),,常常是采用完全的連接,有大量的權(quán)重參數(shù),。在大腦中如果采用完全鏈接的話,,大腦的空間也許要長(zhǎng)得像地球那么大才能容得下那么多的連接線。顯然,,大腦通過演化達(dá)到了一定的優(yōu)化,,使神經(jīng)元的數(shù)量和連接的數(shù)量比保持在一個(gè)合理的范圍。深度學(xué)習(xí)中的卷積計(jì)算就是充分利用了這個(gè)特點(diǎn),大大減少了需要調(diào)整的權(quán)重參數(shù)的個(gè)數(shù),。因此,,可以說,目前深度學(xué)習(xí)的兩大特點(diǎn)都來自于對(duì)大腦的模仿,。



二,、深度學(xué)習(xí)的局限及其原因分析


從功能上看,目前深度學(xué)習(xí)的應(yīng)用集中于人工智能中的模式識(shí)別,,如圖象識(shí)別,、語(yǔ)音識(shí)別等。但是,,在人腦中,識(shí)別功能僅僅是整個(gè)大腦功能的一小部分,,而且還不是核心部分,,因?yàn)樵S多低級(jí)動(dòng)物也具有良好的視覺和聽覺的感知與識(shí)別功能。人腦的核心功能在于學(xué)習(xí)與運(yùn)用,。在學(xué)習(xí)方面,,大腦可以對(duì)具體事物進(jìn)行全方位的學(xué)習(xí),并具有概念抽象的能力,。在運(yùn)用方面,,大腦可以舉一反三、創(chuàng)造性地解決問題,。以人類大腦的核心功能為參照來看,,目前深度學(xué)習(xí)僅僅能對(duì)特定條件下的信息進(jìn)行處理,達(dá)到特定的目的,,因此,,認(rèn)為深度學(xué)習(xí)帶來的新人工智能時(shí)代已經(jīng)到來并威脅到我們?nèi)祟惖纳孢@一觀點(diǎn)大可不必。在有關(guān)文章里,,我們也常??吹綇氖律疃葘W(xué)習(xí)研究的學(xué)者們多次表示深度學(xué)習(xí)不會(huì)帶來這樣的威脅。


導(dǎo)致深度學(xué)習(xí)的功能局限,、阻礙深度學(xué)習(xí)在功能上逼近大腦的核心原因,,在很大程度上是由于目前深度學(xué)習(xí)技術(shù)中的神經(jīng)元模型和突觸模型還沒有突破傳統(tǒng)模型的限制。在自然界中的真實(shí)大腦的神經(jīng)信號(hào)都具有Spike這一特征,;而傳統(tǒng)神經(jīng)元模型則把Spike簡(jiǎn)化為頻率,,丟棄了時(shí)域中一些快速變化的信息。在學(xué)習(xí)方面,,大腦中的突觸具有復(fù)雜多變,、非線性動(dòng)力特征的可塑性,而在深度學(xué)習(xí)中還僅僅是些權(quán)重參數(shù),不具有動(dòng)態(tài)特征,。雖然有一種觀點(diǎn)認(rèn)為,,也許Spike只是鳥的羽毛,我們不需要羽毛也能造出飛機(jī),,但飛機(jī)在空中的生存技能還遠(yuǎn)遠(yuǎn)不如鳥類,。不具有動(dòng)態(tài)特征和精細(xì)的時(shí)域信息的神經(jīng)網(wǎng)絡(luò),可以運(yùn)算的更快,,但一定在功能上會(huì)有缺陷(當(dāng)然這也取決于具體的應(yīng)用),。


三、仿腦計(jì)算的優(yōu)勢(shì),、可行性及其前瞻


怎樣能使神經(jīng)網(wǎng)絡(luò)模型更加精細(xì)和具有動(dòng)態(tài)特征呢,?仿腦計(jì)算在這方面表現(xiàn)出巨大的優(yōu)勢(shì)。仿腦計(jì)算則不但要從結(jié)構(gòu)上模仿大腦,,而且還要從神經(jīng)元和突觸的模型上模仿大腦,,所以某種意義上講,仿腦計(jì)算也可看成是深度學(xué)習(xí)將來的發(fā)展方向,。由于需要從神經(jīng)元和突觸這樣的微觀模型上模仿出宏觀的大腦功能,,仿腦計(jì)算面臨著諸多的挑戰(zhàn)。有人甚至認(rèn)為仿腦計(jì)算還很遙遠(yuǎn),。真的是如此遙遠(yuǎn)而不可及嗎,?我們先來看看這些挑戰(zhàn)以及可能的解決方案。


神經(jīng)元的信號(hào)是指細(xì)胞內(nèi)外的電壓差,。它主要來自眾多突觸受體的電流變化以及自身離子通道的特性,。早在1960左右的HH方程已經(jīng)相當(dāng)精確地描述了神經(jīng)信號(hào)的發(fā)生機(jī)理。因此,,理論上講,,HH方程就是神經(jīng)元最精確的模型。但是,,HH方程是一套非線性動(dòng)力學(xué)方程,,沒有數(shù)學(xué)上的解析解,只能采用數(shù)值計(jì)算方法,,一步一步地以逼近的方式進(jìn)行推演計(jì)算,。為了確保逼近的精確度,每一步步長(zhǎng)都非常短(例如0.01毫秒),。所以對(duì)于現(xiàn)在的計(jì)算機(jī)而言,,一個(gè)十萬(wàn)或百萬(wàn)個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的計(jì)算是個(gè)十分沉重的負(fù)擔(dān)。因此,,如何能快速計(jì)算HH方程或者修改HH方程達(dá)到快速計(jì)算的目的成為了一個(gè)重要的研究方向,。LIF模型是一類對(duì)HH模型的簡(jiǎn)化模型。由于LIF模型起碼保持了Spike的特征,受到許多研究團(tuán)隊(duì)的認(rèn)可,。目前,,美國(guó)和歐盟的腦計(jì)劃中的硬件類腦計(jì)算模型就是基于LIF模型,期望達(dá)到大規(guī)模,、低能耗的類腦功能,。可以證明的是,,對(duì)LIF模型的進(jìn)一步簡(jiǎn)化可以形成傳統(tǒng)的人工神經(jīng)元模型,。因此,不管如何,,基于Spike的神經(jīng)網(wǎng)絡(luò)(也稱SNN)應(yīng)該會(huì)比深度學(xué)習(xí)基于的傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)(ANN)展示出更優(yōu)良的性能,。



突觸是信號(hào)傳遞以及使大腦具有學(xué)習(xí)功能的主要微觀結(jié)構(gòu)。突觸在大腦里的數(shù)量比神經(jīng)元還要高出1000倍左右,。突觸不但數(shù)量大,,而且模型十分復(fù)雜。雖然可以分成興奮和抑制兩大類型,,但由于不同的神經(jīng)遞質(zhì)受體的差異,,它們的特征各有千秋,。在深度學(xué)習(xí)中,,用一個(gè)簡(jiǎn)單的權(quán)重參數(shù)來描述突觸的性能,實(shí)在是對(duì)那么多蛋白質(zhì)功能的極大藐視,。如果大腦的突觸只有一種蛋白質(zhì)的話,,相信一定早就被自然界淘汰了。所以,,絕大部分腦科學(xué)家不會(huì)認(rèn)為深度學(xué)習(xí)會(huì)給腦科學(xué)帶來多大貢獻(xiàn),。但是,仿腦計(jì)算則采用比權(quán)重參數(shù)更復(fù)雜的突觸模型,,盡量逼近真實(shí)的突觸模型,。例如,采用簡(jiǎn)單但與時(shí)間相關(guān)的STDP模型,,人們已經(jīng)可以模擬出類似于狗的條件反射實(shí)驗(yàn),,這代表了動(dòng)物的聯(lián)想式的學(xué)習(xí)功能。所以科學(xué)家們對(duì)仿腦計(jì)算有更高的期盼,。


雖然自HH方程的提出,,就有仿腦計(jì)算的想法,但真正嘗試百萬(wàn)個(gè)神經(jīng)元的大規(guī)模仿腦神經(jīng)網(wǎng)絡(luò)的計(jì)算還是近些年的事,。從目前公開報(bào)道的情況看,,還沒有任何一個(gè)研究團(tuán)隊(duì)成功實(shí)現(xiàn)類人的人工智能。這可能有多種原因:1,采用的模型也許還過于簡(jiǎn)單,;2,,其中的某個(gè)模型過于簡(jiǎn)單而引起的短板效應(yīng);3,,大腦還有更多的秘密,。從目前的情況看12的可能性很大。許多研究團(tuán)隊(duì)都希望用最簡(jiǎn)單有效的方法模擬出大腦的功能,。如果失敗,,再增加復(fù)雜性,提高仿真度,,逐步向真實(shí)的大腦逼近,。至今為止,雖然仿腦計(jì)算還沒有實(shí)現(xiàn)類人的人工智能,,但很多人相信這只是時(shí)間問題,。核心原因是:人腦是可以模仿的,而且可行性越來越大,。采用現(xiàn)代GPU技術(shù)我們已經(jīng)可以實(shí)現(xiàn)百萬(wàn)級(jí)神經(jīng)元的仿腦神經(jīng)網(wǎng)絡(luò)的計(jì)算,。伴隨憶租器技術(shù)的進(jìn)一步發(fā)展,將來有望直接實(shí)現(xiàn)高仿真神經(jīng)網(wǎng)絡(luò)的硬件系統(tǒng),。因此,,仿腦計(jì)算也并非十分遙遠(yuǎn),而且已經(jīng)成為了國(guó)際科研領(lǐng)域的熱點(diǎn),。



在我國(guó),,由于長(zhǎng)期以來,從事計(jì)算機(jī)研究的和從事腦科學(xué)研究的學(xué)者屬于兩個(gè)群體,,甚至從基礎(chǔ)學(xué)科開始就有較大分歧,,計(jì)算機(jī)研究人員常常是數(shù)理類學(xué)科出身,而腦科學(xué)研究者常常是生化醫(yī)學(xué)類教育背景,,所以從事仿腦計(jì)算研究的人還很少,。在國(guó)外,由于腦科學(xué)起步較早,,與之相關(guān)的交叉學(xué)科近年來得到迅速發(fā)展,。計(jì)算神經(jīng)學(xué)(Computational Neuroscience)已經(jīng)成為一門重要的交叉學(xué)科,仿腦計(jì)算也成為計(jì)算神經(jīng)學(xué)的核心目標(biāo),。


仿腦計(jì)算不但可以作為深度學(xué)習(xí)未來發(fā)展的方向,,而且還將引領(lǐng)計(jì)算技術(shù)的革命。目前,,計(jì)算機(jī)還面臨許多難題,,離類人腦的人工智能水平還差得很遠(yuǎn),。很多人腦能輕松搞定的事情,計(jì)算機(jī)還無能為力?,F(xiàn)在的深度學(xué)習(xí)只是解決了一些和感知相關(guān)的識(shí)別問題,,和大腦的整體功能相比還相差甚遠(yuǎn)。從本質(zhì)上看,,現(xiàn)代計(jì)算機(jī)是具有處理器與儲(chǔ)存器分離特征的馮諾依曼結(jié)構(gòu)計(jì)算機(jī),,而大腦對(duì)信號(hào)的處理與儲(chǔ)存不完全分離,甚至在很大的程度上是分不開的,。目前計(jì)算機(jī)面臨的許多難題都與馮諾依曼結(jié)構(gòu)相關(guān)(也稱馮諾依曼瓶頸),,而仿腦計(jì)算的研究有望突破馮諾依曼瓶頸,實(shí)現(xiàn)新一代非馮計(jì)算機(jī),。


深度學(xué)習(xí)方興未艾,,仿腦技術(shù)悄然崛起。類人的新人工智能即將到來也并非危言聳聽,。早做準(zhǔn)備才不至于坐以待斃,。如果能率先掌握并把控好這一人類歷史上即將出現(xiàn)的重大技術(shù),則將是對(duì)全民族和全人類的最大福報(bào),。伴隨我國(guó)腦計(jì)劃即將拉開序幕,,我們有理由相信,我國(guó)的仿腦計(jì)算也將成為新的亮點(diǎn),。



作者介紹:

曹立宏,,中國(guó)傳媒大學(xué)腦科學(xué)與智能媒體研究院院長(zhǎng),教授,,博士生導(dǎo)師,;北京市協(xié)同創(chuàng)新研究院智能傳媒技術(shù)中心主任,。美國(guó)國(guó)家衛(wèi)生總署(NIH)博士后,。北京市首批“腦科學(xué)研究”專項(xiàng)指導(dǎo)組受聘專家。


    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,,所有內(nèi)容均由用戶發(fā)布,,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式,、誘導(dǎo)購(gòu)買等信息,,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,,請(qǐng)點(diǎn)擊一鍵舉報(bào),。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多