|
深度學(xué)習(xí)初期可能借鑒了神經(jīng)科學(xué)的經(jīng)驗(yàn),，比如大腦視覺皮層結(jié)構(gòu)的模擬，層級(jí)編碼等,，但真正促使深度學(xué)習(xí)大放異彩的,，卻是源于對(duì)神經(jīng)科學(xué)的背離，比如目前沒有生物數(shù)據(jù)支撐的反向傳播算法,，Relu函數(shù)等,。雖然這些規(guī)則的加入使得深度神經(jīng)網(wǎng)絡(luò)在各類任務(wù)上的表現(xiàn)得到了極大的提升，接近甚至是優(yōu)于人腦的表現(xiàn),，但為什么會(huì)有這樣的效果仍是一個(gè)黑箱,。 那如果我們反過來思考，也許深度學(xué)習(xí)并沒有與神經(jīng)科學(xué)背道而馳,，而恰恰是觸及了當(dāng)前神經(jīng)科學(xué)還未開拓的領(lǐng)域呢,？那么我們是否可以，借鑒當(dāng)前深度學(xué)習(xí)已有的規(guī)則和框架,，來研究神經(jīng)科學(xué)本身呢,？今天分享一篇經(jīng)典的文章。 Blake Richards組織一眾科學(xué)家在Nature Neuroscience上發(fā)文,，“A deep learning framework for neuroscience”正是回答這個(gè)問題,。為什么建立神經(jīng)科學(xué)的深度學(xué)習(xí)框架，神經(jīng)科學(xué)的深度學(xué)習(xí)框架的內(nèi)容(是什么),，我們應(yīng)該如何在深度學(xué)習(xí)框架下發(fā)展神經(jīng)科學(xué)（怎么做）,。為什么建立神經(jīng)科學(xué)的深度學(xué)習(xí)框架 這個(gè)問題分為兩部分，一部分是為什么要建立,，另外一部分是為什么能建立,。 主要是源于當(dāng)前神經(jīng)科學(xué)的研究手段的局限,，在以往經(jīng)典的神經(jīng)科學(xué)框架下,，我們?cè)谘芯啃》秶纳窠?jīng)環(huán)路上卓有成效,，比如視網(wǎng)膜如何計(jì)算運(yùn)動(dòng)，前庭-眼反射是如何促進(jìn)注視穩(wěn)定的,，但是在大尺度的神經(jīng)環(huán)路上,，經(jīng)典的神經(jīng)科學(xué)研究方法有點(diǎn)捉襟見肘。而深度神經(jīng)網(wǎng)絡(luò)可能可以用來研究這類問題,，其用簡(jiǎn)化的units來模擬真實(shí)神經(jīng)元的整合和激活特性,，而且更重要的是，是通過學(xué)習(xí)而不是提前設(shè)計(jì)來實(shí)現(xiàn)具體運(yùn)算的,。 為什么能呢,？ 最近的大量研究表明，深度學(xué)習(xí)能夠幫助我們研究大腦,。 首先,，深度神經(jīng)網(wǎng)絡(luò)在一些情況下很接近靈長類的知覺系統(tǒng)，而且能夠調(diào)節(jié)神經(jīng)活動(dòng),； 其次,，許多眾所周知的行為和神經(jīng)生物學(xué)現(xiàn)象（包括網(wǎng)格細(xì)胞、感受野和視錯(cuò)覺）的工作模式和深度神經(jīng)網(wǎng)絡(luò)很相似,； 第三,，計(jì)算建模的研究表明，許多學(xué)習(xí)規(guī)則和反向傳播算法在為目標(biāo)函數(shù)估計(jì)梯度上表現(xiàn)類似,，但這些學(xué)習(xí)規(guī)則都不是基于梯度的,，因此在估計(jì)上有誤差（Fig 1）。 
Fig 1. 其他學(xué)習(xí)規(guī)則相對(duì)于反向傳播算法的梯度估計(jì)偏差和方差 因此,，基于深度學(xué)習(xí)的大腦模型不再是像以往那樣不切實(shí)際,，相反確實(shí)能夠解釋神經(jīng)生物學(xué)數(shù)據(jù)。 神經(jīng)科學(xué)的深度學(xué)習(xí)框架內(nèi)容 深度神經(jīng)網(wǎng)絡(luò)包括三個(gè)基本成分：目標(biāo)函數(shù),，描述了學(xué)習(xí)系統(tǒng)的目標(biāo),，是神經(jīng)網(wǎng)絡(luò)中節(jié)點(diǎn)權(quán)重和數(shù)據(jù)本身的函數(shù)，但他們并非在特定的數(shù)據(jù)集上定義的,。比如交叉熵函數(shù),，在機(jī)器學(xué)習(xí)中很常見的目標(biāo)函數(shù)，在各種分類任務(wù)中都表現(xiàn)很好,，從分類不同品種的狗狗到分辨不同的情緒類別,；學(xué)習(xí)規(guī)則，描述了模型中的參數(shù)是如何被更新的,。在深度神經(jīng)網(wǎng)絡(luò)中,，這些規(guī)則通常是用來提高目標(biāo)函數(shù)的效率的，在有監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)以及強(qiáng)化學(xué)習(xí)系統(tǒng)中都是如此,；網(wǎng)絡(luò)架構(gòu),，描述了深度神經(jīng)網(wǎng)絡(luò)內(nèi)的units是如何被安排的。比如卷積神經(jīng)網(wǎng)絡(luò)中利用了連接模式,，因此相同感受野內(nèi)輸入的內(nèi)容能夠被重復(fù)使用,。
Fig.2 人工神經(jīng)網(wǎng)絡(luò)的三個(gè)成分 在這個(gè)框架下，我們不是去關(guān)注一個(gè)計(jì)算是如何實(shí)現(xiàn)的,，而將這個(gè)任務(wù)拆分為三個(gè)部分去探究：目標(biāo)函數(shù),，學(xué)習(xí)規(guī)則和網(wǎng)絡(luò)架構(gòu)。接下來我們將討論每個(gè)部分當(dāng)前已有哪些工作,，這些工作為后續(xù)在深度學(xué)習(xí)框架下研究神經(jīng)科學(xué)提供示范,。如何在深度學(xué)習(xí)框架下發(fā)展神經(jīng)科學(xué)（怎么做） 大腦內(nèi)網(wǎng)絡(luò)架構(gòu)的研究為了證明由大腦的歸納偏置（inductive biases）所定義的網(wǎng)絡(luò)架構(gòu)，我們需要在環(huán)路水平上探究神經(jīng)解剖結(jié)構(gòu),，也必須弄清楚什么樣的信息是能夠形成環(huán)路的,，比如動(dòng)作的信號(hào)是從哪里來的等，我們期待弄清楚解剖結(jié)構(gòu)連接的各個(gè)方面,，從而形成一個(gè)整合的生物學(xué)marker，來引導(dǎo)網(wǎng)絡(luò)架構(gòu)的發(fā)展進(jìn)程,。我們?cè)谏窠?jīng)系統(tǒng)的解剖結(jié)構(gòu)上已經(jīng)做了大量的實(shí)驗(yàn)工作,，當(dāng)前正在用一系列的成像技術(shù)來量化解剖信息和神經(jīng)環(huán)路信息。目前有幾個(gè)實(shí)驗(yàn)組在探究深度神經(jīng)網(wǎng)絡(luò)層次結(jié)構(gòu)的某些部分對(duì)應(yīng)于哪些腦區(qū),。例如,，紋狀皮層可能對(duì)應(yīng)于深度神經(jīng)網(wǎng)絡(luò)的早期層，而顳下皮層可能對(duì)應(yīng)于深度神經(jīng)網(wǎng)絡(luò)的晚期層,。大腦內(nèi)學(xué)習(xí)規(guī)則的研究神經(jīng)科學(xué)中對(duì)突觸可塑性規(guī)則的研究有由來已久,。然而，這些研究很少探討功勞分配（credit assignment）是如何發(fā)生的,。然而功勞分配問題是深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的關(guān)鍵,，也可能存在于大腦中。不過近期自上而下的反饋和神經(jīng)調(diào)節(jié)已成為突觸可塑性研究的重點(diǎn),。例如,，頂樹突如何參與功勞分配，或者自上而下的注意力機(jī)制如何與神經(jīng)遞質(zhì)相結(jié)合來解決功能功勞分配問題(Fig 3),。著眼于功勞分配的學(xué)習(xí)規(guī)則的工作使我們能夠更好的理解神經(jīng)可塑性,。
Fig 3. 功勞分配問題的生物學(xué)模型。 a.基于注意功勞分配模型是指大腦通過注意和神經(jīng)遞質(zhì)來處理功勞分配問題,。根據(jù)這個(gè)模型,，感覺加工在早期階段主要是前饋的，然后反饋“標(biāo)簽”神經(jīng)元和突觸以及獎(jiǎng)勵(lì)預(yù)測(cè)誤差(RPE)決定可塑性變化的方向,。圓圈表示神經(jīng)元,，灰色度表示它們的激活水平,。這些模型預(yù)測(cè)，負(fù)責(zé)激活特定輸出單元的神經(jīng)元將被注意反饋標(biāo)記(T),。然后,，如果接收到正的RPE，突觸就會(huì)增強(qiáng),。相反,，如果接收到一個(gè)負(fù)的RPE，突觸就會(huì)減弱,。這為基于分類的目標(biāo)函數(shù)提供了一個(gè)梯度估計(jì),。b-d. 功勞分配的樹突模型認(rèn)為梯度信號(hào)由錐體細(xì)胞的頂樹突的錯(cuò)誤信號(hào)（δ）所。根據(jù)這些模型 (b), 前饋權(quán)重更新由前饋輸入和δ的結(jié)合,。在一個(gè)實(shí)驗(yàn)中,，兩種不同的刺激只有一種被加強(qiáng)，這就形成了特定的預(yù)測(cè),。(c). 如果一個(gè)神經(jīng)元受到被強(qiáng)化的刺激,，那么強(qiáng)化應(yīng)該會(huì)導(dǎo)致其尖端活動(dòng)的增加。(d). 相反,，如果一個(gè)神經(jīng)元受到非增強(qiáng)的刺激,，其尖端活動(dòng)就會(huì)相應(yīng)減弱。 隨著當(dāng)前技術(shù)的發(fā)展,，我們能夠在活體上探究突觸的變化,，也能夠直接把突觸變化和行為錯(cuò)誤聯(lián)系起來，甚至是直接測(cè)量生物模型中學(xué)習(xí)規(guī)則的假設(shè),，比如那些需要注意力的,，或者是使用樹突信號(hào)進(jìn)行功勞分配的(Fig 3)。大腦內(nèi)目標(biāo)函數(shù)的研究在某些情況下,，大腦所優(yōu)化的目標(biāo)函數(shù)可能直接表現(xiàn)在我們記錄的神經(jīng)信號(hào)中,；而在更多的情況下，目標(biāo)函數(shù)可能隱含于控制突觸更新的可塑性規(guī)則中,。一些研究試圖將實(shí)驗(yàn)數(shù)據(jù)與目標(biāo)函數(shù)聯(lián)系起來,，開始將已知的可塑性規(guī)則與潛在的目標(biāo)函數(shù)聯(lián)系起來，例如,，有研究試圖通過比較實(shí)驗(yàn)觀察到的神經(jīng)活動(dòng)和在自然場(chǎng)景中訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的神經(jīng)活動(dòng)來估計(jì)目標(biāo)函數(shù),，也有一些方法使用逆向強(qiáng)化學(xué)習(xí)來識(shí)別系統(tǒng)優(yōu)化了什么。此外,，我們還可以通過尋找給定目標(biāo)優(yōu)化的表征和真實(shí)神經(jīng)表征之間的相關(guān)性來處理目標(biāo)函數(shù),。另一種新出現(xiàn)的方法是，在控制腦-機(jī)接口設(shè)備時(shí)，觀察動(dòng)物的神經(jīng)環(huán)路可以優(yōu)化到什么程度,。因此,，基于以往的文獻(xiàn)，探究大腦的目標(biāo)函數(shù)成為可能,。可能有人會(huì)有疑問,，如果我們把研究重點(diǎn)從神經(jīng)元編碼特性轉(zhuǎn)移到大腦學(xué)習(xí)架構(gòu)、學(xué)習(xí)規(guī)則和目標(biāo)函數(shù)上,，看起來我們可能會(huì)失去迄今為止所獲得的很多知識(shí),，比如神經(jīng)元的方向選擇性、frequency tuning和spatial tuning等,。但是實(shí)際上,，我們提出的框架很大程度上是由這些知識(shí)所決定的，比如卷積神經(jīng)網(wǎng)絡(luò)直接來源于對(duì)視覺系統(tǒng)層級(jí)特性的研究,。在長期的神經(jīng)科學(xué)過程中,，我們傾向于用自下而上的方法來理解大腦，也有人可能會(huì)擔(dān)心為大腦設(shè)定目標(biāo)函數(shù)或?qū)W習(xí)規(guī)則可能為時(shí)過早,，所需要的大腦信息加工細(xì)節(jié)可能比我們目前擁有的多得多,。盡管如此，科學(xué)問題必然是在某種思想框架內(nèi)提出的,，而且重要的是,，這并不是在呼吁放棄從自下而上的角度來研究大腦，相反是期待深度神經(jīng)網(wǎng)絡(luò)框架的提出能夠產(chǎn)生新的重要的實(shí)驗(yàn)問題,。另外一些研究人員對(duì)深層神經(jīng)網(wǎng)絡(luò)中的大量參數(shù)感到擔(dān)憂，認(rèn)為它們違反了奧卡姆剃刀定律（Occam’s razor）,，可能只是對(duì)數(shù)據(jù)的過度擬合,。但是近期人工智能領(lǐng)域的研究表明，大規(guī)模超參數(shù)化的學(xué)習(xí)系統(tǒng)可能是反直覺的,，但這也是它本身固有的數(shù)學(xué)屬性決定的,，這樣的學(xué)習(xí)系統(tǒng)也能夠?qū)崿F(xiàn)良好的泛化，而且實(shí)際上大腦本身也包含了大量的潛在參數(shù)(例如,，突觸連接,，樹突狀離子通道密度等)，也許,，深度神經(jīng)網(wǎng)絡(luò)中的大量參數(shù),，反而恰恰使他們成為更接近大腦本身的模型呢？為了在神經(jīng)科學(xué)方面取得進(jìn)展,，需要更多自下而上的信息加工細(xì)節(jié)和自上而下的理論支撐,。在神經(jīng)元信息加工細(xì)節(jié)上我們進(jìn)行了大量的研究且碩果累累，而在建立正確合理的自上而下的理論框架上，一直沒有突破性的進(jìn)展,，鑒于現(xiàn)代機(jī)器學(xué)習(xí)能夠解決很多人腦解決的問題甚至表現(xiàn)更好,，也許從機(jī)器學(xué)習(xí)的角度來指導(dǎo)神經(jīng)科學(xué)自上而下的研究框架可能是一條有效的路徑。如果我們?cè)谶@種思維模式提供的框架內(nèi)考慮我們的實(shí)驗(yàn)數(shù)據(jù),，并把注意力集中在這里的三個(gè)基本組成部分上：目標(biāo)函數(shù),，學(xué)習(xí)規(guī)則和網(wǎng)絡(luò)架構(gòu)，也許我們能夠更深入了解大腦,。另外反過來,，當(dāng)前我們對(duì)深度神經(jīng)網(wǎng)絡(luò)的基本原則的探究日益增多，因此我們也能夠在大量神經(jīng)元中測(cè)試深度學(xué)習(xí)的假設(shè),。編譯文獻(xiàn)：
Richards B A, Lillicrap T P, Beaudoin P, et al. A deep learning framework for neuroscience[J]. Nature neuroscience, 2019, 22(11): 1761-1770.編譯作者： Tang（brainnews創(chuàng)作團(tuán)隊(duì)）
校審： Simon（brainnews編輯部） 題圖： University of Queensland
歡迎加入超過 18000人的 全球最大的華人腦科學(xué)社群矩陣
|
