「人工智能網(wǎng)絡(luò)并沒有試圖直接模仿大腦，然而最終看起來像大腦一樣,，這在某種意義上表明,，人工智能和自然之間發(fā)生了某種趨同演化。」 計算機(jī)擅長理解結(jié)構(gòu)化數(shù)據(jù),，讓計算機(jī)去理解主要以文化習(xí)慣沉淀下來的人類語言是一件困難的事,。不過在 AI 的重要方向，自然語言處理（NLP）領(lǐng)域中,，人們經(jīng)過多年的實踐找到了一些方法,。在目前流行的 NLP 方法中，其中一種語言模型就是根據(jù)上下文去預(yù)測下一個詞是什么,。通過這種方法,，語言模型能夠從無限制的大規(guī)模單語語料中學(xué)習(xí)到豐富的語義知識,。而預(yù)訓(xùn)練的思想讓模型的參數(shù)不再是隨機(jī)初始化，而是先有一個任務(wù)進(jìn)行訓(xùn)練得到一套模型參數(shù),，然后用這套參數(shù)對模型進(jìn)行初始化,，再進(jìn)行訓(xùn)練。
計算機(jī)科學(xué)家們一直在通過這種方式試圖讓電腦盡量接近人類識別語言的水準(zhǔn),，卻不曾想到有一天會發(fā)現(xiàn)它和生物的思考方式異曲同工,。來自麻省理工學(xué)院（MIT）的科學(xué)家向 AI 模型輸入與測試人類大腦相同的刺激，結(jié)果發(fā)現(xiàn)很多模型獲得了與人類相同類型的激活,。在超過 40 種語言模型的測試中（包括詞嵌入,、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer 等）,，OpenAI 的 GPT 系列可以幾乎完美地進(jìn)行一些推斷,，而且這種能力具有跨數(shù)據(jù)集的穩(wěn)健性。模型預(yù)測出的下一個詞越準(zhǔn),，它和人類大腦契合度就越高在過去的幾年中，自然語言處理模型在很多任務(wù)中都表現(xiàn)出了出色的性能,。最值得注意的是,，它們非常擅長預(yù)測一串文本中的下一個詞。這一技術(shù)最直白的應(yīng)用就是在搜索引擎以及很多文本類 APP 上,，可以準(zhǔn)確地預(yù)測出你想要輸入的下一個詞,。
最新一代的預(yù)測語言模型似乎也學(xué)習(xí)了一些關(guān)于語言潛在含義的東西。這些模型不僅能預(yù)測下一個詞,，還能執(zhí)行一些需要一定程度的真正理解才能執(zhí)行的任務(wù),，如問答、文本摘要,、故事續(xù)寫等,。這類模型是為了優(yōu)化預(yù)測文本的特定功能而設(shè)計的，而不是試圖模仿人類大腦如何執(zhí)行這項任務(wù)或理解語言,。但是,，來自 MIT 的一項新研究表明，這些模型的基本功能其實類似于人類大腦語言處理中心的功能,。此外,，研究人員還發(fā)現(xiàn)，在其他類型的語言任務(wù)中表現(xiàn)良好的計算機(jī)模型并沒有展現(xiàn)出此類相似性,。這意味著,，人類大腦可能會用「下一個詞預(yù)測」來驅(qū)動語言處理。「模型預(yù)測出的下一個詞越準(zhǔn),，它和人類大腦契合度就越高,，」MIT 的認(rèn)知神經(jīng)科學(xué)教授 Nancy Kanwisher（論文作者之一）表示,，「令人驚奇的是，這些模型契合得竟如此之好,。這是強(qiáng)烈的間接證據(jù),，證明人類的語言系統(tǒng)可能就是在預(yù)測接下來會發(fā)生什么?！?/span>這項研究發(fā)表在最新一期的《美國國家科學(xué)院院刊（Proceedings of the National Academy of Sciences）》上,。
論文：https://www./content/118/45/e2105646118 論文預(yù)印版（Biorxiv）：https://www./content/biorxiv/early/2020/10/09/2020.06.26.174482.full.pdf GitHub：https://github.com/mschrimpf/neural-nlp
論文一作 Martin Schrimpf 以及另一位作者 Evelina Fedorenko 在一個視頻中針對該論文進(jìn)行了解讀。
論文第一作者,，MIT 在讀博士 Martin Schrimpf。當(dāng)前高性能的下一個詞預(yù)測模型屬于深度神經(jīng)網(wǎng)絡(luò)模型,。這些網(wǎng)絡(luò)包含構(gòu)成不同強(qiáng)度連接的計算「節(jié)點」，以及以規(guī)定方式在彼此之間傳遞信息的層,。十多年來,，科學(xué)家們使用深度神經(jīng)網(wǎng)絡(luò)來創(chuàng)建可以識別物體的視覺模型，以實現(xiàn)靈長類大腦的功能,。MIT 2019 年的一項研究表明,，視覺對象識別模型的基本功能與靈長類動物視覺皮層的組織相似，盡管這些計算機(jī)模型并不是專門為模仿大腦而設(shè)計的,。在這份新研究中,，MIT 的研究團(tuán)隊使用類似的方法將人腦中的語言處理中心與語言處理模型進(jìn)行比較。他們分析了 43 種不同的語言模型,，包括一些針對下一個詞預(yù)測任務(wù)進(jìn)行了優(yōu)化的模型,。這些模型旨在執(zhí)行不同的語言任務(wù)，其中 GPT-3 可以根據(jù)提示生成類似于人類生成的文本,，還有一些模型旨在補(bǔ)全文本中的空白,。
負(fù)責(zé)語言處理的人工神經(jīng)網(wǎng)絡(luò)模型與人類語言處理系統(tǒng)的比較。MIT 的研究者測試了不同模型對語言理解過程中的人類神經(jīng)活動（fMRI and ECoG）和行為數(shù)據(jù)進(jìn)行預(yù)測的效果,。候選模型包括簡單的嵌入模型,、更復(fù)雜的循環(huán)模型和 transformer 網(wǎng)絡(luò)。測試內(nèi)容從句子到段落再到故事,，這些內(nèi)容要經(jīng)歷兩個步驟：1）輸入模型,，2）呈現(xiàn)給人類參與者（視覺或聽覺）。模型的內(nèi)部表征主要在三個維度上進(jìn)行評估：預(yù)測人類神經(jīng)表征的能力,；以閱讀次數(shù)的形式預(yù)測人類行為的能力,；執(zhí)行計算任務(wù)的能力（例如下一個詞預(yù)測）。研究者在許多個不同的模型中歸納分析了測試結(jié)果,，得到的結(jié)論比從單個模型中得到的更具說服力,。每個模型都有一串詞作為輸入,，研究人員測量了網(wǎng)絡(luò)中節(jié)點的活動。然后,，他們將這些模式與人腦中的活動進(jìn)行了比較,，并根據(jù)執(zhí)行的三種語言任務(wù)進(jìn)行度量：聽故事、一次閱讀一個句子,，以及閱讀每次只顯示一個單詞的句子,。其中用到的人類數(shù)據(jù)集包括功能磁共振 (fMRI) 數(shù)據(jù)和在接受癲癇腦部手術(shù)的人中進(jìn)行的顱內(nèi)皮層電圖測量數(shù)據(jù)。他們發(fā)現(xiàn),，表現(xiàn)最佳的下一個單詞預(yù)測模型的活動模式與人類大腦的活動模式非常相似,。這些模型中的活動與人類行為度量高度相關(guān)，比如人們閱讀文本的速度,。「我們發(fā)現(xiàn),，那些能夠很好地預(yù)測神經(jīng)反應(yīng)的模型在預(yù)測人類行為反應(yīng)時也往往表現(xiàn)良好。這兩種情況都可以用模型在下一詞預(yù)測中的表現(xiàn)來解釋,。這個三角形真的把一切都聯(lián)系在了一起,。」Schrimpf 表示,。「這項研究的一個關(guān)鍵結(jié)論是,，語言處理是一個高度約束問題: AI 工程師創(chuàng)造的最佳解決方案最終與創(chuàng)造人類大腦進(jìn)化過程所得到的解決方案類似?！顾固垢４髮W(xué)心理學(xué)和計算機(jī)科學(xué)助理教授 Daniel Yamins 評價說: 「人工智能網(wǎng)絡(luò)并沒有試圖直接模仿大腦,，然而最終看起來像大腦一樣，這在某種意義上表明,，人工智能和自然之間發(fā)生了某種趨同演化,。」
圖 6: 主要研究結(jié)果,。紅色與橙色框內(nèi)是歸一化后的神經(jīng)及行為預(yù)測,。論文作者：這個結(jié)果對我來說是有生之年系列GPT-3 這種預(yù)測模型的關(guān)鍵計算特性是：它有一種被稱為「前向單向預(yù)測 transformer」的成分。這種 transformer 架構(gòu)能夠根據(jù)之前的序列預(yù)測接下來會發(fā)生什么,，它可以基于很長的前文內(nèi)容進(jìn)行預(yù)測（數(shù)百個單詞）,，而不僅僅是最后幾個單詞。科學(xué)家們還沒有發(fā)現(xiàn)任何與這種信息處理相對應(yīng)的大腦回路或?qū)W習(xí)機(jī)制,，MIT 計算認(rèn)知科學(xué)教授 Joshua Tenenbaum （本文作者之一）表示,，然而新發(fā)現(xiàn)與先前提出的假設(shè)是一致的，即預(yù)測是語言處理的關(guān)鍵功能之一,。「語言處理的挑戰(zhàn)之一是實時性,，」他說，「語言輸入了,，你必須跟上,，并且要實時理解它,。」研究人員打算建立這些語言處理模型的變體,，觀察它們架構(gòu)中的微小變化是如何影響性能和適應(yīng)人類神經(jīng)數(shù)據(jù)能力的,。「對我來說，這個結(jié)果意義重大,，」Fedorenko 說,，「這完全改變了我的研究計劃，因為我沒有預(yù)料到,，有生之年我能得到這些計算很明確的模型,，捕捉到足夠多的關(guān)于大腦的信息，從而利用它們來理解大腦是如何工作的,?！?/span>研究人員還計劃將這些高效的語言模型與 Tenenbaum 實驗室之前開發(fā)的一些計算機(jī)模型結(jié)合起來，這些模型可以執(zhí)行其他類型的任務(wù),，比如構(gòu)建物理世界的知覺表征,。「如果我們能夠理解這些語言模型的作用,，以及它們?nèi)绾闻c那些更像是感知和思考的模型相聯(lián)系,，我們就可以得到更多關(guān)于事物如何在大腦中工作的綜合模型?！?/span>「這將帶領(lǐng)我們走向更好的人工智能模型,，同時也為我們提供了比過去更好的思路——關(guān)于大腦如何工作以及通用智能如何產(chǎn)生?！?/span>https://cbmm./news-events/news/artificial-intelligence-sheds-light-how-brain-processes-language-mit-newshttps:///surprisingly-smart-artificial-intelligence-sheds-light-on-how-the-brain-processes-language/https://twitter.com/martin_schrimpf/status/1276832575022137344與AI俱進(jìn),，化時光為翎：「AI中國」機(jī)器之心2021年度評選暨特別策劃 機(jī)器之心正式啟動「AI中國」2021年度評選暨「與AI俱進(jìn)，化時光為翎」特別策劃,，包括2021年度評選,、年度內(nèi)容專題、年度報告和AI科技年會四項內(nèi)容,。我們希望借此與AI公司并肩,，與創(chuàng)新產(chǎn)業(yè)同行，評選出企業(yè)榜,、解決方案榜,、 生態(tài)榜、行業(yè)事件榜和專業(yè)品牌榜,，并與機(jī)器之心讀者分享他們的技術(shù)突破與實踐中的精彩行業(yè)故事,。最終評選結(jié)果將在AI科技年會現(xiàn)場發(fā)布。歡迎各企業(yè)機(jī)構(gòu)掃碼報名或了解更多詳情,。
|
