本文轉(zhuǎn)載自新智元(ID:AI_era),,來源:news.sophos.co,,編譯:文強(qiáng) 弗格森
能夠?qū)W習(xí)被認(rèn)為是智能生物的一大標(biāo)志,。機(jī)器學(xué)習(xí)現(xiàn)在有能力從數(shù)據(jù)集中學(xué)習(xí)和推斷,從而完成復(fù)雜的任務(wù),,比如對以前從未見過的物體進(jìn)行分類。 機(jī)器學(xué)習(xí)與人類學(xué)習(xí)有著驚人的相似和重要的差異,。通過比較和對比生物與人工智能如何學(xué)習(xí),,我們可以建立一個更完善的架構(gòu)。 從神經(jīng)元說起 在生物神經(jīng)網(wǎng)絡(luò)中,,學(xué)習(xí)源自于大腦中無數(shù)神經(jīng)元之間的連接,。大腦接觸到新的刺激后,這些神經(jīng)元之間的連接改變了配置,。這些更改包括出現(xiàn)新的連接,,加強(qiáng)現(xiàn)有連接和刪除那些沒有使用的連接。例如,,重復(fù)給定任務(wù)的次數(shù)越多,,與這個任務(wù)相關(guān)的神經(jīng)連接就越強(qiáng),最終我們會認(rèn)為這個任務(wù)被學(xué)會了,。 神經(jīng)元使用記憶和感知里預(yù)先建立(pre-established)的表征來處理新的刺激,。每個刺激都能讓一組神經(jīng)元在認(rèn)知過程中會被激活,,而這樣的神經(jīng)元有很多很多。 這種生物學(xué)上的奇妙設(shè)計也啟發(fā)了人工智能研究者,,人工神經(jīng)網(wǎng)絡(luò)(ANN)旨在抽象地模擬這種行為,,但規(guī)模和形式都要小并且簡單得多。 什么是人工神經(jīng)網(wǎng)絡(luò)(ANN),? ANN由互相連接的神經(jīng)元組成,,這些神經(jīng)會接收一組輸入,以及一組連接權(quán)重的設(shè)置,,然后進(jìn)行一些數(shù)學(xué)運(yùn)算,,并將結(jié)果作為一組與生物神經(jīng)元中的突觸相似的“激活”作為輸出。ANN通常由幾百到上千個神經(jīng)元組成,,但人腦的生物神經(jīng)網(wǎng)絡(luò)有數(shù)十億神經(jīng)元,。 從比較高的層次看,人工神經(jīng)網(wǎng)絡(luò)由四個部分組成:
在人腦生物神經(jīng)網(wǎng)絡(luò)和用軟件表達(dá)的人工神經(jīng)網(wǎng)絡(luò)之間,,這四大部分有著顯著的不同。 在下圖中,,我們看到一個生物神經(jīng)元,。軸突(Axon)負(fù)責(zé)輸出從神經(jīng)核到其他神經(jīng)元的信息,樹突(Dendrite)則負(fù)責(zé)從其他神經(jīng)元接收信息,,來自神經(jīng)元(突觸)的電化學(xué)信號聚集在細(xì)胞核中,。如果電信號聚合超過突觸閾值,就會形成電化學(xué)脈沖,,沿軸突向下傳播到其他神經(jīng)元的樹突,。 下圖展示了一個人腦中神經(jīng)元拓?fù)浣Y(jié)構(gòu)的合理假設(shè)??梢钥闯?,這個結(jié)構(gòu)蘊(yùn)含了讓信息循環(huán)和傳播的巨大潛力。 生物神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí):對現(xiàn)有表征進(jìn)行微調(diào),,初始狀態(tài)由遺傳衍生而來 在像人腦這樣的生物神經(jīng)網(wǎng)絡(luò)中,,學(xué)習(xí)是通過對現(xiàn)有表征進(jìn)行微小調(diào)整實(shí)現(xiàn)的,其配置(configuration)在任何學(xué)習(xí)開始前就已經(jīng)包含了重要的信息,。神經(jīng)元或權(quán)重之間的連接的強(qiáng)度不以隨機(jī)的方式開始,,連接的結(jié)構(gòu),即網(wǎng)絡(luò)拓?fù)湟膊⒎请S機(jī),。這種初始狀態(tài)是由遺傳衍生而來的,,是進(jìn)化的副產(chǎn)物。 隨著時間的推移,,網(wǎng)絡(luò)通過調(diào)整拓?fù)浜蜋?quán)重來學(xué)習(xí)如何執(zhí)行新的功能,。實(shí)際上,,擁有一個起始表征(initial representation)對完成任務(wù)來說都很有用,這一點(diǎn)有證據(jù)支撐,。研究表明,,一個月大的新生兒可以通過學(xué)習(xí)識別陌生人和父母的臉之間的差異。換句話說,,人類對“人臉”的概念在很大程度上是從父母那里傳承的,。 隨著嬰兒逐漸發(fā)育成長,走過童年,、青春期,、成年,甚至到退休,,他們每天都會看到和認(rèn)識新的朋友,,并且要學(xué)習(xí)他們的樣子。而這是通過對大腦中神經(jīng)網(wǎng)絡(luò)進(jìn)行微小的改變來實(shí)現(xiàn)的,。 同樣的現(xiàn)象也適用于其他任務(wù),,包括被動感知任務(wù),從識別通用對象到將聲音作為一種語音模式來處理,,以及主動進(jìn)行的任務(wù),,比如運(yùn)動和說話。這些技能逐漸被學(xué)習(xí),,那些用于改進(jìn)它們的調(diào)整幅度也不斷縮小,。對應(yīng)這種現(xiàn)象的精確的拓?fù)浣Y(jié)構(gòu),是訓(xùn)練這些生物神經(jīng)網(wǎng)絡(luò)刺激類型的函數(shù),。一個著名的例子是由諾貝爾獎得主David Hubel和Torsten Wiesel領(lǐng)導(dǎo)的單眼剝奪研究,。該研究涉及在發(fā)育過程中強(qiáng)迫動物的眼睛閉合兩個月,觀察其主要視覺皮層的變化,。 結(jié)果表明,,通常對雙眼輸入有反應(yīng)的細(xì)胞變得完全不再對信號產(chǎn)生反應(yīng)。因此,,動物大腦和眼睛中的細(xì)胞都發(fā)生了改變。這種現(xiàn)象也延伸到人類身上,。例如,,對視覺感知的心理測驗(yàn)表明,相比居住在農(nóng)村的人,,生活在城市中的人往往對平行線條和銳角更敏感(居住在農(nóng)村的人則對光滑的紋理漸變更敏感),,很可能是城市中道路、摩天大樓和窗戶的平行結(jié)構(gòu)過多造成的,。 人工神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí):從頭開始,,初始狀態(tài)隨機(jī) 與生物神經(jīng)網(wǎng)絡(luò)不同,,人工神經(jīng)網(wǎng)絡(luò)(ANN)通常從頭開始訓(xùn)練,使用的素材是現(xiàn)有的針對某個問題的拓?fù)浣Y(jié)構(gòu),。目前,,這些網(wǎng)絡(luò)的拓?fù)洳粫S時間發(fā)生變化,而網(wǎng)絡(luò)的權(quán)重也是通過優(yōu)化算法隨機(jī)初始化和進(jìn)行調(diào)整,,盡可能將輸入刺激映射到期望的輸出函數(shù),。 不過,ANN也可以基于先前存在的表征來進(jìn)行學(xué)習(xí),,這一過程被稱為微調(diào),。微調(diào)也包括使用相對較慢的學(xué)習(xí)速率調(diào)整預(yù)訓(xùn)練網(wǎng)絡(luò)拓?fù)涞臋?quán)重,從而讓網(wǎng)絡(luò)在新的訓(xùn)練數(shù)據(jù)上表現(xiàn)良好,。 我們也可以毫不費(fèi)力地復(fù)制ANN,,但是要做出一個人類大腦還需要一定的時間。 無論是從頭開始還是微調(diào)訓(xùn)練,,權(quán)重更新過程都是通過在神經(jīng)網(wǎng)絡(luò)中傳遞數(shù)據(jù) 測量結(jié)果,,并相應(yīng)地修改權(quán)重開始的。這就是人工神經(jīng)網(wǎng)絡(luò)如何進(jìn)行“學(xué)習(xí)”的整個過程,。權(quán)重會按照能在最大程度上提高所需任務(wù)性能的方向被逐漸改變,,例如最大限度準(zhǔn)確識別輸入樣本的方向。人工神經(jīng)網(wǎng)絡(luò)這種學(xué)習(xí)過程,,可以比作一個試圖學(xué)習(xí)識別日常物品的孩子,。在嘗試失敗后,對答案的準(zhǔn)確性進(jìn)行反饋,,孩子再次嘗試不同的方向,,為了得到正確的反應(yīng)。 ANN在學(xué)習(xí)時執(zhí)行的都是相同的任務(wù),。一旦這個學(xué)習(xí)過程完成,,ANN就可以使用以前的問題表征來對學(xué)習(xí)過程中以前沒有接觸過的新刺激做出反應(yīng)。跟人類的孩子一樣,,ANN通過接觸盡可能多的類似問題,,讓自己學(xué)得更好。對于人類兒童,,練習(xí)的次數(shù)越多,,就能越快處理新的問題,因?yàn)楹⒆哟竽X中的相關(guān)神經(jīng)元連接變得更加明確,。而ANN則類似于更廣泛地分配有關(guān)任務(wù)的可能刺激的廣泛分布,,從而在以前沒有接觸過的相同分布中學(xué)習(xí),應(yīng)對新的刺激。 越多接觸越好:白天鵝 vs 黑天鵝 我們?nèi)祟愒陂L久的發(fā)展中學(xué)習(xí)到,,對于兒童來說,,暴露在現(xiàn)實(shí)世界中的機(jī)會越多,他們就能夠?qū)W得越好,,即使這種學(xué)習(xí)有時候是痛苦的,。事實(shí)上,當(dāng)學(xué)習(xí)是痛苦的時候,,痛苦本身就是一個很大的反饋機(jī)制,。類似地,要訓(xùn)練或微調(diào)任何類型的神經(jīng)網(wǎng)絡(luò),,將ANN暴露于特定領(lǐng)域中的各種刺激是非常重要的,,并且這可以確保你的模型不會對某一種刺激產(chǎn)生過擬合。 通過對特定類別的刺激進(jìn)行額外的表示,,網(wǎng)絡(luò)可以更好地分類新的刺激或生成概念,。這適用于生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò),雖然生物神經(jīng)網(wǎng)絡(luò)在泛化上做得更好,。這是真的,,部分是因?yàn)樗鼈儽┞队诟嗟臄?shù)據(jù)類型和模式,部分原因是由于更先進(jìn)的生物拓?fù)浜蛯W(xué)習(xí)算法,,并且在很大程度上是因?yàn)檫_(dá)爾文主義,。 這一說法的一個例子,來源于Nassim Taleb開發(fā)的“黑天鵝理論”,。這個術(shù)語來自于16世紀(jì)倫敦的一個“常識”,,有人認(rèn)為所有天鵝都是白色的,因?yàn)闆]有任何其他顏色的天鵝的記錄,。因此,,對他們來說,天鵝必須是白色的,,才能被分類為天鵝,。荷蘭探險家威爾明·德·弗萊明(Willem de Vlamingh)后來見到了西澳的黑天鵝,改變了這種固有的分類,。 這里的概念是,,如果一個人從小到大到只能看到白天鵝,也就是說,,一個人的神經(jīng)網(wǎng)絡(luò)只能在“所有的天鵝都是白色的”這一分布上進(jìn)行訓(xùn)練,,這個時候給他呈現(xiàn)一個“黑天鵝”,他就不能將它分類為天鵝,, 因?yàn)檫@是一個從未見過的天鵝。如果一個人從小到大看到天鵝有兩種顏色,那么他更適合對所有的天鵝類型進(jìn)行分類,,因?yàn)檫@個生物神經(jīng)網(wǎng)絡(luò)是在更大的天鵝類型分布上進(jìn)行訓(xùn)練的,,這些分布中包括了更多的知識,讓人可以更多地了解天鵝可能包含的屬性,。 泛化,,或者說從以前學(xué)到的知識進(jìn)行抽象的能力,是一種非常有用的功能,,可以通過輕微地權(quán)重調(diào)整,,快速地解決跨不同領(lǐng)域的問題。這是一個神經(jīng)網(wǎng)絡(luò)針對遷移學(xué)習(xí)和解決適應(yīng)性問題的方案,。 事實(shí)上,,不用重新連接很多的神經(jīng)元這一點(diǎn),也是平均而言經(jīng)?;┑娜艘鹊谝淮位┑娜嘶每斓囊粋€原因,。被訓(xùn)練用于物體檢測的人工神經(jīng)網(wǎng)絡(luò)在通過微調(diào)后,也能很好用于面部識別,,其性能往往比從頭開始在相同的面部識別數(shù)據(jù)集上嚴(yán)格訓(xùn)練的解決方案要更好,。 人 vs 機(jī)器 應(yīng)該清楚的是,今天的人工神經(jīng)網(wǎng)絡(luò)還處于起步階段,。雖然在結(jié)構(gòu)上類似,,對于權(quán)重概念,神經(jīng)元(功能單位),,拓?fù)鋵W(xué)習(xí)和學(xué)習(xí)算法,,它們還不能模仿人類對于許多復(fù)雜類型任務(wù)的處理能力。它們的拓?fù)浣Y(jié)構(gòu)要簡單得多,,它們的數(shù)量級要小一些,,學(xué)習(xí)算法比較幼稚。此外,,他們還不能同時接受許多異構(gòu)任務(wù)的訓(xùn)練,。 隨著我們繼續(xù)構(gòu)建ANN來解決諸如檢測以前未知類型的惡意軟件的難題,我們還將繼續(xù)了解人類大腦如何完成任務(wù),?;蛘吣承╊悇e的任務(wù),ANN實(shí)際上可以勝過人類分析人員的準(zhǔn)確性和速度,。大腦中的動作電位以千秒數(shù)傳播,,而ANN可以更快地對數(shù)據(jù)量進(jìn)行分類。 對于其他任務(wù),,ANN的優(yōu)勢補(bǔ)充和增強(qiáng)了即使是最強(qiáng)大的人類思維的能力,,使大型工作流程自動化。在不久的將來,ANN將開始在近人甚至超人的層面上執(zhí)行額外的任務(wù),,它們可能在數(shù)學(xué)和結(jié)構(gòu)上更類似于生物神經(jīng)網(wǎng)絡(luò),。 原文鏈接:https://news./en-us/2017/09/21/man-vs-machine-comparing-artificial-and-biological-neural-networks |
|