中國人工智能資訊智庫社交主平臺新智元主辦的 AI WORLD 2017 世界人工智能大會11月8日在北京國家會議中心舉行,，大會以“AI 新萬象，中國智能+”為主題,，上百位AI領(lǐng)袖作了覆蓋技術(shù),、學(xué)術(shù)和產(chǎn)業(yè)最前沿的報(bào)告和討論，2000多名業(yè)內(nèi)人士參會,。新智元創(chuàng)始人兼CEO楊靜在會上發(fā)布全球首個(gè)AI專家互動資訊平臺“新智元V享圈”,。

全程回顧新智元AI World 2017世界人工智能大會盛況：

新智元推薦

【新智元導(dǎo)讀】本文簡單的介紹了神經(jīng)網(wǎng)絡(luò)近50年的發(fā)展歷程，從1968年的Hubel和Wiesel開展的貓實(shí)驗(yàn),，一直到李飛飛教授等人的成果,。從本質(zhì)上講解了人工神經(jīng)網(wǎng)絡(luò)的原理及學(xué)習(xí)過程，對于想了解神經(jīng)網(wǎng)絡(luò)起源及發(fā)展歷程的讀者而言,，是一篇較為合適的文章,。

如何像人類大腦一樣完成一項(xiàng)視覺任務(wù)是復(fù)雜的，比如深度感知,、目標(biāo)跟蹤,、邊緣檢測等，而掃描環(huán)境和定位是大腦經(jīng)常做的事情,，這些都被人們認(rèn)為是理所當(dāng)然的事情,。在過去某段時(shí)間里，研究者們可能從來沒有想過創(chuàng)建類似人類大腦處理任務(wù)一樣的系統(tǒng),。然而，在過去的50年中,，我們已經(jīng)從神經(jīng)科學(xué)中看似一些小的突破轉(zhuǎn)向能夠描述圖片中場景的“電腦”,。

在神經(jīng)科學(xué)課程教學(xué)過程中，有很多趣聞發(fā)生以幫助同學(xué)們更好地理解大腦是如何工作的,。比如Phineas Gauge是一名美國的鐵路工人,，在某次施工時(shí)遭遇爆炸事故，被一根鐵棍擊穿頭顱,，幸運(yùn)的是他活了下來,，但是他的左額葉皮質(zhì)受到損傷,，導(dǎo)致語言障礙，同時(shí)也影響其生理性格,；還有Britten的論文描述大腦何時(shí)再混亂的移動點(diǎn)鐘發(fā)現(xiàn)信號,。所有這些零碎的研究開始加深我們對大腦如何工作的理解。

還有類似的一個(gè)例子,，為人類視覺和計(jì)算機(jī)視覺的大量研究奠定了基礎(chǔ),，那就是著名的Hubel和Wiesel的研究。由于二人在心理學(xué)上的突出貢獻(xiàn),，獲得了1981年的諾貝爾和平獎,，此外他們在視覺系統(tǒng)的信息處理方面也獲得了突破性的發(fā)現(xiàn)。他們打響了研究神經(jīng)元的第一槍,，他們通過連接一個(gè)電極到一個(gè)神經(jīng)元上,，就能夠聽到神經(jīng)元對一條光的刺激作出的反應(yīng)。他們對V1大腦皮層神經(jīng)元的工作原理有了新的了解,，這是令人興奮的新認(rèn)識,，該研究有助于闡明V1神經(jīng)元的映射和相關(guān)功能。

在下面的視頻中,，演示了 V1神經(jīng)元是如何對待位置和角度的光條做出反應(yīng)的,，當(dāng)光條移動時(shí)，就會有裂紋,，這表明你聽到貓的神經(jīng)元對刺激做出的反應(yīng),。

視頻：http://v.youku.com/v_show/id_XNDc0MTg0NzA4.html?spm=5176.100239.blogcont241263.10.nADySV

通過這個(gè)實(shí)驗(yàn)，他們演示了幾種類型的神經(jīng)元只有在某些刺激下是如何被激活的,，另一個(gè)有趣的特征是細(xì)胞似乎自然地映射到不同角度,，如下圖所示，V1的每一部分都包含一組非常特殊的神經(jīng)元,，這些神經(jīng)元通常對特定角度的光條作出反應(yīng),。

這些細(xì)胞的反應(yīng)以某種方式結(jié)合起來，理論上能夠創(chuàng)建一個(gè)自下向上的自然世界形象,，也就是說,，通過接收許多神經(jīng)元對各種光條的反應(yīng)，人類大腦開始繪制出周圍的圖景,。

一晃近30年過去了,，江山代有才人出，時(shí)代屬于Olshausen和David JField二位研究者,。兩位研究人員都專注于計(jì)算神經(jīng)科學(xué)領(lǐng)域,，這個(gè)領(lǐng)域主要是研究大腦如何編碼和解碼信息，并推動了這個(gè)領(lǐng)域相關(guān)工作的進(jìn)一步發(fā)展,。事實(shí)上,，他們在自己的工作中引用了Hubel和Wiesel的研究成果,。此外，他們不只是注重單一的光條,，還拍攝了照片,，開始研究如何通過算法識別和編碼圖像內(nèi)部的特征。

他們在1996年（20多年前）寫的一篇叫做自然圖像統(tǒng)計(jì)和高效編碼,，本文的目的是討論在圖像識別應(yīng)用中失敗的Hebbian學(xué)習(xí)模型,。具體來說，Hebbian學(xué)習(xí)算法利用了主成分分析算法學(xué)習(xí),，但存在的問題是,，該模型不能同時(shí)學(xué)習(xí)定位、定向以及帶通結(jié)構(gòu)來繪制自然圖像,。從理論上講,，該模型部分源自于Hubel和Wiesel在關(guān)的研究成果，除此之外,，對192個(gè)神經(jīng)元的輸出進(jìn)行了建模,。

他們的研究表明，在對自然圖像客觀存在的規(guī)律進(jìn)行編碼時(shí),，模型的建立更多地側(cè)重于稀疏性會使得模型更有效,。

使用一個(gè)稀疏模型，該模型限制每個(gè)基函數(shù)列表所需的系數(shù)數(shù)目,，來表示一個(gè)圖像中的各種特征,，由下式證明：

其主體部分是為了找到實(shí)際圖像和函數(shù)表示圖像之間的最低平均誤差。

然后與代價(jià)函數(shù)一起迫使算法限制表示圖像表示所需的系數(shù)數(shù)量,。

使用梯度下降算法最大限度地減少表示圖像所需的系數(shù)數(shù)量,，但是該篇論文自身還沒有顯示出能夠?qū)⑻卣鬓D(zhuǎn)化為圖像的神經(jīng)網(wǎng)絡(luò)。

在1991年,，互聯(lián)網(wǎng)剛剛普及?，F(xiàn)在科學(xué)已經(jīng)從檢測貓的神經(jīng)元對光條刺激的反應(yīng)轉(zhuǎn)到神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，該模型能夠輸出圖像的實(shí)際特征,。在1996年的那篇論文中,，最后一行是“未來一項(xiàng)重要而令人興奮的挑戰(zhàn)將是如何將這些原理推理到更高級的皮層視覺領(lǐng)域以提供預(yù)測”。這是一個(gè)挑戰(zhàn),，通過利用低級的特,，然后創(chuàng)建一個(gè)自下而上的網(wǎng)絡(luò)模型來真正地預(yù)測一副圖像。

Olshausen等人的模型類似于上圖,，如果你對深度學(xué)習(xí)了解的話,，那么對這個(gè)輸出低級特征的矩陣看起來是不是非常熟悉,。

在過去的幾年中,，很多論文都使用了與上圖非常相似的矩陣,，這些矩陣被用作卷積神經(jīng)網(wǎng)絡(luò)的卷積層?？梢园l(fā)現(xiàn),，這應(yīng)該是模擬單個(gè)神經(jīng)元對視覺刺激的反應(yīng)方式。

此時(shí)此刻,，利用這些低層次的特征來預(yù)測圖像的實(shí)際背景不再是Olshausen等人論文中的最后一行中的理論猜想,，這在今天變成了現(xiàn)實(shí)。

這同時(shí)也說明了神經(jīng)元能夠識別光條的原因,，神經(jīng)網(wǎng)絡(luò)可以利用低層次的特征預(yù)測圖像所包含的信息,。2015年斯坦福大學(xué)的Andrej Karpathy和李飛飛發(fā)表了一篇關(guān)于這一問題的重要論文——Deep Visual-Semantic Alignments for Generating Image Descriptions。在這篇論文中,，演示了通過一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)能夠詳細(xì)描述圖像,，如下圖所示，不僅僅只是指出了圖片中有一只貓或一只狗,，而且能夠詳細(xì)描述圖像內(nèi)容,，比如“男孩在尾板上做后空翻”等。雖然現(xiàn)在它并不完美,，但它相較于1968年而言,，仍是一個(gè)跨越式的發(fā)展！

從1968年到現(xiàn)在,，這是一個(gè)漫長的發(fā)展過程,。本文引用的論文從1968年開始到2015結(jié)束都快有50年的時(shí)間。然而,，從大局來看,，神經(jīng)網(wǎng)絡(luò)的發(fā)展只會越來越快，它不僅僅只是用來識別圖像,，還被用于醫(yī)學(xué)圖像的癌癥檢測,、預(yù)測人類的情感表達(dá)、自動駕駛等等各個(gè)領(lǐng)域,。

接下來的50年里,，計(jì)算機(jī)視覺的發(fā)展前景如何？歡迎廣大讀者留言發(fā)表自己的看法,。

作者信息

SeattleDataGuy,，軟件工程師，專注于機(jī)器學(xué)習(xí),、深度學(xué)習(xí)以及數(shù)據(jù)科學(xué),。

本文由北郵@愛可可-愛生活老師推薦，阿里云云棲社區(qū)組織翻譯,。