文/王 楠 王國強

我們正在經歷一場智能革命，而這場智能革命建立在算法的基礎上。無論是智慧城市,、智能制造,、智慧醫(yī)療等宏大愿景，還是自動駕駛,、智能機器,、虛擬現(xiàn)實等前沿應用，抑或是智能購物,、智慧出行,、智能娛樂等生活日常,，“智能”的實現(xiàn)都離不開算法,。可以說,，我們生活在一個算法無所不在的時代,。

（接上期：古代算法思想及其發(fā)展）

人工智能時代的算法

1936年，英國數(shù)學家及計算機科學家圖靈（Alan Turing）提出被稱為“圖靈機”的計算數(shù)學模型,，其構想是將人的計算行為抽象為數(shù)學邏輯機器。圖靈機是現(xiàn)代通用計算機的理論基礎,，如今所有通用計算機都是圖靈機的一種實現(xiàn),。1943年,，美國數(shù)學家香農（Claude E. Shannon）和圖靈在貝爾實驗室探討了“人工智能”的可能性,。1950年，圖靈在一篇論文中預言了創(chuàng)造出具有真正智能的機器的可能性，并提出了判斷機器是否具有智能的思想實驗——圖靈測試,。1956年,，明斯基（Marvin Minsky）,、麥卡錫（John McCarthy）,、香農等13位科學家在美國達特茅斯學院召開會議,，標志著人工智能學科的誕生,，算法也由此進入人工智能時代,。

●機器學習

機器學習是人工智能和計算機科學的重要分支，是基于樣本數(shù)據(jù)構建模型并利用模型在沒有明確編程的情況下做出預測或決策的一類算法,。監(jiān)督學習、無監(jiān)督和強化學習是機器學習的基本方法,。

監(jiān)督學習使用人工標記的訓練樣本將已有知識應用于新數(shù)據(jù)，以預測未來事件,。1936年,，英國數(shù)學家費希爾（Ronald Fisher）提出的線性判別分析是最早的監(jiān)督學習算法,。20世紀50年代，基于貝葉斯決策理論的貝葉斯分類器開始被用于分類問題,。1958年,，美國認知心理學家羅森布拉特（Frank Rosenblatt）發(fā)明感知器算法，它被認為是人工神經網絡的前身,。

1958年,，美國認知心理學家羅森布拉特發(fā)明感知器算法

1967年，美國信息理論家科弗（Thomas Cover）和計算機科學家哈特（Peter Hart）提出基于模板匹配思想的K-最近鄰算法。20世紀八九十年代,，決策樹和神經網絡算法開始興起。1995年,，兩種重要算法——支持向量機和AdaBoost誕生,。支持向量機是處理線性分類和非線性分類問題的主要方法，而AdaBoost可以將許多其他類型的算法集成起來使用以達到最佳性能,。1995年至1997年，德國計算機科學家霍赫賴特（Sepp Hochreiter）和施米德胡貝（Juergen Schmidhuber）提出長短期記憶算法,，可以部分處理梯度消失問題,。2013年，長短期記憶算法與深度循環(huán)神經網絡結合成功應用于語音識別,。2001年，美國統(tǒng)計學家布賴曼（Leo Breiman）提出優(yōu)化的隨機森林算法,。隨機森林是一個用隨機方式建立的包含多個決策樹的分類器,，對多數(shù)據(jù)集和高維數(shù)據(jù)的處理有很大優(yōu)勢。監(jiān)督學習的常見應用場景包括評估信用分數(shù),、手寫識別,、語音識別、信息檢索,、財務分析,、偵測垃圾郵件等,。

無監(jiān)督學習是基于統(tǒng)計的學習方法,，通過對未知數(shù)據(jù)進行分析來發(fā)現(xiàn)數(shù)據(jù)隱藏特征。無監(jiān)督學習包括聚類和數(shù)據(jù)降維兩種主要算法類型。1963年,，美國空軍研究員沃德（Joe Ward）根據(jù)方差分析提出了最早的聚類算法——層次聚類算法,。1967年,，美國數(shù)學家麥奎因（James MacQueen）提出的k均值算法是聚類算法中知名度最高的算法,，在此基礎上出現(xiàn)了大量的改進算法和成功應用。1977年,，美國統(tǒng)計學家登普斯特（Arthur Dempster）提出最大期望算法,，被用于聚類問題和極大似然估計問題。1995年，美國辛辛那提大學教授程（Yizong Cheng）提出可用于計算機視覺和圖像處理的均值漂移算法,。2000年,，美國計算機科學家史建波（Jianbo Shi）推廣了譜聚類算法，可以將聚類問題轉化為圖的最優(yōu)切割問題,。最早的數(shù)據(jù)降維算法是1901年英國數(shù)學家及生物統(tǒng)計學家皮爾遜（Karl Pearson）提出的主成分分析法,，比第一臺真正的計算機的誕生早了40多年,。然而，在此后的近100年里數(shù)據(jù)降維算法在機器學習領域沒有出現(xiàn)重量級成果,。1998年,，德國計算機科學家舍爾科普夫（Bernhard Sch?lkopf）提出基于核方法的核主成分分析算法，可以實現(xiàn)高維數(shù)據(jù)的非線性降維,。2000年以后,，流形學習開始成為熱點，它的主要思想是將高維的數(shù)據(jù)映射到低維,，使該低維的數(shù)據(jù)能夠反映原高維數(shù)據(jù)的某些本質結構特征,。基于流行學習出現(xiàn)了局部線性嵌入,、拉普拉斯特征映射,、局部保持投影等距映射等新算法。2008年出現(xiàn)的t-分布式隨機鄰居嵌入算法是降維算法中最年輕的成員,。無監(jiān)督學習的常見應用場景包括反洗錢,、客戶分組、廣告推薦,、銷售趨勢預測等,。

強化學習源于心理學中的行為主義理論，強調智能體在獎勵或懲罰的環(huán)境刺激下如何做出能取得最大化預期利益的行動,，也就是說,，讓智能體在環(huán)境中自我學習。早在1954年,，明斯基就提出了“強化學習”的概念和術語,。1965年，美國普渡大學教授傅京孫（King-Sun Fu）在研究控制論時提出“智能控制”的概念,，明確了“試錯”作為強化學習的核心機制,。1957年，美國應用數(shù)學家貝爾曼（Richard Bellman）為了求解最優(yōu)控制問題的馬爾可夫決策過程提出了動態(tài)規(guī)劃法,，這一方法采用了類似強化學習的試錯迭代求解機制。最早的強化學習算法是1988年加拿大計算機科學家薩頓（Richard Sutton）提出的時序差分學習,，它不需要獲知環(huán)境的全部信息就可以直接從實際經驗來獲取信息,，同時不需要完整的收益反饋信息就可以實時更新決策。1989年,，英國計算機科學家沃特金斯（Chris Watkins）提出的Q學習進一步拓展了強化學習的應用,，使得強化學習不再依賴于問題模型，Q學習也因此成為最廣泛使用的強化學習方法之一,。此后近20年的時間里,，強化學習被監(jiān)督學習的光芒所遮掩而發(fā)展緩慢,。2010年以后，強化學習結合神經網絡發(fā)展出深度強化學習算法,，強化學習由此迎來大發(fā)展時期,。2013年，谷歌公司旗下的深度思維公司（DeepMind）發(fā)表了利用強化學習玩雅達利（Atari）游戲的論文,。2015年,，深度思維公司開發(fā)的AlphaGo程序擊敗了圍棋二段選手樊麾，成為第一個無須讓子即可以擊敗圍棋職業(yè)棋手的計算機圍棋程序,。2016年,，AlphaGo在一場五番棋比賽中以4:1擊敗頂尖圍棋職業(yè)棋手李世石。強化學習的常見應用場景包括無人駕駛,、機器翻譯,、醫(yī)療保健、新聞定制,、廣告營銷,、機器人控制等。

●深度學習

深度學習是機器學習的一個分支,，是一種模擬大腦神經網絡結構對數(shù)據(jù)進行表征學習的方法,。深度學習源于對人腦工作機制的研究。獲得1981年諾貝爾生理學或醫(yī)學獎的美國神經生理學家休伯爾（David Hubel）和維澤爾（Torsten Wiesel）發(fā)現(xiàn)人的視覺系統(tǒng)的信息處理是分級的,，人類對高層特征的感知基于低層特征的組合,。例如，對人臉的識別經過瞳孔攝入像素（形狀判斷）抽象出人臉概念——識別為人臉的過程,，從低層到高層的特征表達越來越抽象和概念化,。這一發(fā)現(xiàn)意味著大腦是一個深度架構，認知過程也是深度的,，而深度學習恰恰就是通過組合低層特征形成更加抽象的高層特征,。深度學習的發(fā)展可以分為感知器、神經網絡和深度學習等3個階段,。

1943年,，美國心理學家麥卡洛克（Warren S. McCulloch）和數(shù)理邏輯學家皮茨（Walter Pitts）提出人工神經網絡的概念，并構建了人工神經元的數(shù)學模型,，即MCP模型,，從而開創(chuàng)了人工神經網絡研究的時代。1949年,，加拿大心理學家赫布（Donald Hebb）描述了突觸可塑性的基本原理,，從神經科學理論上解釋了學習過程中大腦神經細胞所發(fā)生的變化。赫布理論是人工神經網絡的生物學基礎,。1958年,，羅森布拉特在康奈爾航空實驗室發(fā)明感知器算法,，這是世界上第一個具有完整算法描述的神經網絡學習算法。感知器算法是簡單配置的單層神經網絡,，可以區(qū)分三角形等基本形狀,。但是，受限于計算機硬件,，感知器算法在當時無法被廣泛應用,。1969年，明斯基和佩珀特（Seymour Papert）證明感知器不能解決簡單的異或（XOR）等線性不可分問題,，感知器研究隨之在20世紀70年代陷入低谷,。

1959年，休伯爾和維澤爾在研究貓的視覺神經系統(tǒng)時發(fā)現(xiàn),，在大腦的初級視覺皮層中存在兩種細胞：簡單細胞和復雜細胞,，其中，簡單細胞感知光照信息,，復雜細胞感知運動信息,。受此啟發(fā)，1980年日本計算機科學家福島邦彥（Kunihiko Fukushima）提出了一個網絡模型——“神經認知機”（Neocognitron）,。這種網絡分成多層,，每層由一種神經元組成。在網絡內部,，兩種神經元交替出現(xiàn),，分別用來提取圖形信息和組合圖形信息。這兩種神經元后來分別演化成卷積層（Convolution Layer）和提取層（Pooling Layer）,。然而,，這個網絡的神經元都是人工設計的而不能根據(jù)計算結果自動調整，所以只能識別少量簡單數(shù)字而不具備學習能力,。

1982年,，美國物理學家霍普菲爾德（John J. Hopfield）基于統(tǒng)計物理提出了有少量記憶能力的霍普菲爾德神經網絡模型，開創(chuàng)性地論證了按照赫布法則設計權重的神經網絡穩(wěn)定性問題,。同年,，芬蘭計算機科學家科霍寧（Teuvo Kohonen）通過模擬大腦神經元的信號處理機制，提出了自組織映射網絡,，被用于數(shù)據(jù)分析和數(shù)據(jù)探索,，其第一個應用領域是語音分析?？苹魧幍年P鍵發(fā)明是引入了一個系統(tǒng)模型，包含一個實現(xiàn)贏家通吃功能的競爭性神經網絡和一個實現(xiàn)可塑性控制的子系統(tǒng),。1987年,，美國科學家格羅斯伯格（Stephen Grossberg）和卡彭特（Gail Carpenter）提出了自適應共振理論網絡,，通過讓已知信息和未知信息發(fā)生“共振”，從已知信息推測未知信息來實現(xiàn)類比學習,。然而,，這些神經網絡存在學習效率不高、需要不斷優(yōu)化設計,、網絡記憶容量小等不足,，實際應用范圍有限。

1986年,，美國心理學家魯姆哈特（David Rumelhart）,、計算機科學家威廉姆斯（Ronald Williams）和加拿大認知心理學家及計算機科學家欣頓（Geoffrey Hinton）共同提出反向傳播算法（BP算法）。BP算法通過梯度的鏈式法則使輸出結果和真實值之間的差異反饋到每一層的權重中,，從而讓每一層函數(shù)都能像感知機那樣得到訓練,。BP算法階段性解決了神經網絡自適應、自主學習的難題,。1989年,，貝爾實驗室的法國計算機科學家楊立昆（Yann LeCun）第一次成功實現(xiàn)了神經網絡的實踐應用。他將卷積神經網絡與BP算法結合,，提出LeNet網絡,。20世紀90年代，美國郵政署將LeNet網絡用于自動讀取信封上的郵政編碼,。然而,，基于BP算法的神經網絡僅能求解局部最優(yōu)，而且這種情況隨著網絡層數(shù)的增加越來越嚴重,，這一問題制約了神經網絡的發(fā)展,。

2006年，欣頓提出深度學習算法,，通過無監(jiān)督學習和逐層預訓練的方式有效降低了訓練難度,，從而解決了BP神經網絡難以達到全局最優(yōu)的問題。2012年,，欣頓的研究小組采用深度學習贏得了ImageNet圖像分類比賽的冠軍,，準確率超出第二名10%以上，在計算機視覺領域產生極大震動,，引發(fā)了深度學習的熱潮,。2013年，《麻省理工科技評論》將深度學習列為年度世界十大技術突破之首,。如今,，深度學習已經被廣泛用于搜索引擎、語音識別、自動機器翻譯,、自然語言處理,、自動駕駛、人臉識別等領域,，是人工智能最熱門的研究方向之一,。

王楠，中國科協(xié)創(chuàng)新戰(zhàn)略研究院博士后,，主要研究方向為科技戰(zhàn)略和科技政策,。

王國強，中國科協(xié)創(chuàng)新戰(zhàn)略研究院研究員,，博士,，主要研究方向為科技史、科技政策和科技傳播,。