人工智能[8]

人工智能,，是從哪兒來的

從始至此，人工智能(AI)便在充滿未知的道路探索,，曲折起伏,，我們可將這段發(fā)展歷程大致劃分為5個階段期：

起步發(fā)展期：1943年—20世紀(jì)60年代

反思發(fā)展期：20世紀(jì)70年代

應(yīng)用發(fā)展期：20世紀(jì)80年代

平穩(wěn)發(fā)展期：20世紀(jì)90年代—2010年

蓬勃發(fā)展期：2011年至今

2.1 起步發(fā)展期：1943年—20世紀(jì)60年代

人工智能概念的提出后，發(fā)展出了符號主義,、聯(lián)結(jié)主義(神經(jīng)網(wǎng)絡(luò)),，相繼取得了一批令人矚目的研究成果，如機器定理證明,、跳棋程序,、人機對話等，掀起人工智能發(fā)展的第一個高潮,。

1943年,，美國神經(jīng)科學(xué)家麥卡洛克（Warren McCulloch）和邏輯學(xué)家皮茨（Water Pitts）提出神經(jīng)元的數(shù)學(xué)模型，這是現(xiàn)代人工智能學(xué)科的奠基石之一,。

1950年,，艾倫·麥席森·圖靈（Alan Mathison Turing）提出“圖靈測試”（測試機器是否能表現(xiàn)出與人無法區(qū)分的智能），讓機器產(chǎn)生智能這一想法開始進(jìn)入人們的視野,。

1950年,，克勞德·香農(nóng)（Claude Shannon）提出計算機博弈。

1956年,，達(dá)特茅斯學(xué)院人工智能夏季研討會上正式使用了人工智能（artificial intelligence,，AI）這一術(shù)語。這是人類歷史上第一次人工智能研討,，標(biāo)志著人工智能學(xué)科的誕生。

1957年,弗蘭克·羅森布拉特（Frank Rosenblatt）在一臺IBM-704計算機上模擬實現(xiàn)了一種他發(fā)明的叫做“感知機”（Perceptron）的神經(jīng)網(wǎng)絡(luò)模型,。

感知機可以被視為一種最簡單形式的前饋式人工神經(jīng)網(wǎng)絡(luò),，是一種二分類的線性分類判別模型，其輸入為實例的特征向量想（x1,x2…），神經(jīng)元的激活函數(shù)f為sign,，輸出為實例的類別（+1或者-1）,，模型的目標(biāo)是要將輸入實例通過超平面將正負(fù)二類分離。

1958年,，David Cox提出了logistic regression,。

LR是類似于感知機結(jié)構(gòu)的線性分類判別模型，主要不同在于神經(jīng)元的激活函數(shù)f為sigmoid,，模型的目標(biāo)為(最大似然)極大化正確分類概率,。

1959年，Arthur Samuel給機器學(xué)習(xí)了一個明確概念：Field of study that gives computers the ability to learn without being explicitly programmed.（機器學(xué)習(xí)是研究如何讓計算機不需要顯式的程序也可以具備學(xué)習(xí)的能力）,。

1961年,，Leonard Merrick Uhr 和 Charles M Vossler發(fā)表了題目為A Pattern Recognition Program That Generates, Evaluates and Adjusts its Own Operators 的模式識別論文，該文章描述了一種利用機器學(xué)習(xí)或自組織過程設(shè)計的模式識別程序的嘗試,。

1965年,，古德（I. J. Good）發(fā)表了一篇對人工智能未來可能對人類構(gòu)成威脅的文章，可以算“AI威脅論”的先驅(qū),。他認(rèn)為機器的超級智能和無法避免的智能爆炸最終將超出人類可控范疇,。后來著名科學(xué)家霍金、發(fā)明家馬斯克等人對人工智能的恐怖預(yù)言跟古德半個世界前的警告遙相呼應(yīng),。

1966 年,，麻省理工學(xué)院科學(xué)家Joseph Weizenbaum 在 ACM 上發(fā)表了題為《ELIZA-a computer program for the study of natural language communication between man and machine》文章描述了ELIZA 的程序如何使人與計算機在一定程度上進(jìn)行自然語言對話成為可能，ELIZA 的實現(xiàn)技術(shù)是通過關(guān)鍵詞匹配規(guī)則對輸入進(jìn)行分解,，而后根據(jù)分解規(guī)則所對應(yīng)的重組規(guī)則來生成回復(fù),。

1967年，Thomas等人提出K最近鄰算法（The nearest neighbor algorithm）,。

KNN的核心思想,，即給定一個訓(xùn)練數(shù)據(jù)集，對新的輸入實例Xu,，在訓(xùn)練數(shù)據(jù)集中找到與該實例最鄰近的K個實例,，以這K個實例的最多數(shù)所屬類別作為新實例Xu的類別。

1968年,，愛德華·費根鮑姆（Edward Feigenbaum）提出首個專家系統(tǒng)DENDRAL,，并對知識庫給出了初步的定義，這也孕育了后來的第二次人工智能浪潮,。該系統(tǒng)具有非常豐富的化學(xué)知識,，可根據(jù)質(zhì)譜數(shù)據(jù)幫助化學(xué)家推斷分子結(jié)構(gòu)。

專家系統(tǒng)（Expert Systems）是AI的一個重要分支,，同自然語言理解,，機器人學(xué)并列為AI的三大研究方向,。它的定義是使用人類專家推理的計算機模型來處理現(xiàn)實世界中需要專家作出解釋的復(fù)雜問題，并得出與專家相同的結(jié)論,，可視作“知識庫(knowledge base)”和“推理機(inference machine)” 的結(jié)合,。

1969年，“符號主義”代表人物馬文·明斯基（Marvin Minsky）的著作《感知器》提出對XOR線性不可分的問題：單層感知器無法劃分XOR原數(shù)據(jù),，解決這問題需要引入更高維非線性網(wǎng)絡(luò)（MLP, 至少需要兩層）,，但多層網(wǎng)絡(luò)并無有效的訓(xùn)練算法。這些論點給神經(jīng)網(wǎng)絡(luò)研究以沉重的打擊,，神經(jīng)網(wǎng)絡(luò)的研究走向長達(dá)10年的低潮時期,。

2.2 反思發(fā)展期：20世紀(jì)70年代

人工智能發(fā)展初期的突破性進(jìn)展大大提升了人們對人工智能的期望，人們開始嘗試更具挑戰(zhàn)性的任務(wù),，然而計算力及理論等的匱乏使得不切實際目標(biāo)的落空,，人工智能的發(fā)展走入低谷。

1974年,，哈佛大學(xué)沃伯斯(Paul Werbos)博士論文里,，首次提出了通過誤差的反向傳播(BP)來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)，但在該時期未引起重視,。

BP算法的基本思想不是（如感知器那樣）用誤差本身去調(diào)整權(quán)重,，而是用誤差的導(dǎo)數(shù)（梯度）調(diào)整。通過誤差的梯度做反向傳播,，更新模型權(quán)重, 以下降學(xué)習(xí)的誤差,，擬合學(xué)習(xí)目標(biāo)，實現(xiàn)“網(wǎng)絡(luò)的萬能近似功能”的過程,。

1975年,，馬文·明斯基(Marvin Minsky)在論文《知識表示的框架》(A Framework for Representing Knowledge)中提出用于人工智能中的知識表示學(xué)習(xí)框架理論。

1976年,，蘭德爾·戴維斯（Randall Davis）構(gòu)建和維護的大規(guī)模的知識庫,，提出使用集成的面向?qū)ο竽Ｐ涂梢蕴岣咧R庫（KB）開發(fā)、維護和使用的完整性,。

1976年,，斯坦福大學(xué)的肖特利夫(Edward H. Shortliffe)等人完成了第一個用于血液感染病的診斷、治療和咨詢服務(wù)的醫(yī)療專家系統(tǒng)MYCIN,。

1976年,，斯坦福大學(xué)的博士勒納特發(fā)表論文《數(shù)學(xué)中發(fā)現(xiàn)的人工智能方法——啟發(fā)式搜索》，描述了一個名為“AM”的程序,，在大量啟發(fā)式規(guī)則的指導(dǎo)下開發(fā)新概念數(shù)學(xué),，最終重新發(fā)現(xiàn)了數(shù)百個常見的概念和定理。

1977年,，海斯·羅思(Hayes. Roth)等人的基于邏輯的機器學(xué)習(xí)系統(tǒng)取得較大的進(jìn)展,，但只能學(xué)習(xí)單一概念,，也未能投入實際應(yīng)用,。

1979年,，漢斯·貝利納（Hans Berliner）打造的計算機程序戰(zhàn)勝雙陸棋世界冠軍成為標(biāo)志性事件。(隨后,，基于行為的機器人學(xué)在羅德尼·布魯克斯和薩頓等人的推動下快速發(fā)展,，成為人工智能一個重要的發(fā)展分支。格瑞·特索羅等人打造的自我學(xué)習(xí)雙陸棋程序又為后來的強化學(xué)習(xí)的發(fā)展奠定了基礎(chǔ),。)

2.3 應(yīng)用發(fā)展期：20世紀(jì)80年代

人工智能走入應(yīng)用發(fā)展的新高潮,。專家系統(tǒng)模擬人類專家的知識和經(jīng)驗解決特定領(lǐng)域的問題，實現(xiàn)了人工智能從理論研究走向?qū)嶋H應(yīng)用,、從一般推理策略探討轉(zhuǎn)向運用專門知識的重大突破,。而機器學(xué)習(xí)(特別是神經(jīng)網(wǎng)絡(luò))探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法，在大量的實際應(yīng)用中也開始慢慢復(fù)蘇,。

1980年,，在美國的卡內(nèi)基梅隆大學(xué)(CMU)召開了第一屆機器學(xué)習(xí)國際研討會，標(biāo)志著機器學(xué)習(xí)研究已在全世界興起,。

1980年,，德魯·麥狄蒙（Drew McDermott）和喬恩·多伊爾（Jon Doyle）提出非單調(diào)邏輯，以及后期的機器人系統(tǒng),。

1980年,，卡耐基梅隆大學(xué)為DEC公司開發(fā)了一個名為XCON的專家系統(tǒng)，每年為公司節(jié)省四千萬美元,，取得巨大成功,。

1981年，保羅（R.P.Paul）出版第一本機器人學(xué)課本,，“Robot Manipulator：Mathematics,，Programmings and Control”，標(biāo)志著機器人學(xué)科走向成熟,。

1982年,，馬爾（David Marr）發(fā)表代表作《視覺計算理論》提出計算機視覺（Computer Vision）的概念，并構(gòu)建系統(tǒng)的視覺理論,，對認(rèn)知科學(xué)（CognitiveScience）也產(chǎn)生了很深遠(yuǎn)的影響,。

1982年，約翰·霍普菲爾德（John Hopfield） 發(fā)明了霍普菲爾德網(wǎng)絡(luò),，這是最早的RNN的雛形,。霍普菲爾德神經(jīng)網(wǎng)絡(luò)模型是一種單層反饋神經(jīng)網(wǎng)絡(luò)（神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要可分為前饋神經(jīng)網(wǎng)絡(luò),、反饋神經(jīng)網(wǎng)絡(luò)及圖網(wǎng)絡(luò)）,，從輸出到輸入有反饋連接,。它的出現(xiàn)振奮了神經(jīng)網(wǎng)絡(luò)領(lǐng)域，在人工智能之機器學(xué)習(xí),、聯(lián)想記憶,、模式識別、優(yōu)化計算,、VLSI和光學(xué)設(shè)備的并行實現(xiàn)等方面有著廣泛應(yīng)用,。

1983年，Terrence Sejnowski, Hinton等人發(fā)明了玻爾茲曼機（Boltzmann Machines）,，也稱為隨機霍普菲爾德網(wǎng)絡(luò),，它本質(zhì)是一種無監(jiān)督模型，用于對輸入數(shù)據(jù)進(jìn)行重構(gòu)以提取數(shù)據(jù)特征做預(yù)測分析,。

1985年,，朱迪亞·珀爾提出貝葉斯網(wǎng)絡(luò)(Bayesian network)，他以倡導(dǎo)人工智能的概率方法和發(fā)展貝葉斯網(wǎng)絡(luò)而聞名,，還因發(fā)展了一種基于結(jié)構(gòu)模型的因果和反事實推理理論而受到贊譽,。

貝葉斯網(wǎng)絡(luò)是一種模擬人類推理過程中因果關(guān)系的不確定性處理模型，如常見的樸素貝葉斯分類算法就是貝葉斯網(wǎng)絡(luò)最基本的應(yīng)用,。

貝葉斯網(wǎng)絡(luò)拓樸結(jié)構(gòu)是一個有向無環(huán)圖(DAG),，通過把某個研究系統(tǒng)中涉及的隨機變量，根據(jù)是否條件獨立繪制在一個有向圖中,，以描述隨機變量之間的條件依賴,，用圈表示隨機變量(random variables)，用箭頭表示條件依賴(conditional dependencies)就形成了貝葉斯網(wǎng)絡(luò),。

對于任意的隨機變量,，其聯(lián)合概率可由各自的局部條件概率分布相乘而得出。如圖中b依賴于a(即：a->b),，c依賴于a和b,，a獨立無依賴，根據(jù)貝葉斯定理有 P(a,b,c) = P(a)*P(b|a)*P(c|a,b)

1986年,，羅德尼·布魯克斯(Brooks)發(fā)表論文《移動機器人魯棒分層控制系統(tǒng)》,，標(biāo)志著基于行為的機器人學(xué)科的創(chuàng)立，機器人學(xué)界開始把注意力投向?qū)嶋H工程主題,。

1986年,，辛頓(Geoffrey Hinton)等人先后提出了多層感知器(MLP)與反向傳播（BP）訓(xùn)練相結(jié)合的理念（該方法在當(dāng)時計算力上還是有很多挑戰(zhàn)，基本上都是和鏈?zhǔn)角髮?dǎo)的梯度算法相關(guān)的）,，這也解決了單層感知器不能做非線性分類的問題,，開啟了神經(jīng)網(wǎng)絡(luò)新一輪的高潮。

1986年,，昆蘭（Ross Quinlan）提出ID3決策樹算法,。

決策樹模型可視為多個規(guī)則(if, then)的組合,，與神經(jīng)網(wǎng)絡(luò)黑盒模型截然不同是，它擁有良好的模型解釋性,。

ID3算法核心的思想是通過自頂向下的貪心策略構(gòu)建決策樹：根據(jù)信息增益來選擇特征進(jìn)行劃分（信息增益的含義是 引入屬性A的信息后,，數(shù)據(jù)D的不確定性減少程度。也就是信息增益越大,，區(qū)分D的能力就越強),，依次遞歸地構(gòu)建決策樹,。

1989年,，George Cybenko證明了“萬能近似定理”（universal approximation theorem）。簡單來說,，多層前饋網(wǎng)絡(luò)可以近似任意函數(shù),，其表達(dá)力和圖靈機等價。這就從根本上消除了Minsky對神經(jīng)網(wǎng)絡(luò)表達(dá)力的質(zhì)疑,。

“萬能近似定理”可視為神經(jīng)網(wǎng)絡(luò)的基本理論：?個前饋神經(jīng)?絡(luò)如果具有線性層和?少?層具有 “擠壓” 性質(zhì)的激活函數(shù)（如 sigmoid 等）,，給定?絡(luò)?夠數(shù)量的隱藏單元，它可以以任意精度來近似任何從?個有限維空間到另?個有限維空間的 borel 可測函數(shù),。

1989年,，LeCun (CNN之父) 結(jié)合反向傳播算法與權(quán)值共享的卷積神經(jīng)層發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）,，并首次將卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用到美國郵局的手寫字符識別系統(tǒng)中,。

卷積神經(jīng)網(wǎng)絡(luò)通常由輸入層、卷積層,、池化（Pooling）層和全連接層組成,。卷積層負(fù)責(zé)提取圖像中的局部特征，池化層用來大幅降低參數(shù)量級(降維),，全連接層類似傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的部分,，用來輸出想要的結(jié)果。

2.4 平穩(wěn)發(fā)展期：20世紀(jì)90年代—2010年

由于互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展,，加速了人工智能的創(chuàng)新研究,，促使人工智能技術(shù)進(jìn)一步走向?qū)嵱没斯ぶ悄芟嚓P(guān)的各個領(lǐng)域都取得長足進(jìn)步,。在2000年代初,，由于專家系統(tǒng)的項目都需要編碼太多的顯式規(guī)則，這降低了效率并增加了成本,，人工智能研究的重心從基于知識系統(tǒng)轉(zhuǎn)向了機器學(xué)習(xí)方向,。

1995年，Cortes和Vapnik提出聯(lián)結(jié)主義經(jīng)典的支持向量機(Support Vector Machine),，它在解決小樣本,、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢,，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中。

支持向量機（Support Vector Machine, SVM）可以視為在感知機基礎(chǔ)上的改進(jìn),，是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的廣義線性分類器,。與感知機主要差異在于：1、感知機目標(biāo)是找到一個超平面將各樣本盡可能分離正確(有無數(shù)個),，SVM目標(biāo)是找到一個超平面不僅將各樣本盡可能分離正確,，還要使各樣本離超平面距離最遠(yuǎn)(只有一個最大邊距超平面)，SVM的泛化能力更強,。2,、對于線性不可分的問題，不同于感知機的增加非線性隱藏層,，SVM利用核函數(shù),，本質(zhì)上都是實現(xiàn)特征空間非線性變換，使可以被線性分類,。

1995年,， Freund和schapire提出了 AdaBoost (Adaptive Boosting)算法。AdaBoost采用的是Boosting集成學(xué)習(xí)方法——串行組合弱學(xué)習(xí)器以達(dá)到更好的泛化性能,。另外一種重要集成方法是以隨機森林為代表的Bagging并行組合的方式,。以“偏差-方差分解”分析，Boosting方法主要優(yōu)化偏差,，Bagging主要優(yōu)化方差,。

Adaboost迭代算法基本思想主要是通過調(diào)節(jié)的每一輪各訓(xùn)練樣本的權(quán)重(錯誤分類的樣本權(quán)重更高)，串行訓(xùn)練出不同分類器,。最終以各分類器的準(zhǔn)確率作為其組合的權(quán)重,，一起加權(quán)組合成強分類器。

1997年國際商業(yè)機器公司（簡稱IBM）深藍(lán)超級計算機戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫,。深藍(lán)是基于暴力窮舉實現(xiàn)國際象棋領(lǐng)域的智能,，通過生成所有可能的走法，然后執(zhí)行盡可能深的搜索,，并不斷對局面進(jìn)行評估,，嘗試找出最佳走法。

1997年,，Sepp Hochreiter 和 Jürgen Schmidhuber提出了長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM),。

LSTM是一種復(fù)雜結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），結(jié)構(gòu)上引入了遺忘門,、輸入門及輸出門：輸入門決定當(dāng)前時刻網(wǎng)絡(luò)的輸入數(shù)據(jù)有多少需要保存到單元狀態(tài),，遺忘門決定上一時刻的單元狀態(tài)有多少需要保留到當(dāng)前時刻，輸出門控制當(dāng)前單元狀態(tài)有多少需要輸出到當(dāng)前的輸出值。這樣的結(jié)構(gòu)設(shè)計可以解決長序列訓(xùn)練過程中的梯度消失問題,。

1998年,，萬維網(wǎng)聯(lián)盟的蒂姆·伯納斯·李(Tim Berners-Lee)提出語義網(wǎng)(Semantic Web)的概念。其核心思想是：通過給萬維網(wǎng)上的文檔（如HTML）添加能夠被計算機所理解的語義(Meta data),，從而使整個互聯(lián)網(wǎng)成為一個基于語義鏈接的通用信息交換媒介,。換言之，就是構(gòu)建一個能夠?qū)崿F(xiàn)人與電腦無障礙溝通的智能網(wǎng)絡(luò),。

2001年,，John Lafferty首次提出條件隨機場模型（Conditional random field，CRF）,。

CRF是基于貝葉斯理論框架的判別式概率圖模型,，在給定條件隨機場P ( Y ∣ X ) 和輸入序列x，求條件概率最大的輸出序列y *,。在許多自然語言處理任務(wù)中比如分詞,、命名實體識別等表現(xiàn)尤為出色。

2001年,，布雷曼博士提出隨機森林（Random Forest）。

隨機森林是將多個有差異的弱學(xué)習(xí)器(決策樹)Bagging并行組合,，通過建立多個的擬合較好且有差異模型去組合決策,，以優(yōu)化泛化性能的一種集成學(xué)習(xí)方法。多樣差異性可減少對某些特征噪聲的依賴,，降低方差（過擬合）,，組合決策可消除些學(xué)習(xí)器間的偏差。

隨機森林算法的基本思路是對于每一弱學(xué)習(xí)器(決策樹)有放回的抽樣構(gòu)造其訓(xùn)練集,，并隨機抽取其可用特征子集,，即以訓(xùn)練樣本及特征空間的多樣性訓(xùn)練出N個不同的弱學(xué)習(xí)器，最終結(jié)合N個弱學(xué)習(xí)器的預(yù)測（類別或者回歸預(yù)測數(shù)值）,，取最多數(shù)類別或平均值作為最終結(jié)果,。

2003年，David Blei, Andrew Ng和 Michael I. Jordan于2003年提出LDA（Latent Dirichlet Allocation）,。

LDA是一種無監(jiān)督方法,，用來推測文檔的主題分布，將文檔集中每篇文檔的主題以概率分布的形式給出,，可以根據(jù)主題分布進(jìn)行主題聚類或文本分類,。

2003年，Google公布了3篇大數(shù)據(jù)奠基性論文,，為大數(shù)據(jù)存儲及分布式處理的核心問題提供了思路：非結(jié)構(gòu)化文件分布式存儲（GFS）,、分布式計算（MapReduce）及結(jié)構(gòu)化數(shù)據(jù)存儲（BigTable），并奠定了現(xiàn)代大數(shù)據(jù)技術(shù)的理論基礎(chǔ)。

2005 年,，波士頓動力公司推出一款動力平衡四足機器狗,，有較強的通用性，可適應(yīng)較復(fù)雜的地形,。

2006年,，杰弗里·辛頓以及他的學(xué)生魯斯蘭·薩拉赫丁諾夫正式提出了深度學(xué)習(xí)的概念（Deeping Learning），開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮,。2006年也被稱為深度學(xué)習(xí)元年,，杰弗里·辛頓也因此被稱為深度學(xué)習(xí)之父。

深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究,，它的本質(zhì)是使用多個隱藏層網(wǎng)絡(luò)結(jié)構(gòu),，通過大量的向量計算，學(xué)習(xí)數(shù)據(jù)內(nèi)在信息的高階表示,。

2010年,，Sinno Jialin Pan和 Qiang Yang發(fā)表文章《遷移學(xué)習(xí)的調(diào)查》。

遷移學(xué)習(xí)(transfer learning)通俗來講,，就是運用已有的知識（如訓(xùn)練好的網(wǎng)絡(luò)權(quán)重）來學(xué)習(xí)新的知識以適應(yīng)特定目標(biāo)任務(wù),，核心是找到已有知識和新知識之間的相似性。

2.5 蓬勃發(fā)展期：2011年至今

隨著大數(shù)據(jù),、云計算,、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等信息技術(shù)的發(fā)展,，泛在感知數(shù)據(jù)和圖形處理器等計算平臺推動以深度神經(jīng)網(wǎng)絡(luò)為代表的人工智能技術(shù)飛速發(fā)展,，大幅跨越了科學(xué)與應(yīng)用之間的技術(shù)鴻溝，諸如圖像分類,、語音識別,、知識問答、人機對弈,、無人駕駛等人工智能技術(shù)實現(xiàn)了重大的技術(shù)突破,，迎來爆發(fā)式增長的新高潮。

2011年,，IBM Watson問答機器人參與Jeopardy回答測驗比賽最終贏得了冠軍,。Waston是一個集自然語言處理、知識表示,、自動推理及機器學(xué)習(xí)等技術(shù)實現(xiàn)的電腦問答（Q&A）系統(tǒng),。

2012年，Hinton和他的學(xué)生Alex Krizhevsky設(shè)計的AlexNet神經(jīng)網(wǎng)絡(luò)模型在ImageNet競賽大獲全勝,，這是史上第一次有模型在 ImageNet 數(shù)據(jù)集表現(xiàn)如此出色,，并引爆了神經(jīng)網(wǎng)絡(luò)的研究熱情。

AlexNet是一個經(jīng)典的CNN模型，在數(shù)據(jù),、算法及算力層面均有較大改進(jìn),，創(chuàng)新地應(yīng)用了Data Augmentation、ReLU,、Dropout和LRN等方法,，并使用GPU加速網(wǎng)絡(luò)訓(xùn)練。

2012年,，谷歌正式發(fā)布谷歌知識圖譜Google Knowledge Graph）,，它是Google的一個從多種信息來源匯集的知識庫，通過Knowledge Graph來在普通的字串搜索上疊一層相互之間的關(guān)系,，協(xié)助使用者更快找到所需的資料的同時,，也可以知識為基礎(chǔ)的搜索更近一步，以提高Google搜索的質(zhì)量,。

知識圖譜是結(jié)構(gòu)化的語義知識庫,，是符號主義思想的代表方法，用于以符號形式描述物理世界中的概念及其相互關(guān)系,。其通用的組成單位是RDF三元組(實體-關(guān)系-實體),，實體間通過關(guān)系相互聯(lián)結(jié)，構(gòu)成網(wǎng)狀的知識結(jié)構(gòu),。

2013年,，Durk Kingma和Max Welling在ICLR上以文章《Auto-Encoding Variational Bayes》提出變分自編碼器（Variational Auto-Encoder，VAE）,。

VAE基本思路是將真實樣本通過編碼器網(wǎng)絡(luò)變換成一個理想的數(shù)據(jù)分布，然后把數(shù)據(jù)分布再傳遞給解碼器網(wǎng)絡(luò),，構(gòu)造出生成樣本,，模型訓(xùn)練學(xué)習(xí)的過程是使生成樣本與真實樣本足夠接近。

2013年,，Google的Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》提出經(jīng)典的 Word2Vec模型用來學(xué)習(xí)單詞分布式表示,，因其簡單高效引起了工業(yè)界和學(xué)術(shù)界極大的關(guān)注。

Word2Vec基本的思想是學(xué)習(xí)每個單詞與鄰近詞的關(guān)系,，從而將單詞表示成低維稠密向量,。通過這樣的分布式表示可以學(xué)習(xí)到單詞的語義信息，直觀來看,，語義相似的單詞的距離相近,。

Word2Vec網(wǎng)絡(luò)結(jié)構(gòu)是一個淺層神經(jīng)網(wǎng)絡(luò)（輸入層-線性全連接隱藏層->輸出層），按訓(xùn)練學(xué)習(xí)方式可分為CBOW模型(以一個詞語作為輸入,，來預(yù)測它的鄰近詞)或Skip-gram模型 (以一個詞語的鄰近詞作為輸入,，來預(yù)測這個詞語)。

2014年，聊天程序“尤金·古斯特曼”（Eugene Goostman）在英國皇家學(xué)會舉行的“2014圖靈測試”大會上,，首次“通過”了圖靈測試,。

2014年，Goodfellow及Bengio等人提出生成對抗網(wǎng)絡(luò)（Generative Adversarial Network,，GAN）,，被譽為近年來最酷炫的神經(jīng)網(wǎng)絡(luò)。

GAN是基于強化學(xué)習(xí)(RL)思路設(shè)計的,，由生成網(wǎng)絡(luò)(Generator, G)和判別網(wǎng)絡(luò)(Discriminator, D)兩部分組成,， 生成網(wǎng)絡(luò)構(gòu)成一個映射函數(shù)G: Z→X（輸入噪聲z, 輸出生成的偽造數(shù)據(jù)x）, 判別網(wǎng)絡(luò)判別輸入是來自真實數(shù)據(jù)還是生成網(wǎng)絡(luò)生成的數(shù)據(jù)。在這樣訓(xùn)練的博弈過程中,，提高兩個模型的生成能力和判別能力,。

2015年，為紀(jì)念人工智能概念提出60周年,，深度學(xué)習(xí)三巨頭LeCun,、Bengio和Hinton(他們于2018年共同獲得了圖靈獎)推出了深度學(xué)習(xí)的聯(lián)合綜述《Deep learning》。

《Deep learning》文中指出深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法,，把原始數(shù)據(jù)通過一些簡單的但是非線性的模型轉(zhuǎn)變成為更高層次及抽象的表達(dá),，能夠強化輸入數(shù)據(jù)的區(qū)分能力。通過足夠多的轉(zhuǎn)換的組合,，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí),。

2015年，Microsoft Research的Kaiming He等人提出的殘差網(wǎng)絡(luò)（ResNet）在ImageNet大規(guī)模視覺識別競賽中獲得了圖像分類和物體識別的優(yōu)勝,。

殘差網(wǎng)絡(luò)的主要貢獻(xiàn)是發(fā)現(xiàn)了網(wǎng)絡(luò)不恒等變換導(dǎo)致的“退化現(xiàn)象（Degradation）”,，并針對退化現(xiàn)象引入了 “快捷連接（Shortcut connection）”，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來的梯度消失問題,。

2015年,，谷歌開源TensorFlow框架。它是一個基于數(shù)據(jù)流編程（dataflow programming）的符號數(shù)學(xué)系統(tǒng),，被廣泛應(yīng)用于各類機器學(xué)習(xí)（machine learning）算法的編程實現(xiàn),，其前身是谷歌的神經(jīng)網(wǎng)絡(luò)算法庫DistBelief。

2015年,，馬斯克等人共同創(chuàng)建OpenAI,。它是一個非營利的研究組織，使命是確保通用人工智能 (即一種高度自主且在大多數(shù)具有經(jīng)濟價值的工作上超越人類的系統(tǒng)）將為全人類帶來福祉,。其發(fā)布熱門產(chǎn)品的如：OpenAI Gym,，GPT等。

2016年,，谷歌提出聯(lián)邦學(xué)習(xí)方法,，它在多個持有本地數(shù)據(jù)樣本的分散式邊緣設(shè)備或服務(wù)器上訓(xùn)練算法,，而不交換其數(shù)據(jù)樣本。

聯(lián)邦學(xué)習(xí)保護隱私方面最重要的三大技術(shù)分別是： 差分隱私 ( Differential Privacy ),、同態(tài)加密 ( Homomorphic Encryption )和 隱私保護集合交集 ( Private Set Intersection ),，能夠使多個參與者在不共享數(shù)據(jù)的情況下建立一個共同的、強大的機器學(xué)習(xí)模型,，從而解決數(shù)據(jù)隱私,、數(shù)據(jù)安全、數(shù)據(jù)訪問權(quán)限和異構(gòu)數(shù)據(jù)的訪問等關(guān)鍵問題,。

2016年,，AlphaGo與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機大戰(zhàn),，以4比1的總比分獲勝,。

AlphaGo是一款圍棋人工智能程序，其主要工作原理是“深度學(xué)習(xí)”,，由以下四個主要部分組成：策略網(wǎng)絡(luò)（Policy Network）給定當(dāng)前局面,，預(yù)測并采樣下一步的走棋；快速走子（Fast rollout）目標(biāo)和策略網(wǎng)絡(luò)一樣,，但在適當(dāng)犧牲走棋質(zhì)量的條件下,，速度要比策略網(wǎng)絡(luò)快1000倍；價值網(wǎng)絡(luò)（Value Network）估算當(dāng)前局面的勝率,；蒙特卡洛樹搜索（Monte Carlo Tree Search）樹搜索估算每一種走法的勝率,。

在2017年更新的AlphaGo Zero，在此前的版本的基礎(chǔ)上,，結(jié)合了強化學(xué)習(xí)進(jìn)行了自我訓(xùn)練,。它在下棋和游戲前完全不知道游戲規(guī)則，完全是通過自己的試驗和摸索,，洞悉棋局和游戲的規(guī)則,，形成自己的決策。隨著自我博弈的增加,，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升下法勝率,。更為厲害的是,，隨著訓(xùn)練的深入，AlphaGo Zero還獨立發(fā)現(xiàn)了游戲規(guī)則,，并走出了新策略,，為圍棋這項古老游戲帶來了新的見解。

2017年,，中國香港的漢森機器人技術(shù)公司（Hanson Robotics）開發(fā)的類人機器人索菲亞,，是歷史上首個獲得公民身份的一臺機器人,。索菲亞看起來就像人類女性，擁有橡膠皮膚,，能夠表現(xiàn)出超過62種自然的面部表情,。其“大腦”中的算法能夠理解語言、識別面部,，并與人進(jìn)行互動,。

2018年，Google提出論文《Pre-training of Deep Bidirectional Transformers for Language Understanding》并發(fā)布Bert(Bidirectional Encoder Representation from Transformers)模型,，成功在 11 項 NLP 任務(wù)中取得 state of the art 的結(jié)果,。

BERT是一個預(yù)訓(xùn)練的語言表征模型，可在海量的語料上用無監(jiān)督學(xué)習(xí)方法學(xué)習(xí)單詞的動態(tài)特征表示,。它基于Transformer注意力機制的模型,，對比RNN可以更加高效、能捕捉更長距離的依賴信息,，且不再像以往一樣采用傳統(tǒng)的單向語言模型或者把兩個單向語言模型進(jìn)行淺層拼接的方法進(jìn)行預(yù)訓(xùn)練,，而是采用新的masked language model（MLM），以致能生成深度的雙向語言表征,。

2019年,， IBM宣布推出Q System One，它是世界上第一個專為科學(xué)和商業(yè)用途設(shè)計的集成通用近似量子計算系統(tǒng),。

2019年,，香港 Insilico Medicine 公司和多倫多大學(xué)的研究團隊實現(xiàn)了重大實驗突破，通過深度學(xué)習(xí)和生成模型相關(guān)的技術(shù)發(fā)現(xiàn)了幾種候選藥物,，證明了 AI 發(fā)現(xiàn)分子策略的有效性,，很大程度解決了傳統(tǒng)新藥開發(fā)在分子鑒定困難且耗時的問題。

2020年,，Google與Facebook分別提出SimCLR與MoCo兩個無監(jiān)督學(xué)習(xí)算法,，均能夠在無標(biāo)注數(shù)據(jù)上學(xué)習(xí)圖像數(shù)據(jù)表征。兩個算法背后的框架都是對比學(xué)習(xí)（contrastive learning）,，對比學(xué)習(xí)的核心訓(xùn)練信號是圖片的“可區(qū)分性”,。

2020年，OpenAI開發(fā)的文字生成 (text generation) 人工智能GPT-3,，它具有1,750億個參數(shù)的自然語言深度學(xué)習(xí)模型,，比以前的版本GPT-2高100倍，該模型經(jīng)過了將近0.5萬億個單詞的預(yù)訓(xùn)練,，可以在多個NLP任務(wù)（答題,、翻譯、寫文章）基準(zhǔn)上達(dá)到最先進(jìn)的性能,。

2020年,，馬斯克的腦機接口（brain–computer interface, BCI）公司Neuralink舉行現(xiàn)場直播,，展示了植入Neuralink設(shè)備的實驗豬的腦部活動。

2020年,，谷歌旗下DeepMind的AlphaFold2人工智能系統(tǒng)有力地解決了蛋白質(zhì)結(jié)構(gòu)預(yù)測的里程碑式問題,。它在國際蛋白質(zhì)結(jié)構(gòu)預(yù)測競賽（CASP）上擊敗了其余的參會選手，精確預(yù)測了蛋白質(zhì)的三維結(jié)構(gòu),，準(zhǔn)確性可與冷凍電子顯微鏡（cryo-EM）,、核磁共振或 X 射線晶體學(xué)等實驗技術(shù)相媲美。

2020年,，中國科學(xué)技術(shù)大學(xué)潘建偉等人成功構(gòu)建76個光子的量子計算原型機“九章”,，求解數(shù)學(xué)算法“高斯玻色取樣”只需200秒，而目前世界最快的超級計算機要用6億年,。

2021年,，OpenAI提出兩個連接文本與圖像的神經(jīng)網(wǎng)絡(luò)：DALL·E 和 CLIP。DALL·E 可以基于文本直接生成圖像,，CLIP 則能夠完成圖像與文本類別的匹配,。

2021年，德國Eleuther人工智能公司于今年3月下旬推出開源的文本AI模型GPT-Neo,。對比GPT-3的差異在于它是開源免費的,。

2021年，美國斯坦福大學(xué)的研究人員開發(fā)出一種用于打字的腦機接口（brain–computer interface, BCI）,，這套系統(tǒng)可以從運動皮層的神經(jīng)活動中解碼癱瘓患者想象中的手寫動作,，并利用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）解碼方法將這些手寫動作實時轉(zhuǎn)換為文本。相關(guān)研究結(jié)果發(fā)表在2021年5月13日的Nature期刊上,，論文標(biāo)題為“High-performance brain-to-text communication via handwriting”,。

我是一位75歲以上的老人！本站主要是些學(xué)習(xí)體驗與分享(其中會引用一些作品的原話并結(jié)合我的一生體會與經(jīng)驗加工整理而成,！在此一并感謝,！如有不妥之處敬請與我聯(lián)系,我會妥善處理，謝謝,！)我寫的主要是中老年人各方面應(yīng)注意的事兒,！退休后我希望通過這個平臺廣交朋友，互助交流,，共筑美好生活?。。,。。,?！ 更多文章請參看http://www.趙站長的博客,。期待大家的光臨與指教哦^0^！歡迎大家轉(zhuǎn)發(fā),！