圖片來(lái)源網(wǎng)絡(luò)

本文總字?jǐn)?shù)6167，閱讀約20分鐘,。

我是清華大學(xué)人工智能研究院——張鈸,，我今天想講的是邁向第三代人工智能。人工智能60年的歷史中,，一共經(jīng)歷了兩代的發(fā)展,。第一代人工智能，有時(shí)候稱(chēng)它作符號(hào)主義,。他們提出了基于知識(shí)和經(jīng)驗(yàn)的推理模型,，用這個(gè)模型來(lái)模擬人類(lèi)的理性智能行為，像推理,、規(guī)劃,、決策等等。根據(jù)這個(gè)原理,，需要在機(jī)器里面建立知識(shí)庫(kù)和推理機(jī)制,，利用這兩者對(duì)人類(lèi)的推理和思考行為進(jìn)行模擬。

圖1 張鈸院士在2020世界人工智能大會(huì)上演講

下面舉一個(gè)例子,，1971年左右,，美國(guó)斯坦福大學(xué)根據(jù)這個(gè)原理建造的一個(gè)專(zhuān)家系統(tǒng)，叫做MYCIN系統(tǒng),，主要用來(lái)診斷血液傳染病和開(kāi)抗菌素處方,。它把傳染病專(zhuān)家的知識(shí)放在計(jì)算機(jī)里頭，并且把醫(yī)生診斷的過(guò)程（如何從癥狀推到疾病,，然后進(jìn)行處方）作為推理機(jī)制,，也放在計(jì)算機(jī)里頭。這樣,，計(jì)算機(jī)就可以幫助內(nèi)科醫(yī)生進(jìn)行輔助診斷,。因?yàn)閮?nèi)科醫(yī)生一般不是傳染病專(zhuān)家，因此利用這樣的計(jì)算機(jī)輔助治療系統(tǒng)可以幫助內(nèi)科醫(yī)生做出更好的,、更準(zhǔn)確的診斷和處方,。

利用這種原理做的人工智能系統(tǒng)，一個(gè)最有代表性的成果就是國(guó)際象棋程序IBM的深藍(lán),。這個(gè)國(guó)際象棋程序,，在1997年5月打敗了世界冠軍卡斯帕羅夫。

圖2 IBM深藍(lán)與世界冠軍卡斯帕羅夫下棋

我們看一下，計(jì)算機(jī)的深藍(lán)程序?yàn)槭裁纯梢源驍∪祟?lèi)的象棋大師呢,？主要是三個(gè)要素,，第一個(gè)要素是知識(shí)和經(jīng)驗(yàn)，也就是說(shuō)他利用了人類(lèi)大師下過(guò)的70萬(wàn)盤(pán)棋局,，還有全部的5-6只的殘局,。分析這些棋局，總結(jié)成為下棋的規(guī)則,，并放進(jìn)計(jì)算機(jī),。然后又通過(guò)大師和機(jī)器之間的對(duì)弈，調(diào)試評(píng)價(jià)函數(shù)中的參數(shù),，把大師的經(jīng)驗(yàn)也放在程序里頭,。

圖3 IBM深藍(lán)成功的原因

第二個(gè)靠的是算法，使用阿爾法-貝塔剪枝算法,，這個(gè)算法的速度很快,。第三個(gè)是算力，IBM當(dāng)時(shí)用的RS/6000SP2機(jī)器,，每秒能夠分析2億步,，平均每秒鐘能夠往前預(yù)測(cè)8-12步。一個(gè)有經(jīng)驗(yàn)的象棋大師,，一般只能往前看3-5步,，機(jī)器的速度遠(yuǎn)超過(guò)人類(lèi)，因此可以超過(guò)人類(lèi)的下棋水平,。

圖4 第一代人工智能的優(yōu)勢(shì)

第一代人工智能的優(yōu)勢(shì),，在于它能夠模仿人類(lèi)的推理、思考的過(guò)程,，因此是可解釋的,，跟人類(lèi)的思考問(wèn)題過(guò)程很一致。利用這個(gè)辦法進(jìn)行機(jī)器學(xué)習(xí),，就能夠舉一反三,，所以這是第一代人工智能的優(yōu)勢(shì)。

圖5 第一代人工智能的局限

但是第一代人工智能也存在著非常嚴(yán)重的缺陷,，例如：這些知識(shí)都來(lái)自于專(zhuān)家,。大家都知道專(zhuān)家的知識(shí)十分稀缺，也非常昂貴,。而且通常要通過(guò)人工編程把它輸進(jìn)計(jì)算機(jī)，非常費(fèi)時(shí)費(fèi)力,。同時(shí)有很多知識(shí)是很難表達(dá)的,，比如說(shuō)那些不確定的知識(shí)、常識(shí)等等，因此第一代人工智能的應(yīng)用范圍非常有限,。

圖6 第二代人工智能模擬人類(lèi)感知的過(guò)程報(bào)

第二代人工智能,，就是大家非常熟悉的深度學(xué)習(xí)。所謂深度學(xué)習(xí),，就是通過(guò)深度神經(jīng)網(wǎng)絡(luò)的模型模擬人類(lèi)的感知,，如：視覺(jué)、聽(tīng)覺(jué),、觸覺(jué)等行為,。我們用圖像識(shí)別作為例子，看看計(jì)算機(jī)是怎樣模擬人類(lèi)的感知的,。比如我們要想讓計(jì)算機(jī)識(shí)別不同的動(dòng)物,，怎么辦呢？因?yàn)槲覀儧](méi)法把什么叫做馬,，什么叫做牛,？告訴計(jì)算機(jī)。我們只好采用人類(lèi)學(xué)習(xí)的辦法,，即先收集了大量有關(guān)動(dòng)物的圖片,，并把圖片分成兩類(lèi)。一類(lèi)作為訓(xùn)練圖片,，去訓(xùn)練計(jì)算機(jī)識(shí)別馬和其他動(dòng)物,，這叫做分類(lèi)學(xué)習(xí)。把圖像輸進(jìn)去訓(xùn)練計(jì)算機(jī),，讓他能夠正確地分出馬牛等動(dòng)物的種類(lèi),，叫做學(xué)習(xí)與訓(xùn)練階段。

學(xué)習(xí)用的是多層次神經(jīng)網(wǎng)絡(luò),，你把大量的圖片輸進(jìn)去作為訓(xùn)練,。訓(xùn)練以后，究竟機(jī)器是不是學(xué)好了,，我們?cè)侔蚜硪徊糠謭D片（沒(méi)有學(xué)習(xí)過(guò)的圖片）讓它識(shí)別,。如果90%說(shuō)對(duì)了，就說(shuō)他識(shí)別率是90%,，誤識(shí)率為10%,。用這種辦法來(lái)進(jìn)行圖像和語(yǔ)音識(shí)別，在給定的圖像（語(yǔ)音）庫(kù)下,，可以做到達(dá)到或超過(guò)人類(lèi)的識(shí)別水平,。

圖7 深度學(xué)習(xí)對(duì)人工智能發(fā)展的影響

我們?cè)倥e一個(gè)例子來(lái)看深度學(xué)習(xí)的優(yōu)點(diǎn)。首先,，第一個(gè)優(yōu)點(diǎn)是它不需要領(lǐng)域知識(shí),，技術(shù)門(mén)檻比較低,。換句話(huà)講，我們只要把原始圖片,、原始語(yǔ)音輸進(jìn)去就可以了,，不要告訴計(jì)算機(jī)怎么去識(shí)別圖片或者語(yǔ)音，即不需要領(lǐng)域知識(shí),，所以任何人都可以使用這種工具,。

圖8 深度學(xué)習(xí)的圖像識(shí)別率

第二個(gè)，由于神經(jīng)網(wǎng)絡(luò)規(guī)模很大,，所以可以處理大數(shù)據(jù),。利用這個(gè)辦法可以達(dá)到人類(lèi)的圖像識(shí)別的水平，甚至超過(guò)它,。這里舉一個(gè)例子,，一個(gè)叫做ImageNet的圖像庫(kù)有2萬(wàn)種類(lèi)別，一共有1400萬(wàn)張圖,，這是一個(gè)標(biāo)準(zhǔn)圖像庫(kù),。2011年計(jì)算機(jī)識(shí)別ImageNet圖像庫(kù)里頭的圖，誤識(shí)率高達(dá)50%,，也就是說(shuō)一半認(rèn)錯(cuò)了,。可是4年以后,，2015年微軟用深度學(xué)習(xí)的辦法來(lái)識(shí)別,，誤識(shí)率降到3.57%，比人類(lèi)的誤識(shí)率5.1%還要低,。因此深度學(xué)習(xí)受到廣大用戶(hù)的關(guān)注,。

圖9 深度學(xué)習(xí)的應(yīng)用對(duì)圍棋程序的影響

關(guān)于深度學(xué)習(xí)的應(yīng)用，一個(gè)最典型的例子是圍棋程序,。在2015年10月之前,，我們用第一代知識(shí)驅(qū)動(dòng)的方法做出來(lái)的圍棋程序，最高達(dá)到業(yè)余5段的水平,。到了2015年10月份,，圍棋程序打敗了歐洲的冠軍，到2016年3月份打敗了世界冠軍,。到2017年10月份,，AlphaGo元打敗了AlphaGo，說(shuō)明在兩年時(shí)間里,，由于利用了深度學(xué)習(xí),，使得圍棋程序的水平實(shí)現(xiàn)了三級(jí)跳，從業(yè)余跳到專(zhuān)業(yè)水平,，又從專(zhuān)業(yè)水平到世界冠軍,，又從世界冠軍到超過(guò)世界冠軍,。

圖10 AlphaGo成功的秘訣

AlphaGo兩年里頭實(shí)現(xiàn)了三級(jí)跳，它的成功來(lái)自于何處,？主要來(lái)自于三個(gè)方面，一個(gè)是大數(shù)據(jù),，一個(gè)是算法,，一個(gè)是算力。可以看到AlphaGo的確利用了大數(shù)據(jù),，他一共學(xué)習(xí)了3000萬(wàn)盤(pán)已有的棋局,，自己跟自己又下了3000萬(wàn)盤(pán)，一共6000萬(wàn)盤(pán)棋局,，這個(gè)數(shù)據(jù)量是很大的,。他用的算法是蒙特卡羅樹(shù)搜索、強(qiáng)化學(xué)習(xí),、深度學(xué)習(xí)等等,。利用巨大的計(jì)算能力，一共有1202個(gè)CPU和280個(gè)GPU,，也就是說(shuō)他的成功是靠三個(gè)要素,。但是，第二代人工智能有很大的局限性,，比如：不可解釋性,、不安全性、易受攻擊,、不易推廣,、需要大量的樣本等等。

圖11 第二代人工智能的局限

這里只舉一個(gè)簡(jiǎn)單的例子,，這是我們博士生做出來(lái)的例子,。左邊這張圖片是阿爾卑斯雪山，計(jì)算機(jī)的圖像識(shí)別系統(tǒng)用94.39%的信度,，認(rèn)定它是阿爾卑斯山,。但是，我們只要加一點(diǎn)點(diǎn)噪聲,，變成右邊這張圖,。右邊這張圖跟左邊這張圖，人的眼睛看起來(lái)幾乎是完全一樣的,，只是多了一點(diǎn)點(diǎn)噪聲,，但是計(jì)算機(jī)卻以99.99%的把握，識(shí)別它是一只狗,。我們可以看到計(jì)算機(jī)的模式識(shí)別系統(tǒng)跟人類(lèi)的視覺(jué)差別非常大,。盡管它的識(shí)別率很高,，但是與人類(lèi)的視覺(jué)感知完全不同，非常不安全,、非常不可靠,，而且不可解釋。它為什么把雪山解釋成一只狗呢,？我們沒(méi)法理解,。

圖12 計(jì)算機(jī)把阿爾卑斯山誤識(shí)為狗

從第一代和第二代人工智能的成就來(lái)看，人工智能只能算剛剛拉開(kāi)了序幕,。我們剛才說(shuō)過(guò),，第一代和第二代人工智能都有很大的缺陷，它的應(yīng)用范圍非常有限,，更精彩的大戲正要上演,，這也是我今天講的主題。全世界應(yīng)該團(tuán)結(jié)起來(lái),，共同來(lái)發(fā)展人工智能,，讓人工智能造福人類(lèi)。那么這場(chǎng)大戲是什么樣子,，又該怎么演呢,？下面將根據(jù)我們團(tuán)隊(duì)的工作做一個(gè)簡(jiǎn)單的說(shuō)明。

第三代人工智能必須解決第一代和第二代人工智能中間存在的缺陷,。這個(gè)缺陷有以下幾方面,，它們是不可解釋?zhuān)敯粜院懿睿€有不安全,、不可信,、不可靠、不可擴(kuò)展等,。所以,，我們必須要建立一個(gè)可解釋和魯棒的人工智能理論，必須發(fā)展安全,、可信,、可靠和可擴(kuò)展的人工智能技術(shù)，只有這樣才能實(shí)現(xiàn)技術(shù)上的突破,。有了技術(shù)上的突破,，才能推動(dòng)人工智能的創(chuàng)新應(yīng)用。那么我們用的辦法是什么,？就是把第一代知識(shí)驅(qū)動(dòng)的方法和第二代數(shù)據(jù)驅(qū)動(dòng)的方法結(jié)合起來(lái),。換句話(huà)講，我們要綜合地利用四個(gè)要素,，即知識(shí),、數(shù)據(jù),、算法和算力。而第一代人工智能只用了其中的三個(gè)要素,，第二代人工智能也只用了其中的三個(gè)要素,。

圖13 第三代人工智能的要素

第三代人工智能要充分利用這四個(gè)要素，知識(shí),、數(shù)據(jù),、算法和算力。下面簡(jiǎn)單地講一下我們是怎么解決同時(shí)應(yīng)用4個(gè)要素的問(wèn)題,？

圖14 計(jì)算機(jī)識(shí)別馬的過(guò)程

環(huán)境感知，我們剛才說(shuō)過(guò)人工智能的圖像識(shí)別系統(tǒng)雖然識(shí)別率很高,，但是由于它識(shí)別的辦法跟人類(lèi)非常不一樣,，所以非常不可靠，非常不安全,，非常容易受到攻擊,。我們看一下機(jī)器是怎么識(shí)別馬呢？它只是把每匹馬的局部特征給分析出來(lái),，然后跟其他動(dòng)物作比較,，根據(jù)局部特征進(jìn)行區(qū)別，這就是我們常常講的黑箱學(xué)習(xí)方法,。也就是說(shuō)它只能學(xué)習(xí)那些局部的底層特征,，學(xué)習(xí)不了高層的語(yǔ)義特征，因此只能分辨馬和牛,，但并不認(rèn)識(shí)馬和牛,。

圖15 人腦的學(xué)習(xí)模型

那么我們?cè)趺磥?lái)做這個(gè)工作？首先要借鑒人腦的工作機(jī)制,，我們知道人腦的視覺(jué)神經(jīng)也是多層的神經(jīng)網(wǎng)絡(luò),，但跟我們現(xiàn)在用的人工神經(jīng)網(wǎng)絡(luò)相比的話(huà)，現(xiàn)在用的人工神經(jīng)網(wǎng)絡(luò)則太簡(jiǎn)單了,，只有底下一層跟上層的聯(lián)系,，這叫做前向連接。

圖16 人腦稀疏放電過(guò)程

人腦里頭的視覺(jué)神經(jīng)網(wǎng)絡(luò)比這個(gè)要復(fù)雜得多,，其中有反饋連接,，橫向連接，稀疏放電,，注意機(jī)制,，多模態(tài)和記憶等等。如果我們能把人類(lèi)視神經(jīng)網(wǎng)絡(luò)的這些特點(diǎn)加到現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)去,，就可以改善現(xiàn)在圖像識(shí)別或者語(yǔ)音識(shí)別的性能,，這是我們今天需要做的一項(xiàng)工作,。

圖17 神經(jīng)網(wǎng)絡(luò)檢測(cè)物體輪廓的過(guò)程

下面是我們團(tuán)隊(duì)的一項(xiàng)工作，即把稀疏放電原理加到神經(jīng)網(wǎng)絡(luò)里頭去,。僅借助這一點(diǎn),，就可以看到在神經(jīng)網(wǎng)絡(luò)最頂部的神經(jīng)元可以檢測(cè)到人臉的輪廓、小汽車(chē)的輪廓,、大象的輪廓或者鳥(niǎo)的輪廓,。說(shuō)明能夠把語(yǔ)義的特征檢測(cè)出來(lái)。說(shuō)明把人類(lèi)神經(jīng)網(wǎng)絡(luò)的一些特點(diǎn)加進(jìn)現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)有可能改善現(xiàn)有圖像識(shí)別,，語(yǔ)音識(shí)別等所存在的弱點(diǎn),，當(dāng)然這還只是初步的工作。

目前圖像識(shí)別還有一個(gè)很大的問(wèn)題,，就是很難把物體,，比如馬和背景分開(kāi)。也就是說(shuō)我們很難檢測(cè)到馬在什么地方,，也不知道什么是馬,。那么怎么解決這個(gè)問(wèn)題呢，我們還是要向大腦學(xué)習(xí),。

圖18 計(jì)算機(jī)識(shí)別馬和背景的過(guò)程

人類(lèi)為什么一看就知道馬在哪里,，因?yàn)槲覀冋J(rèn)識(shí)馬。那么“馬”的知識(shí)是從哪里學(xué)來(lái)的呢,？實(shí)際上,，是從我們不斷的觀察中學(xué)來(lái)的。我們用一個(gè)自編碼的神經(jīng)網(wǎng)絡(luò),，也可以學(xué)習(xí)到這個(gè)知識(shí),，也就是說(shuō)通過(guò)無(wú)監(jiān)督的學(xué)習(xí)，可以學(xué)到“馬”的知識(shí),。

圖19 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)知識(shí)的過(guò)程

認(rèn)識(shí)了馬以后,，你就很容易在圖像中找到馬，這樣就很容易識(shí)別“馬”了,。我們做了一些初步工作,，取得一些初步的成果（如圖20和圖21所示）。

圖20 無(wú)監(jiān)督學(xué)習(xí)的過(guò)程

第二個(gè)關(guān)于安全性的問(wèn)題,，我們剛才說(shuō)過(guò),，人工智能模式識(shí)別系統(tǒng)或其他機(jī)器識(shí)別系統(tǒng)都非常不安全，非常容易受到攻擊,。我們也可以從數(shù)據(jù)上和模型上進(jìn)行改進(jìn),。

圖21 三元生成式對(duì)抗網(wǎng)絡(luò)

這里只舉一個(gè)例子，即人臉識(shí)別。大家經(jīng)常用人臉識(shí)別登錄手機(jī),，我們看左邊這個(gè)人跟用戶(hù)不是同一個(gè)人,，所以他進(jìn)不去。系統(tǒng)識(shí)別出來(lái)他不是用戶(hù),，但只要加上一個(gè)人造的眼鏡,，他就可以混進(jìn)去了。

圖22 人臉識(shí)別過(guò)程

圖23 人造偽裝眼睛欺騙人臉識(shí)別

圖24 AI防火墻反入侵

加上AI防火墻之后,，加強(qiáng)了防護(hù)能力?，F(xiàn)在即使戴上偽裝眼鏡，也進(jìn)不去了,，說(shuō)明我們可以用各種各樣的辦法來(lái)提高它的安全性,。 

圖25 提高AI安全性的防御方法

我們已經(jīng)有了一個(gè)開(kāi)源的“珠算”平臺(tái)，把目前我們已有的研究成果集成在這個(gè)平臺(tái)上,，在算法的可解釋性,、安全性上都有一定的提高。

圖26 “珠算”概率編程庫(kù)

關(guān)于推理和決策,，人工智能在棋類(lèi)上打敗了人類(lèi)，包括圍棋和象棋,，這些都是完全信息博弈,，對(duì)計(jì)算機(jī)來(lái)講是比較簡(jiǎn)單的。

圖27 推理與決策

牌類(lèi)是不完全信息博弈,，計(jì)算機(jī)打牌就困難得多,。2017年人工智能才在6人無(wú)限注德州撲克牌上戰(zhàn)勝了人類(lèi)。

圖28 復(fù)雜環(huán)境下的自主決策

牌類(lèi)屬于概率意義下確定的問(wèn)題,，而我們平常的決策環(huán)境是完全不一樣的,，是完全不確定的，甚至是在對(duì)抗環(huán)境下做決策,。目前研究對(duì)抗環(huán)境下的決策,，往往用電子游戲比賽做實(shí)驗(yàn)平臺(tái)。

圖29 對(duì)抗性場(chǎng)景中的自主決策

電子游戲的環(huán)境是變化的,，不確定性的,，有防衛(wèi)和進(jìn)攻等等。通常采用強(qiáng)化學(xué)習(xí)的辦法,，目前只能在少數(shù)特定的游戲上可以打敗人類(lèi),。

圖30 基于領(lǐng)域知識(shí)指導(dǎo)的對(duì)抗環(huán)境自主決策

圖31是我們采用的對(duì)抗環(huán)境下自主決策的方案，主要依靠知識(shí)和強(qiáng)化學(xué)習(xí),。在ViZDoom國(guó)際比賽中,，取得第二名的好成績(jī)，跟第一名的CMU只差兩分。后來(lái)我們團(tuán)隊(duì)還參加了多次國(guó)際比賽,，贏得多項(xiàng)冠軍,。

圖31 ViZDoom國(guó)際比賽成績(jī)

圖32 多項(xiàng)科技獲獎(jiǎng)

還有一個(gè)問(wèn)題是，如何適應(yīng)環(huán)境變化,，即解決隨機(jī)應(yīng)變的問(wèn)題,。自動(dòng)駕駛車(chē)我們從1991年就開(kāi)始做了，自動(dòng)駕駛車(chē)的問(wèn)題在哪里,？我們現(xiàn)在采用的辦法是,，把物體識(shí)別出來(lái)，建立模型,，在此基礎(chǔ)上做駕駛規(guī)劃,。這些步驟現(xiàn)在都已經(jīng)做到實(shí)時(shí)了。是否能夠?qū)嵱?？如果路況比較復(fù)雜,，這種方案就不夠用了，為什么,？它難以應(yīng)對(duì)突發(fā)事件,。為了應(yīng)對(duì)突發(fā)事件，需要駕駛的知識(shí)與經(jīng)驗(yàn),，需要在與環(huán)境的不斷交互過(guò)程中學(xué)習(xí)這些經(jīng)驗(yàn),，這就是所謂的強(qiáng)化學(xué)習(xí)。

圖33 自動(dòng)駕駛環(huán)境感知過(guò)程

要讓自動(dòng)駕駛車(chē)真正用到復(fù)雜的環(huán)境中,，需要經(jīng)過(guò)學(xué)習(xí)訓(xùn)練這個(gè)步驟,，學(xué)習(xí)應(yīng)對(duì)突發(fā)的情況。我們團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)平臺(tái),，叫“天授”,，是一個(gè)強(qiáng)化學(xué)習(xí)的開(kāi)源平臺(tái)。

圖34 “天授”強(qiáng)化學(xué)習(xí)平臺(tái)

最后強(qiáng)調(diào)一下,，人工智能剛剛拉開(kāi)序幕,。第一代和第二代人工智能都存在著很大的局限，它只能夠解決完全信息和結(jié)構(gòu)化環(huán)境下確定性的問(wèn)題,，解決的問(wèn)題非常有限,。第二代人工智能主要依靠數(shù)據(jù)和計(jì)算機(jī)的計(jì)算能力，只是傳統(tǒng)信息處理的延展,。精彩的大戲正要上演,，這場(chǎng)“大戲”指的是第三代人工智能。

圖35 第三代人工智能的發(fā)展趨勢(shì)

文稿｜張鈸院士

編輯｜周圣鈞 高松齡 邱雨浩

審核｜趙 鑫 張可人