AI 科技評(píng)論按：7 月 12 日-7 月 14 日,，2019 第四屆全球人工智能與機(jī)器人峰會(huì)（CCF-GAIR 2019）于深圳正式召開,。峰會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，雷鋒網(wǎng),、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦,，得到了深圳市政府的大力指導(dǎo),，是國(guó)內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級(jí)交流博覽盛會(huì),，旨在打造國(guó)內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺(tái),。

周明博士在CCF-GAIR 2019會(huì)議上從什么是自然語(yǔ)言處理（NLP）、當(dāng)前技術(shù)體系以及未來(lái)發(fā)展等角度,，解讀了NLP未來(lái)發(fā)展之路,。我們來(lái)看。

大家下午好,！今天非常榮幸來(lái)到CCF-GRIR大會(huì),，今天下午這個(gè)論壇非常有意義，講的是中國(guó)人工智能四十周年紀(jì)念活動(dòng),。

我是1985年在哈工大開始從事機(jī)器翻譯研究的,，到現(xiàn)在也已經(jīng)有30多年了，經(jīng)歷了規(guī)則,、統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)的三個(gè)階段,?；叵脒^(guò)去真是感慨萬(wàn)千，當(dāng)時(shí)可以說(shuō)是篳路藍(lán)縷,，沒(méi)有什么東西,，但是大家有一番熱情，要把中國(guó)自然語(yǔ)言,、機(jī)器翻譯,、人工智能推到世界的前沿。

中國(guó)人工智能開始于1979年到今天轉(zhuǎn)眼過(guò)去40年了,?；厥卓匆幌挛覀兊淖匀徽Z(yǔ)言處理進(jìn)展到什么程度了？我們未來(lái)的路在哪里,？這就是我今天要給大家介紹的,。

過(guò)去40年，自然語(yǔ)言基本上經(jīng)歷了從規(guī)則到統(tǒng)計(jì),，到現(xiàn)在的神經(jīng)網(wǎng)絡(luò),。相比過(guò)去，目前可以說(shuō)是自然語(yǔ)言處理最黃金的時(shí)期,，在很多領(lǐng)域都取得了突破性的進(jìn)展,。但我們審慎地看到神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理過(guò)度依賴計(jì)算資源和數(shù)據(jù)，在建模,、推理和解釋方面還存在許多的不足,。因此我們想問(wèn)一下，這種模式是否可以持續(xù),？在未來(lái)的3到5年,，NLP如何發(fā)展？

為了回答這個(gè)問(wèn)題,，我想把神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理的技術(shù)在這里捋一遍,，有哪些關(guān)鍵的技術(shù)點(diǎn)，存在哪些不足,，我們未來(lái)又如何發(fā)展,。我的觀點(diǎn)是：NLP未來(lái)的發(fā)展需要計(jì)算、數(shù)據(jù),、技術(shù),、人才、合作,、應(yīng)用等各個(gè)方面長(zhǎng)期協(xié)同發(fā)展,。

自然語(yǔ)言處理

什么叫自然語(yǔ)言處理？自然語(yǔ)言處理就是用計(jì)算機(jī)對(duì)人類語(yǔ)言進(jìn)行處理,，使得計(jì)算機(jī)具備人類的聽,、說(shuō),、讀、寫能力,，它是未來(lái)人工智能技術(shù)最為關(guān)鍵的核心之一,。比爾·蓋茨說(shuō)過(guò)，“自然語(yǔ)言處理是人工智能皇冠上的明珠,，如果我們能夠推進(jìn)自然語(yǔ)言處理,，就可以再造一個(gè)微軟?！?/span>

難度：把NLP看作人工智能皇冠上的明珠,，其難度可想而知。來(lái)看下面這個(gè)例子：

詞完全一樣,，意義截然相反,。人在理解的時(shí)候有常識(shí)，有背景,，所以能夠理解,；可電腦沒(méi)有常識(shí)、沒(méi)有背景,，只是根據(jù)字面來(lái)處理,，因此它理解的都是一樣的。這就是自然語(yǔ)言處理的難處,。

歷史：自然語(yǔ)言處理隨著計(jì)算機(jī)的出現(xiàn)而出現(xiàn),，最早是做規(guī)則的系統(tǒng)，后面做統(tǒng)計(jì)的系統(tǒng),，現(xiàn)在做神經(jīng)網(wǎng)絡(luò)的系統(tǒng),。咱們中國(guó)的自然語(yǔ)言出現(xiàn)一點(diǎn)也不晚，建國(guó)之初就有人開始做俄漢機(jī)器翻譯系統(tǒng),，后面又有人做英漢機(jī)器翻譯系統(tǒng)。我個(gè)人也有幸親歷和見證了機(jī)器翻譯的發(fā)展,。我在哈工大的讀研時(shí)候（導(dǎo)師李生教授,，1985年），從事中英機(jī)器翻譯研究,，所研制的 CEMT 系統(tǒng)是中國(guó)最早通過(guò)正式鑒定的中英機(jī)器翻譯系統(tǒng)（1989年）,。后來(lái)我在日本高電社領(lǐng)導(dǎo)研發(fā)了中日機(jī)器翻譯產(chǎn)品 J - 北京（1998年）。我1999年加入微軟之后先后從事了基于實(shí)例和基于統(tǒng)計(jì)機(jī)器翻譯研究,，最近幾年我們做神經(jīng)機(jī)器翻譯研究,。

可以說(shuō)中國(guó)的自然語(yǔ)言處理是與世界的發(fā)展同步的。目前我可以很負(fù)責(zé)任地說(shuō),，咱們中國(guó)的自然語(yǔ)言處理總體來(lái)講位居世界第二,，僅次美國(guó),。為什么能有這么好的發(fā)展？得益于中國(guó)40年改革開放,，得益于各大公司和很多學(xué)校的合作,，尤其值得指出的是微軟研究院與相關(guān)學(xué)校的合作影響深遠(yuǎn)。同時(shí)也得益于包括CCF在內(nèi)的各個(gè)學(xué)會(huì)過(guò)去幾十年在NLP領(lǐng)域深耕,，舉辦學(xué)術(shù)會(huì)議（NLPCC最近進(jìn)入CCF-國(guó)際會(huì)議列表）和各類暑期學(xué)校和講習(xí)班,，促進(jìn)學(xué)校、企業(yè),、公司各個(gè)單位合作,，并推動(dòng)研究協(xié)同式、平臺(tái)式發(fā)展,。

定位：人工智能就是用電腦來(lái)實(shí)現(xiàn)人類獨(dú)具的智能,。使得電腦能聽、會(huì)說(shuō),、理解語(yǔ)言,、會(huì)思考、解決問(wèn)題,、會(huì)創(chuàng)造,。具體概括來(lái)講包括：運(yùn)算智能、感知智能,、認(rèn)知智能和創(chuàng)造智能,。運(yùn)算智能就是記憶和計(jì)算的能力。這一點(diǎn)計(jì)算機(jī)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)人類,。而感知智能就是電腦感知環(huán)境的能力,，包括聽覺(jué)，視覺(jué),，觸覺(jué)等等,。相當(dāng)于人類的耳朵、眼睛和手,。認(rèn)知智能包括語(yǔ)言理解,、知識(shí)和推理。創(chuàng)造智能體現(xiàn)對(duì)未見過(guò),、未發(fā)生事物,，運(yùn)用經(jīng)驗(yàn)，通過(guò)想象力,、設(shè)計(jì),、實(shí)驗(yàn)、驗(yàn)證并予以實(shí)現(xiàn)的智力過(guò)程,。

目前隨著感知智能的大幅度進(jìn)步,，人們的焦點(diǎn)逐漸轉(zhuǎn)向了認(rèn)知智能,。其中語(yǔ)言智能，也就是自然語(yǔ)言理解,，則被認(rèn)為是皇冠上的明珠,。一旦有突破，則會(huì)大幅度推動(dòng)認(rèn)知智能,，并提高人工智能的技術(shù),，并促進(jìn)在很多重要場(chǎng)景落地。

過(guò)去幾年,，由于數(shù)據(jù)越來(lái)越多,，出現(xiàn)各種測(cè)試集；算法越來(lái)越復(fù)雜,、越來(lái)越先進(jìn),，包括神經(jīng)網(wǎng)絡(luò)的架構(gòu)、預(yù)訓(xùn)練模型等等,；計(jì)算能力越來(lái)越高,，在這三大因素的作用下，自然語(yǔ)言處理得到了飛速的發(fā)展,。

微軟在四個(gè)NLP典型任務(wù)取得了突破性的進(jìn)展,。第一個(gè)是聊天機(jī)器人，我們中,、日,、英三種語(yǔ)言的聊天機(jī)器人均能達(dá)到跟人自由聊天23輪以上，目前在世界上是最好的,。還有我們的閱讀理解技術(shù),、機(jī)器翻譯技術(shù)和語(yǔ)法檢查系統(tǒng)，在目前的測(cè)試集下都居世界領(lǐng)先水平,，而且在相應(yīng)的測(cè)試集下都突破了人類的標(biāo)注水平,。

自然語(yǔ)言有很多的應(yīng)用，像我們每天都用的輸入法,、詞典,、翻譯，以及我們跟中科院合作的手語(yǔ)翻譯,、必應(yīng)的語(yǔ)音助手、小冰,，還有自然語(yǔ)言的文本生成,，對(duì)聯(lián)、詩(shī)詞,、猜謎,、音樂(lè)等等,。

技術(shù)體系

我給大家捋一下神經(jīng)網(wǎng)絡(luò)自然語(yǔ)言處理的技術(shù)體系。

首先是詞的編碼,。詞編碼的目的是用多維向量來(lái)表征詞的語(yǔ)義,。怎么做呢？著名的方法有兩個(gè),，一個(gè)是 CBOW（(Continuous Bag-of-Words）,，用周圍的詞預(yù)測(cè)當(dāng)前的詞；另一個(gè)是 Skip-gram,，用當(dāng)前的詞預(yù)測(cè)周圍的詞,。通過(guò)大規(guī)模的學(xué)習(xí)訓(xùn)練，就可以得到每個(gè)詞穩(wěn)定的多維向量,，作為它的語(yǔ)義表示,。

有了詞的語(yǔ)義表示，我們就可以進(jìn)而生成句子的語(yǔ)義表示,，也叫句子的編碼,。一般通過(guò)RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）或者CNN（卷積神經(jīng)網(wǎng)絡(luò)）來(lái)做。RNN從左到右對(duì)句子進(jìn)行建模,，每個(gè)詞對(duì)應(yīng)一個(gè)隱狀態(tài),，該引狀態(tài)代表了從句首到當(dāng)前詞的語(yǔ)義信息，句尾的狀態(tài)就代表了全句的信息,。CNN從理論上分別進(jìn)行詞嵌入 位置嵌入 卷積,，加上一個(gè)向量表示，對(duì)應(yīng)句子的語(yǔ)義,。

基于這樣的表征,，我們就可以做編碼、解碼機(jī)制,。比如說(shuō)我們可以用圖上的紅點(diǎn),，它代表全句的語(yǔ)義信息，來(lái)進(jìn)行解碼,，可以從一種語(yǔ)言翻譯成另一種語(yǔ)言,，凡是從一個(gè)序列串變成另外一個(gè)序列串都可以通過(guò)編碼、解碼機(jī)制來(lái)運(yùn)行,。

隨后又引入了注意力模型,。它綜合考量了在當(dāng)前狀態(tài)下對(duì)應(yīng)的編碼的每一個(gè)隱狀態(tài)，加權(quán)平均,，來(lái)體現(xiàn)當(dāng)前的動(dòng)態(tài)輸入,。這類技術(shù)引入之后，神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯就得到了飛速的發(fā)展。

后面又引入了Transformer,。Transformer引入了自編碼,，一個(gè)詞跟周圍的詞建立相似，引入多頭,，可以引入多種特征表達(dá),，所以編碼效果或者編碼的信息更加豐富。

現(xiàn)在大家都在追捧預(yù)訓(xùn)練模型,。它有幾個(gè)方法,，第一個(gè)是ELMo，從左到右對(duì)句子編碼,，也可以從右到左對(duì)句子編碼,，每一層對(duì)應(yīng)的節(jié)點(diǎn)并起來(lái)，就形成了當(dāng)前這個(gè)詞在上下文的語(yǔ)義表示,。用的時(shí)候就用這個(gè)語(yǔ)義加上詞本身的詞嵌入,，來(lái)做后續(xù)的任務(wù)，性能便得到相應(yīng)的提高,。

還有去年10月份比較火的BERT,。它用左邊、右邊的信息來(lái)預(yù)測(cè)最外部的詞的信息,，同時(shí)它也可以判斷下一句是真的下一句還是偽造的下一句,，用兩種方式對(duì)句子每一個(gè)詞進(jìn)行編碼，得到的訓(xùn)練結(jié)果就表征了這個(gè)詞在上下文中的語(yǔ)義表示,?；谶@樣的語(yǔ)義表示，就可以判斷兩個(gè)句子的關(guān)系,，比如說(shuō)是不是附屬關(guān)系,，判斷一個(gè)句子的分類（例如Q&A中，判斷回答對(duì)應(yīng)的邊界是不是對(duì)應(yīng)提問(wèn)）,，以及對(duì)輸入的每一個(gè)詞做一個(gè)標(biāo)注,，結(jié)果就得到一個(gè)詞性標(biāo)注。

預(yù)訓(xùn)練模型引起了很多人的關(guān)注,。最早是一個(gè)靜態(tài)的詞的表征,，所謂靜態(tài)詞的表征，就是不管上下文,，表征是一樣的,，比如“bank”這個(gè)詞有多個(gè)意思，它的表征也是一樣的,。但是ELMo就要根據(jù)上下文體現(xiàn)它唯一的表征,。

基于以上的方法,，人們又開發(fā)了一系列的新的方法，比如說(shuō)GPT-2,，以及最近的XLNET，以及UNILM,、MASS,、MT-DNN、XLM,，都是基于這種思路的擴(kuò)充,，解決相應(yīng)的任務(wù)各有所長(zhǎng)。其中微軟研究院的 UNILM 可同時(shí)訓(xùn)練得到類似 BERT 和 GPT 的模型,，而微軟 MASS 采用 encoder-decoder 訓(xùn)練在機(jī)器翻譯上效果比較好,。還有 MT-DNN 強(qiáng)調(diào)用多任務(wù)學(xué)習(xí)預(yù)訓(xùn)練模型，而 XLM 學(xué)習(xí)多語(yǔ)言 BERT 模型,，在跨語(yǔ)言遷移學(xué)習(xí)方面應(yīng)用效果顯著,。針對(duì)預(yù)訓(xùn)練模型很多公司都有一些改進(jìn)，這里就不一一列舉了,。

現(xiàn)在由于這種預(yù)訓(xùn)練模型大行其道,，人們?cè)谒伎迹匀徽Z(yǔ)言處理是不是應(yīng)該改換一種新的模態(tài),。過(guò)去我們都說(shuō)用基于知識(shí)的方法來(lái)充實(shí)當(dāng)前的輸入,，但是過(guò)去都沒(méi)有做到特別好，而這種新的預(yù)訓(xùn)練模型給我們帶來(lái)一個(gè)新的啟發(fā)：

我們可以針對(duì)大規(guī)模的語(yǔ)料,，提前訓(xùn)練好一個(gè)模型,，這個(gè)模型既代表了語(yǔ)言的結(jié)構(gòu)信息，也有可能代表了所在領(lǐng)域甚至常識(shí)的信息,，只不過(guò)我們看不懂,。加上我們未來(lái)的預(yù)定的任務(wù)，這個(gè)任務(wù)只有很小的訓(xùn)練樣本,，把通過(guò)大訓(xùn)練樣本得到的預(yù)訓(xùn)練模型,，做到小訓(xùn)練樣本上，效果就得到了非常好的提升,。

未來(lái)發(fā)展

現(xiàn)在,，NLP在許多任務(wù)上的性能都已經(jīng)超越了人類。聽起來(lái)世界一片大好,，我們把數(shù)據(jù)準(zhǔn)備好,，買一大堆機(jī)器，只需要去訓(xùn)練就好了,，不用管太多的事情,。所以現(xiàn)在好多人在刷榜,，有了新的任務(wù)，搞一堆模型,、一堆數(shù)據(jù),、一堆機(jī)器，刷個(gè)榜,，我們就畢業(yè)了,。

但是我認(rèn)為不是這樣的，反而有強(qiáng)烈的危機(jī)感,。

下面我就跟大家分析一下,，目前存在的問(wèn)題，以及我們應(yīng)該怎么做才好,。

第一個(gè)是無(wú)休止的計(jì)算資源的軍備競(jìng)賽,。現(xiàn)在大家都用大規(guī)模的機(jī)器訓(xùn)練，同樣的算法,，只要訓(xùn)練速度快,，就可以快速迭代，然后你的水平就比別人高,。與之同時(shí),，當(dāng)然也特別耗資源，許多模型一訓(xùn)練可能要好幾天或者好幾萬(wàn)美金,。有時(shí)候它管事,，但有時(shí)候也不管事。舉個(gè)例子：

在這個(gè)例子中,，它用了10倍的蠻力,，但是只有0.2%的效率提升。由于用了很多的資源,，造成了環(huán)境的污染,。最近有一篇網(wǎng)上比較火的論文，就是在討論這個(gè)計(jì)算模型,。如果我們太依賴算力,，就會(huì)對(duì)環(huán)境產(chǎn)生很大的影響。

第二個(gè)是過(guò)度依賴數(shù)據(jù),。首先你要標(biāo)數(shù)據(jù),，標(biāo)注的代價(jià)是非常大的。其次,，數(shù)據(jù)有隱含歧視的問(wèn)題,，通過(guò)數(shù)據(jù)分析，可能會(huì)得到歧視性的結(jié)果,。另外數(shù)據(jù)有偏差,，數(shù)據(jù)在標(biāo)注的時(shí)候請(qǐng)人標(biāo)注,，人都是偷懶的，想最簡(jiǎn)單的方法去標(biāo)注,，結(jié)果標(biāo)注的數(shù)據(jù)千篇一律,，基于這樣的數(shù)據(jù)學(xué)的模型也只能解決標(biāo)注的數(shù)據(jù)，拿到真實(shí)任務(wù)上由于跟你標(biāo)注分布不一樣,，所以根本不好使,。比如說(shuō)我們做Q&A問(wèn)答系統(tǒng)，我們?cè)谒械膯?wèn)答里面都假設(shè)是第一名,，但到了搜索引擎上有很多簡(jiǎn)單的問(wèn)題都解決不好。此外,，還有數(shù)據(jù)隱私保護(hù)等等問(wèn)題,。

我們現(xiàn)在再往前走一走，看一看,，假如我們不在乎資源,，不在乎計(jì)算，我們看神經(jīng)網(wǎng)絡(luò)處理一些典型的任務(wù),，它的表現(xiàn)如何,，有哪些問(wèn)題。 

我這里選了三個(gè)最典型的問(wèn)題,。第一個(gè)是Rich Resource Tasks,，即有足夠資源的任務(wù)，比如中英機(jī)器翻譯,，網(wǎng)上有很多的資源,。第二個(gè)Low Resources Tasks，即資源很少或沒(méi)有資源,，比如說(shuō)中文到希伯來(lái)語(yǔ)的翻譯,，幾乎沒(méi)有什么資源。第三個(gè)是Multi-turn Tasks,，就是多輪的意思,，我們的客服都是多輪的。這三類問(wèn)題基本上代表了自然語(yǔ)言最基本的問(wèn)題,，如果這三類問(wèn)題都解決得很好,，自然語(yǔ)言就基本OK了。我們看看這三類問(wèn)題現(xiàn)在處于什么位置上,。

針對(duì)Rich Resource Tasks,，我們做一個(gè)中-英神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯錯(cuò)誤分析。這是一個(gè)大語(yǔ)料訓(xùn)練的結(jié)果,，

我這里選了三個(gè)最典型的問(wèn)題,。第一個(gè)是Rich Resource Tasks,，即有足夠資源的任務(wù)，比如中英機(jī)器翻譯,，網(wǎng)上有很多的資源,。第二個(gè)Low Resources Tasks，即資源很少或沒(méi)有資源,，比如說(shuō)中文到希伯來(lái)語(yǔ)的翻譯,，幾乎沒(méi)有什么資源。第三個(gè)是Multi-turn Tasks,，就是多輪的意思,，我們的客服都是多輪的。這三類問(wèn)題基本上代表了自然語(yǔ)言最基本的問(wèn)題,，如果這三類問(wèn)題都解決得很好,，自然語(yǔ)言就基本OK了。我們看看這三類問(wèn)題現(xiàn)在處于什么位置上,。

針對(duì)Rich Resource Tasks,，我們做一個(gè)中-英神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯錯(cuò)誤分析。這是一個(gè)大語(yǔ)料訓(xùn)練的結(jié)果,，

我們可以看到,，盡管是基于大語(yǔ)料的，但翻出來(lái)的結(jié)果還有很多錯(cuò)誤,，包括翻錯(cuò)詞,、丟詞、不合語(yǔ)法等,。

例如這個(gè)“土方”不是“earth”,，而是“土耳其”的意思。因?yàn)樯窠?jīng)網(wǎng)絡(luò)現(xiàn)在不可解釋,，它是黑箱,，你也不知道它在哪兒丟的，有可能是數(shù)據(jù)問(wèn)題,，有可能是模型問(wèn)題,。 

還有成語(yǔ)，成語(yǔ)是很麻煩的,，你即使學(xué)了很多的成語(yǔ),，在一個(gè)新的句子中，成語(yǔ)的翻譯也要發(fā)生變化,，所以它要?jiǎng)討B(tài)的計(jì)算,。

所以即使在這樣的足夠資源的算法里面，仍然存在眾多的問(wèn)題要研究,，比如說(shuō)丟詞,，如何把詞典集成進(jìn)來(lái),，如何上下文判斷一些問(wèn)題，然后還有領(lǐng)域自適應(yīng),、主體自適應(yīng)等等,，誰(shuí)也不敢說(shuō)這些問(wèn)題通過(guò)Rich-Resource就解決了，這里面有上下文件聯(lián)系的問(wèn)題,，還有數(shù)據(jù)歧視的問(wèn)題,，還有Multi-task learning，還有Human knowledge,。

第二個(gè)是Low Resources Tasks,，就是沒(méi)什么語(yǔ)料，學(xué)起來(lái)很難,，因此要借力,。常用的有三種。

• 第一是遷移模型,，把從其它語(yǔ)料中學(xué)習(xí)到的內(nèi)容遷移過(guò)來(lái)。遷移訓(xùn)練最常見的就是前面介紹的預(yù)訓(xùn)練模型,，把它加到目標(biāo)任務(wù)上,。

• 第二是跨語(yǔ)言學(xué)習(xí)，即從其它語(yǔ)言學(xué)習(xí)過(guò)來(lái),。比如說(shuō)英文有很多語(yǔ)料,，我把英文的訓(xùn)練模型用到法語(yǔ)、德語(yǔ)上,，這個(gè)方式很流行,。

• 第三是利用種子進(jìn)行迭代學(xué)習(xí)，比如我有一個(gè)小辭典,，有幾條規(guī)則,，有幾條雙語(yǔ)，我能不能用它當(dāng)做一個(gè)引子,，做一個(gè)冷啟動(dòng),，啟動(dòng)之后再迭代改進(jìn)。

雖然我們做了很多的研究,，但是在Low-Resource方面,，我們并沒(méi)有一個(gè)很好的辦法。首先Low-Resource如何建模,，如何從數(shù)據(jù)分析中做無(wú)監(jiān)督或少監(jiān)督的學(xué)習(xí),，這是沒(méi)有明確回答的問(wèn)題。怎么做Transfer Learning,，怎么做Unsupervised learning,，也是目前的一個(gè)難題,。還有一些先驗(yàn)的規(guī)則辭典，如何讓它冷啟動(dòng)起來(lái),；人能不能參與其中幫助一個(gè)開始弱小的系統(tǒng)逐漸變得更加強(qiáng)大,。這些都是目前熱門的話題，都還沒(méi)有很好地解決,。

第三個(gè)是Multi-turn Task（多輪問(wèn)題）,。以多輪對(duì)話為例。我們看下面這個(gè)例子： 

我們可以看到,，對(duì)于小孩子很簡(jiǎn)單的問(wèn)題,，電腦卻不知道該怎么回答。其原因在于目前的自然語(yǔ)言處理還沒(méi)有很好地解決常識(shí)和推理的問(wèn)題,。

此外,，還有前后不一致、自我矛盾的問(wèn)題,。比如說(shuō)用戶問(wèn)“你今天多大了”,？聊天機(jī)器人說(shuō)“我16了”。隔幾天用戶又問(wèn)“你今天多大了”,？它可能說(shuō)“我24歲”,，自己前后不一致了.還有空間不一致、邏輯不一致的問(wèn)題.這就需要人跟機(jī)器對(duì)話的時(shí)候,，要有一個(gè)記憶體系,，把說(shuō)過(guò)的話的特征存儲(chǔ)起來(lái)，將來(lái)在用的時(shí)候,，要抽取這樣的信息來(lái)表征一個(gè)機(jī)器人各方面的信息,。

推理是要做很多事情。第一是要了解上下文,，說(shuō)過(guò)什么話,，答過(guò)什么問(wèn)題，干過(guò)什么事都要存儲(chǔ)起來(lái),，記憶起來(lái),。第二是各種各樣的知識(shí)要用起來(lái)。第三才是推理的部分,，這里面涉及到語(yǔ)義分析,、上下文的指代消解、省略消解,。最后,，還有就是可解釋的問(wèn)題，如果你的推理不可解釋的話，那就沒(méi)有人會(huì)相信,，導(dǎo)致你的系統(tǒng)無(wú)法進(jìn)行進(jìn)一步的推進(jìn),。

我們要做推理，一般來(lái)講就是設(shè)計(jì)這樣的模型.它有記憶,，記住我說(shuō)過(guò)什么話,，或者有哪些知識(shí)；有一個(gè)讀的裝置和一個(gè)寫的裝置,，來(lái)了一個(gè)問(wèn)題,，經(jīng)過(guò)分析，到記憶里把狀態(tài)和知識(shí)找出來(lái),，把原來(lái)的記憶找出來(lái),，然后改變我們的對(duì)話狀態(tài)；更新在記憶里的一些存儲(chǔ),。得到答案后,，還要反過(guò)來(lái)更新我們的記憶和存儲(chǔ)。

未來(lái)之路

我們未來(lái)到底需要什么樣的自然語(yǔ)言處理系統(tǒng)呢,？我認(rèn)為要做出可解釋,、有知識(shí)、有道德,、可自我學(xué)習(xí)的NLP系統(tǒng),。這是一個(gè)很高的目標(biāo)，現(xiàn)在離這個(gè)目標(biāo)差得很遠(yuǎn),。

我們?cè)趺礃觼?lái)實(shí)現(xiàn)這樣的目標(biāo)呢？我們要從具體的任務(wù)出發(fā),，找出存在的問(wèn)題,。剛才我說(shuō)了，Rich-Resource存在什么問(wèn)題呢,？上下文建模,、數(shù)據(jù)糾偏、多任務(wù)學(xué)習(xí),、人類知識(shí)的理解,。再往下，Low-Resource又有什么問(wèn)題要解決呢,？我也列出了一些問(wèn)題,。多輪要解決什么問(wèn)題呢？就是要解決知識(shí)常識(shí),、上下文建模,、推理機(jī)制、可解釋等等。

如果我們有所推進(jìn)的話,，我們的認(rèn)知智能就會(huì)進(jìn)一步提升,，包括語(yǔ)言的理解水平、推理水平,、回答問(wèn)題能力,、分析能力、解決問(wèn)題的能力,、寫作能力,、對(duì)話能力等等。然后再加上感知智能的進(jìn)步,，聲音,、圖象、文字的識(shí)別和生成的能力,，以及多模態(tài)文,、圖交叉的能力，通過(guò)文字可以生成圖象,，根據(jù)圖象可以生成描述的文字等等,，我們就可以推進(jìn)很多人類的應(yīng)用，包括搜索引擎,、智能客服,，包括教育、財(cái)政,、電子商務(wù)等等各個(gè)方面的應(yīng)用,。也可以把AI技術(shù)用在我們的產(chǎn)業(yè)上，幫助產(chǎn)業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型,。

要想實(shí)現(xiàn)這件事其實(shí)是不容易的,，需要各個(gè)方面綜合努力，所以NLP的未來(lái)之路需要不同的公司,、學(xué)校,、政府、企業(yè),、投資等等各個(gè)角度進(jìn)行配合,。

我這里總結(jié)一下，主要有6個(gè)角度非常重要,。

第一是計(jì)算機(jī)的能力,，剛才說(shuō)到芯片、存儲(chǔ)器,、云計(jì)算和管理,，與之有關(guān)的還有模型壓縮和加速問(wèn)題。

第二是數(shù)據(jù)方面，數(shù)據(jù)非常重要,，全社會(huì)都要貢獻(xiàn)自己的數(shù)據(jù),，然后取長(zhǎng)補(bǔ)短，大家一起努力,。數(shù)據(jù)上面還有一個(gè)隱私保護(hù)下的學(xué)習(xí),，這是非常重要的一點(diǎn)。

第三是模型,，剛才說(shuō)到很多,，有監(jiān)督的學(xué)習(xí)、無(wú)監(jiān)督的學(xué)習(xí),、少監(jiān)督的學(xué)習(xí),，然后是預(yù)訓(xùn)練模型，還有神經(jīng)網(wǎng)絡(luò)跟人類知識(shí)和常識(shí)如何結(jié)合,，把推理和可解釋性融入到我們的學(xué)習(xí)體系之中,。

第四是人才培養(yǎng)，一定要靠人來(lái)實(shí)現(xiàn)整體的過(guò)程,。人才如何進(jìn)行培養(yǎng)呢,？要注重實(shí)踐性，讓他們有很強(qiáng)的實(shí)踐意識(shí),，而不是天天去推公式,，還要有邏輯上的理解。

第五是合作,，校企合作,、不同學(xué)科的合作、國(guó)家的合作,、企業(yè)界,、投資界、政府各個(gè)方面的合作,，形成一個(gè)生態(tài)，大家在里面各得其所,，來(lái)穩(wěn)步推進(jìn),。

第六是強(qiáng)調(diào)應(yīng)用，通過(guò)應(yīng)用獲得真實(shí)的數(shù)據(jù),、用戶的反饋,，然后改進(jìn)我們的系統(tǒng)，也通過(guò)應(yīng)用提升學(xué)生的動(dòng)手能力,，也是通過(guò)應(yīng)用使我們了解人和機(jī)器在一個(gè)真實(shí)的系統(tǒng)里如何相得益彰,、互相配合，實(shí)現(xiàn)人工智能和人類智能的雙向結(jié)合。 

謝謝大家,！

我們將會(huì)在本次峰會(huì)后,，在「AI投研邦」上線CCF GAIR 2019峰會(huì)完整視頻與各大主題專場(chǎng)白皮書，包括機(jī)器人前沿專場(chǎng),、智能交通專場(chǎng),、智慧城市專場(chǎng)、AI芯片專場(chǎng),、AI金融專場(chǎng),、AI醫(yī)療專場(chǎng)、智慧教育專場(chǎng)等,。「AI投研邦」會(huì)員們可免費(fèi)觀看全年峰會(huì)視頻與研報(bào)內(nèi)容,，掃碼進(jìn)入會(huì)員頁(yè)面了解更多。峰會(huì)期間專享立減399元福利,，可進(jìn)入頁(yè)面直接領(lǐng)取,，或私信助教小慕（微信：moocmm）咨詢。（最后一天50個(gè)名額,，速搶,。）