陳樺 問耕 編譯整理

量子位 報道 | 公眾號 QbitAI

對話，多么簡單的一件事,。

但說真的,，如果想讓機器做好這件事，你就會發(fā)現(xiàn)對話時多么的復(fù)雜,。諸如回答問題,、完成句子甚至完成一小段交流等等，都不是一件易事,。

包括上述提及的諸多細(xì)分領(lǐng)域,，都有很多人在獨立展開研究，現(xiàn)在有人嘗試把這些整合在一起,，用以更好的創(chuàng)建一個對話AI,。

Facebook AI Research (FAIR)旗下的實驗室,，如今發(fā)布了一項被稱為“一站式對話研究”的新工具：ParlAI。

ParlAI為AI程序員提供了一個簡單的框架,，來訓(xùn)練和測試聊天機器人,，并提供樣本對話數(shù)據(jù)集，還無縫集成了亞馬遜的Mechanical Turk“人工”智能服務(wù),。據(jù)說,，在ParlAI的幫助下，往工作流里拉入一個數(shù)據(jù)集,，就像寫命令行一樣簡單,。

在形式上，ParlAI和其他訓(xùn)練和測試方案很類似,，例如OpenAI的Gym或者DeepMind的Lab,。不同之處在于，Gym和Lab主要面向強化學(xué)習(xí)進行了優(yōu)化,，而ParlAI專注在對話領(lǐng)域,。

和微軟的chatbot框架不同，ParlAI是一個針對前沿AI研究社區(qū)的工具包,。ParlAI不是用于搭建一個實際的聊天機器人,，而是提供了一個更好的訓(xùn)練場所。

在對話領(lǐng)域常見的監(jiān)督學(xué)習(xí),，可能不如強化學(xué)習(xí)那么時髦有趣,，但同樣是機器學(xué)習(xí)領(lǐng)域重要的組成部分。

Facebook人工智能研究主管Yann LeCun表示,，進步已經(jīng)發(fā)生,，用戶將看到各種聊天機器人的持續(xù)進步。

他舉例說,，能夠處理類似Wikipedia這樣大型數(shù)據(jù)集,，進行挖掘并能在其上回答問題的系統(tǒng)，現(xiàn)在還不存在,。但這種技術(shù)預(yù)計很快會出現(xiàn),，而這可能是未來Facebook人工智能平臺的關(guān)鍵所在，LeCun表示,。

“我們的最終目標(biāo)之一,，是讓你擁有自己的數(shù)字朋友，一個為你量身定制的虛擬助理”,，LeCun表示這個AI虛擬助理,，將幫助你更好的與世界互動，更好的與他人交流，更好的了解海量信息,，總之會讓生活更美好,。

FAIR將采用ParlAI開展研究。Facebook在對話領(lǐng)域有很多探索,，比方說推出不久的人力+AI驅(qū)動的虛擬助理“M”,。

最終類似M這樣的產(chǎn)品，會在跟人類的交流中學(xué)到如何展開對話,，就像嬰兒和幼兒一樣,。然而實現(xiàn)這個夢想的重要一步，就是打破人工智能的孤島,，集中力量辦大事,。這正是ParlAI發(fā)布的意義。

△ ParlAI幕后團隊

詳解ParlAI

關(guān)于ParlAI,，F(xiàn)acebook官方還提供了詳細(xì)的解釋。

Facebook人工智能研究（FAIR）團隊開發(fā)了新的開源平臺,，用于同時在多項任務(wù)中訓(xùn)練及測試對話模型,。

ParlAI是一站式對話研究平臺，研究人員可以向單一,、共享的資源庫提交新任務(wù),，訓(xùn)練算法。通過在數(shù)據(jù)收集,、訓(xùn)練和評價方面與Mechanical Turk的整合,，ParlAI中的機器人可以與人類對話。

Facebook這項工作的最終目標(biāo)是將現(xiàn)有的對話數(shù)據(jù)集與包含真實人機對話的學(xué)習(xí)系統(tǒng)統(tǒng)一起來,。

ParlAI將成為FAIR與文本處理相關(guān)的其他工作的補充,。其中包括快速高效的文本分類工具FastText，以及基于復(fù)雜任務(wù)的通用人工智能開發(fā)框架CommAI,。

ParlAI中的任務(wù)

此次發(fā)布的版本中包含20多個公共數(shù)據(jù)集。

任務(wù)分為5類：

問題回答：這是最簡單的對話形式,，每位發(fā)言者占一個回合。問題回答非常有用,，因為相對于其他對話形式,，評價方式要更簡單：如果問題的答案是已知的（例如，數(shù)據(jù)集已打上標(biāo)簽）,，那么我們可以迅速檢查答案是否正確,。

語句完成（完形填空）：在這項測試中,，agent需要填寫對話中缺失的某個表達(dá)。這是另一種專門的對話任務(wù),，但數(shù)據(jù)集的制作成本很低,，而評價方式也很簡單。

以目標(biāo)為導(dǎo)向的對話：在現(xiàn)實中更常見的一類對話需要實現(xiàn)某個目標(biāo),。例如,，顧客和旅行代理會討論某個航班信息，對話中的一方向另一方推薦某部電影,，以及對話雙方就何時去哪里用餐達(dá)成一致等,。

閑聊對話：某些任務(wù)沒有明確目標(biāo)，而更多的只是討論,。例如,，對話雙方討論體育賽事、電影,，或是共同感興趣的話題,。

可視對話：這些任務(wù)中除了文字之外還包含圖片。在現(xiàn)實世界,，對話常?；趯嶓w對象。未來,，我們還計劃加入其他感知信息,，例如聲音。

在ParlAI中選擇一項任務(wù)很簡單,，只要在命令行中進行指定即可。如果數(shù)據(jù)集尚未被使用過,，那么ParlAI將會自動下載,。由于ParlAI對所有數(shù)據(jù)集都采用同樣的處理方式（利用單一的對話API），對話agent可以在所有數(shù)據(jù)集中進行訓(xùn)練和測試的切換,。通過提供由逗號分隔的列表,，例如命令行-t babi, squad，你可以同時指定多個任務(wù)（多任務(wù)）,。通過命令行-t #qa,，你可以指定所有問答數(shù)據(jù)集。通過命令行-t #all,，你可以指定ParlAI中的所有任務(wù),。目標(biāo)是幫助用戶方便地建立及評價豐富對話模型。

world,、agent和teacher

ParlAI中最主要的概念（類）包括world,、agent和teacher,。world的定義是對話者存在的環(huán)境，其中包括簡單的雙向?qū)υ捄透鼜?fù)雜的場景,，例如互動性的游戲環(huán)境,。agent是在世界中活動、對話的主體,。agent可以是學(xué)習(xí)者,，例如機器學(xué)習(xí)系統(tǒng)，或是可以與學(xué)習(xí)者互動,、固定代碼的機器人,，例如游戲中的NPC。teacher也是一類agent,，可以與學(xué)習(xí)者進行對話,。

所有agent都采用同樣的形式，即觀察/行動對象（一個Python字典）,，與其他agent交換文本,、標(biāo)簽和反饋。

agent發(fā)送這些消息去說話,，并以同樣的形式接收消息，觀察環(huán)境中其他的對話者,。這使我們可以解決各種對話問題,，包括強制學(xué)習(xí)和完全受監(jiān)督學(xué)習(xí)，同時確保所有數(shù)據(jù)集遵從同樣的標(biāo)準(zhǔn),。當(dāng)研究者建立新模型時,，他們可以方便地將模型應(yīng)用于多個任務(wù)。

在定義了world和其中的agent之后,，可以調(diào)用函數(shù)world.parley()去運行主循環(huán),，進行訓(xùn)練、測試和展示,。

工具包的首個版本包含了已經(jīng)配置好的agent，例如簡單的IR baseline,，以及兩個完整的神經(jīng)網(wǎng)絡(luò)范例：一個在Lua Torch中配置的端到端記憶網(wǎng)絡(luò),，以及一個在PyTorch中配置的LSTM模型DrQA。我們計劃在未來的版本中加入更多新任務(wù)和agent,。

Mechanical Turk

在開發(fā)聊天機器人時，與人類的對話是訓(xùn)練中的重要部分,。因此,，ParlAI與Mechanical Turk進行了集成，進行數(shù)據(jù)收集、訓(xùn)練和評價,。這也意味著,，研究機構(gòu)可以對Turk試驗進行比較，而以往這很困難,。

在ParlAI中,，人類Turker也被視為agent。他們可以很方便地與機器人對話,，協(xié)助對機器人的訓(xùn)練和評價,。因此，人類之間,、人機之間,，以及多人/多機器群聊都可以在標(biāo)準(zhǔn)框架下實現(xiàn)。你可以按需調(diào)整角色,，而不需要修改關(guān)于agent的代碼,。這是由于，Turker的消息收發(fā)通過統(tǒng)一界面,，利用了觀察/行動字典中的域,。

我們在首個版本中提供了兩個范例：

1.qa_controller：這種agent可以與Turker對話，在上下文片段中收集問答對,，建立問答數(shù)據(jù)集,。

2.model_evaluator：關(guān)于機器人在某項任務(wù)中的表現(xiàn)，這種agent可以收集來自Turker的評價,。

結(jié)語

ParlAI首次向研究者提供了統(tǒng)一平臺，用于收集所有重要的對話任務(wù),。這不僅幫助這些個體任務(wù)更方便地迭代,，利用所有這些任務(wù)去訓(xùn)練機器人也變得更簡單（最終這將帶來更好的機器人），同時可以對機器人的所有能力進行評價,。

通過這一平臺,，研究人員可以在資源庫中提交代碼，從而分享人工智能學(xué)習(xí)agent,。這意味著,，研究人員可以重現(xiàn)同行的研究結(jié)果，并在他人的成果之上進行開發(fā),。

最后,，對Mechanical Turk的集成意味著人類可以很容易地進入循環(huán)，與機器人對話,，協(xié)助對機器人的訓(xùn)練和評價,。最終,，在開發(fā)能與人類對話的聊天機器人的過程中，與人類的對話訓(xùn)練非常必要,。

解決對話問題是人工智能領(lǐng)域的長期挑戰(zhàn),，朝著該目標(biāo)的任何進展都有可能在短期內(nèi)給產(chǎn)品帶來幫助，或是協(xié)助其他領(lǐng)域的技術(shù)開發(fā),。我們希望,，ParlAL平臺能聚集人工智能對話agent的研究社區(qū)，繼續(xù)推動對話研究的發(fā)展,。

代碼和網(wǎng)址

ParlAI主頁：

http://

代碼：

https://github.com/facebookresearch/ParlAI

【完】

招聘

量子位正在招募編輯記者,、運營、產(chǎn)品等崗位,，工作地點在北京中關(guān)村,。相關(guān)細(xì)節(jié)，請在公眾號對話界面,，回復(fù)：“招聘”,。

One More Thing…

今天AI界還有哪些事值得關(guān)注？在量子位（QbitAI）公眾號對話界面回復(fù)“今天”,，看我們?nèi)W(wǎng)搜羅的AI行業(yè)和研究動態(tài),。筆芯~