智東西（公眾號：zhidxcom）

作者 | 心緣

編輯 | 漠影

“生姜怎么保存,？”,、“小孩能吃辣條嗎？”,、“魚的感覺器官是什么,？”……

知識問答是智能語音助手最常見的日常交互內(nèi)容之一。像上面這些難以回答的長尾問題,，一個語音助手平均每天會遇到上百萬條,，而當(dāng)前業(yè)界的方案，不是拒絕回答,，就是跳轉(zhuǎn)到搜索引擎,。

對于用戶來說，這也就節(jié)省了打開搜索頁面和輸入問題的步驟,，要比直接給出答案費事的多,。

面對數(shù)量龐雜且發(fā)散的問題，業(yè)界一直沒有成熟的方案,。但最近,，在智源研究院1.75億參數(shù)超大AI模型“悟道2.0”的基礎(chǔ)上，OPPO小布助手建設(shè)了直接給出此類開放域長尾問題答案的能力,。

過去三年來,，隨著BERT、GPT-3,、悟道2.0等國內(nèi)外超大規(guī)模預(yù)訓(xùn)練模型接連出場,，“大模型”已成為眾多學(xué)術(shù)及行業(yè)大會熱議的方向，也是代表深度學(xué)習(xí)前沿水平的標(biāo)志性模型,。

匯集國內(nèi)頂尖AI專家及后輩人才的北京智源人工智能研究院,，自2020年10月啟動大模型研究起就一路快馬加鞭地推進(jìn)研發(fā)，今年3月發(fā)布大模型“悟道1.0”,，6月推出參數(shù)規(guī)模高達(dá)1.75萬億的全球最大AI模型“悟道2.0”,。

如今，智源“悟道”又邁向新的節(jié)點——讓大模型被廣泛地“用起來”,，打破AI開發(fā)想象力的邊界,！

智源研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰

在本周五2021中關(guān)村論壇上,，智源研究院學(xué)術(shù)副院長,、清華大學(xué)教授唐杰一連宣布主攻低門檻、高效率,、高情商的3個悟道大模型技術(shù)創(chuàng)新成果,，要真正解決AI企業(yè)及行業(yè)用戶研發(fā)的核心痛點。

助力OPPO小布助手升級，是“悟道”在智能終端落地應(yīng)用的重要一步,，這一應(yīng)用案例不僅展現(xiàn)了大模型在攻破智能助手瓶頸的技術(shù)優(yōu)勢,，亦蘊(yùn)藏著驅(qū)動智能終端體驗大變革的潛能。

基于悟道大模型的冬奧手語播報數(shù)字人也首次亮相,，它將在北京冬奧會期間正式投用,，為聽障人士提供全流程智能化的數(shù)字人手語生成服務(wù)。該成果將在年底發(fā)布,。

一,、三大技術(shù)創(chuàng)新：讓大模型更好用，秀“雙商在線”聊天技能

悟道2.0大模型有1.75萬億參數(shù),，這是什么概念?

如果用GPU加載到內(nèi)存中,，需要512張英偉達(dá)A100的卡，成本大約6000多萬人民幣,，還不包括電費,。這是個相當(dāng)高的門檻。

智源正在做的,，即是將悟道的應(yīng)用門檻降下來,，將AI的效率和情商提起來，給更多人帶來便利,。

無論是降低AI大模型開發(fā)門檻的悟道開發(fā)平臺,，還是“一卡頂四卡”的高效推理工具包、4倍提速4倍清晰的AI文圖繪畫,、最大中文對話模型等技術(shù)創(chuàng)新,，都讓悟道大模型變得更加好用、易用,。

1,、悟道開發(fā)平臺：幫企業(yè)輕松構(gòu)建自己的AI應(yīng)用

為了降低中小企業(yè)基于大模型開發(fā)的門檻,，智源打造了悟道開發(fā)平臺,，讓每個人點點鼠標(biāo)就能構(gòu)建AI，從數(shù)據(jù)處理,、模型微調(diào)到API部署一應(yīng)俱全,。

該平臺支撐著10億級別模型的在線訓(xùn)練與微調(diào)，企業(yè)可以通過“大模型+少量數(shù)據(jù)微調(diào)”的AI開發(fā)模式,，解決AI應(yīng)用開發(fā)難以規(guī)?；a(chǎn)業(yè)化的問題,。

這樣一來,，即便你是AI開發(fā)新手，也能很快開發(fā)出高質(zhì)量的AI應(yīng)用，還能將這一應(yīng)用開放給悟道所有生態(tài)伙伴及相關(guān)用戶,。

智源實現(xiàn)了一站式研發(fā)和一站式應(yīng)用平臺,，前者面向開發(fā)者提供數(shù)據(jù)模型、在線訓(xùn)練,、模型調(diào)優(yōu),、模型評測、在線部署和應(yīng)用開發(fā)等功能,，后者為普通用戶提供直接可用的AI應(yīng)用商城,。

整個應(yīng)用平臺底層實現(xiàn)了悟道大數(shù)據(jù)的處理，有超過5T數(shù)據(jù),，還有悟道各種各樣的基礎(chǔ)模型,，以及相關(guān)多達(dá)幾十種算法和相關(guān)的工具集。

用戶可以將數(shù)據(jù)提交到平臺上,，在云端跑模型,。當(dāng)數(shù)據(jù)特別大時，也可以將模型下載下來,，在本地機(jī)器上做微調(diào),，這需要有一些GPU做支持。

目前悟道開發(fā)平臺已開放API免費體驗,，預(yù)計10月開放在線訓(xùn)練等更多能力,。

2、預(yù)訓(xùn)練推理工具包BMInf：低資源高效推理

高效率推理,，是實現(xiàn)大模型應(yīng)用的關(guān)鍵,。

以前萬億模型進(jìn)行一次推理，需要512張A100的卡把內(nèi)存裝進(jìn)去,，而現(xiàn)在借助預(yù)訓(xùn)練推理工具包BMInf,，一卡即可頂四卡，該工具包支持最低配置在英偉達(dá)GTX 1060單卡機(jī)上運行百億大模型,。

當(dāng)然,，除了百億模型，你可以根據(jù)自己的實際應(yīng)用需求,，在線調(diào)用從億級到萬億級規(guī)模的模型,，其能力覆蓋文本補(bǔ)全、文本生成及對話場景,。

BMInf及其支持的模型參數(shù)已經(jīng)開源共享,，用戶無需訪問源代碼即可調(diào)用，也可以把它下載下來,，進(jìn)行本地的部署,。

AI文圖繪畫大師CogView2也再度進(jìn)階,，速度和畫面分辨率均提升4倍。以前5分鐘畫16張圖,，現(xiàn)在 40多秒就能畫出8張,，效果比國際領(lǐng)先的DALL·E模型還要更勝一籌。

下圖是針對“海灘上的一群人”這一主題的AI模型繪畫作品,。左邊是世界頂尖AI研究機(jī)構(gòu)OpenAI的DALL·E模型所生成繪畫中的優(yōu)選作品,，右邊是CogView隨機(jī)生成的繪畫。

可以看到在畫面生成效果上,，右側(cè)身體輪廓與邊緣清晰流暢,，面部表情可見，既有群像又有個人特寫,，主題呈現(xiàn)場景也更為豐富,、有生活感。

3,、最大中文對話模型EVA：讓機(jī)器聊出人情味兒

怎樣讓AI更聰明,？舉一反三、學(xué)習(xí)能力是關(guān)鍵,。

對此,，智源研發(fā)了一個基于prompt生成方法以及分類器的數(shù)據(jù)選擇方法，能對非常少量的樣本進(jìn)行數(shù)據(jù)增強(qiáng),，并通過微調(diào)把原來大模型迅速適應(yīng)到小的一個領(lǐng)域或者特定的任務(wù)中,。

例如這一次，智源就發(fā)布了一個雙商在線的機(jī)器人,，它不僅能幫你答疑解惑,，還能基于心理咨詢助人理論，對你關(guān)懷體貼,，實現(xiàn)深度情緒安撫和支持,。

智源最大中文對話模型EVA已經(jīng)開源上線，除了擁有善解人意的特點外,，還能展示大型大模型群聊現(xiàn)場,。如下圖所示，語音機(jī)器人們互相聊得熱火朝天,，PK誰才是高情商聊天小能手,。

“悟道模型中有文匯,、文源等,，不同的模型構(gòu)建不同的機(jī)器人，用不同方式聊天,?！碧平苷f，未來要實現(xiàn)讓整個模型、讓所有人參與到群聊中,，所有人和機(jī)器可以自然聊天,。

二、問不倒的智能語音助手,，悟道大模型與OPPO共建高階知識問答

悟道大模型會聊天的能力,，已經(jīng)輸入到OPPO小布助手中。

從2018年12月發(fā)布至今,，OPPO小布助手已經(jīng)成長了近3年,，截至當(dāng)前已覆蓋了2.5億臺智能手機(jī)和IoT設(shè)備。今年2月,，小布成為國內(nèi)首個月活躍用戶數(shù)破億的手機(jī)語音助手,。

現(xiàn)在，小布的月活躍用戶數(shù)已達(dá)1.3億,，月交互次數(shù)超過20億次,。

這么大的月活量，用戶主要都聊了什么,？

小布助手技術(shù)總監(jiān)楊振宇分享說,，知識問答在小布總交互量中的占比約為15%，其中許多問題涉及領(lǐng)域廣泛,，大量問題每月僅出現(xiàn)1次,，樣本很少，每月會累計千萬級無法回答的問題,。

與龐雜低概率問題相對的,，是低效的人工建設(shè)。通常建設(shè)高質(zhì)量的語料庫主要借助人工標(biāo)注的方式,，標(biāo)注員每天最多能產(chǎn)出不超過千條,，每月成本卻高達(dá)數(shù)百萬。

由于提問率超低,、回答難度大的問題,，這些長尾問題成為問答領(lǐng)域的無人區(qū)，需要企業(yè)耗費高昂的成本建設(shè),。當(dāng)語音助手無法回答這些問題,，通常要么拒絕回答，給用戶一個設(shè)定好的默認(rèn)回復(fù),，要么借助搜索引擎給出搜索列表,。

融合了悟道大模型能力的生成式知識問答系統(tǒng)“小布問答”，做到了為大量長尾問題即時生成非常流暢,、自然的高質(zhì)量答案,，能顯著提升用戶對話交互體驗,。

相對于傳統(tǒng)人工標(biāo)注，基于悟道合作共建的生成式知識問答系統(tǒng),，平均單條長尾問題問答成本降低99%,，抽驗準(zhǔn)確率超65%并持續(xù)提升中，再加上上游增設(shè)的質(zhì)量控制及融合排序,，用戶實際體驗到的準(zhǔn)確率會更高,。

截至當(dāng)前，該系統(tǒng)已累計已生成百萬級問答量,。

三,、如何高質(zhì)量回答難解問題？解讀悟道的三大技術(shù)硬實力

在小布問答體驗提升的背后,，悟道生成式大模型功不可沒,。

在用戶輸入問題后，生成式知識問答系統(tǒng)會先進(jìn)行意圖識別,，將其分為問答意圖或非問答意圖,，問答意圖中會存在大量無法回答的開放域問題。

對此,，悟道大模型會生成一些高質(zhì)量的答案,，這些答案形成知識語料庫，再通過語義檢索的方式,，向用戶提供服務(wù),。

針對現(xiàn)有用戶已提出而市面主流問答接口均無法回答的問題，悟道通過其通用語言模型GLM生成問答,。

對于當(dāng)前知識庫中不存在,、用戶未來可能問到的問題，悟道則借助GLM模型的三大能力,，結(jié)合知識圖譜,，形成持續(xù)知識預(yù)訓(xùn)練模型，進(jìn)而大規(guī)模生成問答語料庫：

1）文本生成能力：小布提供的無法回答的問題,，是已經(jīng)調(diào)用了多方資源仍然沒有得到答案的問題,。而悟道大模型的文本生成能力能實現(xiàn)低成本快速構(gòu)建語料庫，每臺機(jī)器每天可生成10萬左右的待審核答案,，并避免回答引用時的版權(quán)問題,。

2）理解能力：利用大模型對于既有知識的理解、推理能力,，配合智源“持續(xù)知識預(yù)訓(xùn)練”技術(shù),，可以讓模型能夠更加理解常識和百科知識，從而使生成的結(jié)果更加符合百科常識,。

3）小樣本學(xué)習(xí)能力：通過少量樣本,，對生成結(jié)果,，進(jìn)行排序,，提升文本表達(dá)的準(zhǔn)確度,。

這種新的技術(shù)范式，能以低成本的方式回答現(xiàn)有問答系統(tǒng)無法回答的問題,，目前在OPPO小布助手上得到成功驗證,，雙方正在持續(xù)迭代升級中。

楊振宇透露,，未來小布希望能繼續(xù)與智源拓展數(shù)據(jù)開放,、模型共建、應(yīng)用適配等更多合作方向,。

四,、大模型時代的應(yīng)用大幕已然拉開

逐漸打磨成熟的一系列平臺及工具，以及更多示范應(yīng)用案例的出現(xiàn),，正將大模型的應(yīng)用價值推到歷史前臺,。

在商業(yè)落地方面成果豐碩的大模型GPT-3，已經(jīng)有300多個衍生應(yīng)用,，其相關(guān)創(chuàng)業(yè)公司也有好幾十個,，有些公司還拿到了融資。這些商業(yè)應(yīng)用的覆蓋范疇從日常辦公到補(bǔ)寫代碼,、從寫詩作曲到設(shè)計游戲應(yīng)有盡有,。

唐杰希望在未來，悟道用自己的特色,，在落地應(yīng)用方面跟GPT-3對標(biāo),。

此次悟道與小布助手的合作成果，釋放出未來智能終端語音助手進(jìn)化的積極訊號,。經(jīng)悟道大模型助力的小布,，不再是只擅長回答標(biāo)準(zhǔn)固定答案的機(jī)械語音機(jī)器人，而像人類一樣更靈活地聊天,。

在接受媒體采訪時,，唐杰提到大模型在問答方面還有進(jìn)步空間。比如機(jī)器不能保證100%答案正確,，也做不到引經(jīng)據(jù)典,、內(nèi)涵豐富的復(fù)雜邏輯?！八园汛竽Ｐ偷侥愕膽?yīng)用中,，還要做一些工作，讓它變得生產(chǎn)可用,?！監(jiān)PPO數(shù)智工程系統(tǒng)總裁劉海鋒補(bǔ)充說,。

智源研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰與OPPO數(shù)智工程系統(tǒng)總裁劉海鋒接受媒體采訪

長遠(yuǎn)來看,，大模型獨特的技術(shù)體系和產(chǎn)業(yè)模式,，將提供一種更加高效率和低成本的AI開發(fā)基礎(chǔ)設(shè)施，或為智能終端體驗的升級帶來新思路,。

冬奧手語播報數(shù)字人也帶來了更大想象空間,，比如未來大模型可以助力智能制造，每個人都能設(shè)計全新的服裝或其他商品,，通過智能制造的車間3D打印出來,，讓每個人的物品都變得個性化。

悟道大模型今天應(yīng)用在終端智能設(shè)備,、新聞手語播報,，已經(jīng)走進(jìn)人們的日常生活，隨著悟道生態(tài)的持續(xù)擴(kuò)張,，未來還將在更多產(chǎn)業(yè)得到應(yīng)用,。

如今30家企業(yè)已經(jīng)加入智源成立的悟道產(chǎn)業(yè)聯(lián)盟，更多從發(fā)展生態(tài)的角度來看待大模型的用途和趨勢,，助力未來更大應(yīng)用場景的發(fā)展,。悟道還積極推進(jìn)社區(qū)建設(shè)，包括大賽,、科研基金等,。

自悟道發(fā)布起，智源開始籌備悟道AI創(chuàng)新大賽,，目前已有200個參賽隊伍參加,，大賽將在11月14日進(jìn)行決賽的現(xiàn)場路演和頒獎。

悟道也設(shè)有2500萬的科研基金池,，擬支持50個科研基金,，吸引全國各科研機(jī)構(gòu)相關(guān)博士、老師,、學(xué)生加入這里進(jìn)行科研研究,。

此外，智源成立了悟道科技運營公司,，希望在公司中實現(xiàn)開放API和實現(xiàn)端到端的解決方案,，并且提供模型授權(quán)，以此將悟道大模型的能力對外開放,，助力AI發(fā)展,。

唐杰希望，未來悟道能變得更開放，落地到更大的應(yīng)用場景,。

結(jié)語：大模型落地正當(dāng)時,，或催生行業(yè)創(chuàng)新機(jī)會

在許多人眼中，參數(shù)規(guī)模驚人的大模型,，是AI界的“陽春白雪”,。如今智源發(fā)布的多項技術(shù)創(chuàng)新及應(yīng)用成果，昭示著國內(nèi)圍繞AI大模型的產(chǎn)業(yè)模式已經(jīng)啟航,，開始通過生態(tài)合作將智能像水電一樣輸送到人們的身邊,。

大模型時代的落地浪潮正在加速涌來,。當(dāng)大模型的技術(shù)成果逐漸滲入AI研發(fā)和產(chǎn)業(yè)應(yīng)用中,，則有望帶來破壁效應(yīng)，催生新的應(yīng)用場景及產(chǎn)業(yè)模式,，驅(qū)動AI技術(shù)與實體經(jīng)濟(jì)的深度融合,。新一輪行業(yè)創(chuàng)新的機(jī)會，也許正孕育于這股浪潮之中,。