ChatGPT

背景

去年12月1日openAI發(fā)布了自然語言生成模型chatGPT,，一個可以基于用戶輸入文本自動生成回答的人工智能，也就是智能聊天機(jī)器人,。它有著趕超人類的自然對話程度以及逆天的學(xué)識,。不論是夸人、講笑話,、講相聲,、續(xù)寫故事,、甚至成為自己的互聯(lián)網(wǎng)嘴替都是可以在相似程度和口吻上和人類高度一致。

當(dāng)然在實際工作上它也是有著極高的生產(chǎn)效率,，不論是實際工作,，解釋概念，查詢菜譜,，查詢代碼甚至編程問題,，比如找出代碼中的bug，或者寫出某些程序,，都是可以完成,。這種快問快答的直觀交互方式，遠(yuǎn)超大部分引擎,。除此之外在其他方面,，產(chǎn)品文檔、檢討書,、年終總結(jié),、招聘策劃、自我介紹,、求職信,、拒絕信、辭職信等都可以有很高的利用價值,。

• 所以為什么chatGPT會有這么出色的表現(xiàn),？

• 它的聊天能力，文學(xué)能力,，編程能力到底有多強(qiáng),？

• 它會取代搜索引擎嗎？

ChatGPT到底是什么

ChatGPT是一款通用的自然語言生成模型,，其中GPT是Generative Pretrained Transformer的簡稱,，也就是生成型預(yù)訓(xùn)練變換模型，傳統(tǒng)的語言模型的工作方式是對語言文本進(jìn)行概率建模用來預(yù)測下一段輸出內(nèi)容的概率,，形式上非常類似小時候玩的文字接龍游戲

這一次之所以能有如此之大的反響,，很大程度上是因為他在語言能力上的顯著提升

ChatGPT相對于其他的聊天機(jī)器人，有哪些顯著提升

• 對用戶實際意圖的理解,，不用和機(jī)器人來回兜圈子

• 出色的上下文銜接能力，不僅能夠問一個相對復(fù)雜的問題,，而且可以通過不斷追加提問的方式,，讓他不斷地改進(jìn)回答內(nèi)容，最終達(dá)到用戶的理想效果,。

• 對知識和邏輯的理解能力,，對一個問題不僅能夠很好的回答,，同時對這個問題的各種細(xì)節(jié)追問，也可以很好的回答出來

ChatGPT和openAI今年一月份發(fā)布的另一個模型instructGPT是非常接近的姊妹關(guān)系,，兩個模型的訓(xùn)練過程也非常接近,，因此可以作為非常可靠的參考

instructGPT對比上一代GPT3

• 71%-88%的情況下更加符合人類喜好

• 編造回答的概率從41%下降到21%,，也就是被問到不知道的問題時instructGPT只有21%的概率會編造回答

• 產(chǎn)生胡言亂語的情況的概率減小了25%

所以instructGPT相對于上一代可以提供更加真實可靠的回答,，其回答內(nèi)容也更加符合人類喜好

ChatGPT的發(fā)展過程

ChatGPT是intructGPT的姊妹版本，也就是針對于intructGPT做出了一些調(diào)整

同樣是來自于transformer架構(gòu)上的分支,，BERT和GPT的一大不同,，來自于他們transformer具體結(jié)構(gòu)的區(qū)別。

BERT使用的是transformer的encoder組件,，encoder組件在計算某個位置時,，會關(guān)注它左右兩側(cè)的上下文信息

GPT使用的是transformer的decoder組件，decoder組件在計算某個位置時,，只關(guān)注它左側(cè)的上文信息

通俗一些來講,，BERT在結(jié)構(gòu)上對上下文的理解會更強(qiáng)，更適合嵌入式的表達(dá)（完形填空式的任務(wù)）,。GPT在結(jié)構(gòu)上更適合只有上文,，不知道下文的任務(wù)（聊天）

模型量級提升

從GPT到GPT-2再到GPT-3，openAI將模型參數(shù)從1.17億提升到了15億個,，之后又進(jìn)一步提升到了1750億個,，以至于GPT-3比以前同類型的模型，參數(shù)量增加了10倍以上,，訓(xùn)練數(shù)據(jù)量也從5GB暴力提升到45TB,，在方向上**openAI沒有追求模型在特定類型任務(wù)上的表現(xiàn)，而是不斷地增強(qiáng)模型的泛化能力（應(yīng)對各種沒有見過的問題的能力）

基于人類反饋的強(qiáng)化學(xué)習(xí)

從GPT3到intructGPT的一個有趣改進(jìn)來自于引入了人類的反饋,，用openAI論文的說法是,，在intructGPT之前，大部分大規(guī)模語言模型的目標(biāo),，都是基于上一個輸出片段,，預(yù)測下一個輸出片段，但這個目標(biāo)和用戶意圖是不一致的,，用戶的意圖是讓語言模型有效并且安全地遵循用戶的指令

為了達(dá)到對用戶意圖的理解,，他們引入了標(biāo)記人員，通過標(biāo)記人員的人工標(biāo)記,，來訓(xùn)練出一個反饋模型,，這個反饋模型，實際上就是一個模仿人類喜好，用來給GPT-3的結(jié)果來打分的模型,，之后再用這個反饋模型再去訓(xùn)練GPT-3

這個反饋模型,，就相當(dāng)于被抽象出來的人類意志，可以用來激勵GPT-3的訓(xùn)練,，這整個訓(xùn)練方法就被叫做基于人類反饋的強(qiáng)化學(xué)習(xí)

至此可以發(fā)下openAI一直在追求的幾個特點：

• 只有上文的decoder結(jié)構(gòu)：這種結(jié)構(gòu)訓(xùn)練出來的模型更加適合問答模式

• 通用模型：openAI一直避免在早期架構(gòu)和訓(xùn)練階段,，就針對某個特定的行業(yè)做調(diào)優(yōu)，這也上GPT-3有著很強(qiáng)的通用和泛化能力

• 巨量的數(shù)據(jù)和巨量的參數(shù),，讓語言模型涵蓋了人類生活中會涉及的幾乎所有的自然語言和編程語言

上下文對話的原理

語言模型生成回答的方式,，其實是基于一個個的token（粗略地理解為一個個單詞），所以ChatGPT生成的一句話的回答,，其實是從第一個詞開始,，重復(fù)把問出的問題以及當(dāng)前生成的所有內(nèi)容，再做為下一次的輸入,，再生成下一個token,，直到生成完整的回答。

既然一句話是基于前面所有的上文一個個詞生成的,，那同樣的原理,，也可以把之前的對話作為下一次問題的輸入，這樣下一次的回答,，就可以包含之前對話的上下文,，chatGPT的上下玩大概是4000個token。

文章筆記來自于b站主：不說話的白菜