|
https://m.toutiao.com/is/BfqBs5T/ chatGPT是一個(gè)語(yǔ)言模型，什么是語(yǔ)言模型呢,？通俗理解就是這種模型可以得出一句話符合人類(lèi)表達(dá)的概率是多少,。 在機(jī)器學(xué)習(xí)時(shí)代，語(yǔ)言模型,，通常是n_gram的形式通過(guò)前n個(gè)詞來(lái)預(yù)測(cè)后一個(gè)詞,，這種學(xué)習(xí)模式只能學(xué)習(xí)到局部信息。 2013年,。深度學(xué)習(xí)開(kāi)始爆發(fā)了,，科學(xué)家們開(kāi)啟通過(guò)神經(jīng)網(wǎng)絡(luò)的模式來(lái)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)了，比較經(jīng)典的網(wǎng)絡(luò)模型就是word2vec,詞向量時(shí)代到來(lái)了,，他有多牛逼呢,。學(xué)習(xí)出來(lái)的詞向量，從向量緯度來(lái)看,，女人和男人,，和女王和國(guó)王之間的詞向量緯度是非常相近的，所以那個(gè)時(shí)候nlp任務(wù)分詞之后就是用word2vec轉(zhuǎn)變?yōu)樵~向量輸入到模型中,，這種模型效果非常好,。但他有一個(gè)致命的弱點(diǎn)就是靜態(tài)化的詞向量，比如蘋(píng)果,，既可以是水果也可以手機(jī),，但是在word2vec中只有一個(gè)向量表示，無(wú)法根據(jù)語(yǔ)境動(dòng)態(tài)變化,。 科學(xué)家們不斷嘗試,，代表作就是谷歌的bert,bert是一個(gè)跨時(shí)代的作品，它打破了20多項(xiàng)世界紀(jì)錄,，解決了語(yǔ)言模型的多個(gè)問(wèn)題,，產(chǎn)生了真正意義的動(dòng)態(tài)詞向量，開(kāi)啟了自然語(yǔ)言理解的預(yù)訓(xùn)練時(shí)代,，也是大模型時(shí)代,，在這個(gè)時(shí)代，科學(xué)家們構(gòu)建百億級(jí)參數(shù)的AI大模型. bert和GPT是什么關(guān)系呢,？他們兩個(gè)都是AI大模型,，他們的基礎(chǔ)架構(gòu)都是transform結(jié)構(gòu)，這篇論文是attention is all your need,大家可以看看,，非常牛批,。它是一個(gè)編解碼結(jié)構(gòu)，只不過(guò)一個(gè)用了編碼端【適合做分類(lèi)任務(wù)【 】,，另一個(gè)用了解碼端來(lái)作為基礎(chǔ)結(jié)構(gòu)【適合做生成任務(wù)】,。 不過(guò)相信現(xiàn)在的gpt3應(yīng)該對(duì)基礎(chǔ)模型改了非常多,，不然效果不可能這么好，想了解更多gpt背后的nlp技術(shù),，可以閱讀我的專(zhuān)欄，點(diǎn)擊下面鏈接,，就可以免費(fèi)閱讀了#ChatGPT#    |
|
|
來(lái)自： 山峰云繞 > 《人工智能信息科學(xué)仿生等新奇技術(shù)》
