終于,，清華大學(xué)唐杰團隊也出手了,。 就在GPT4發(fā)布的同一天，唐教授在微博宣布： 基于千億參數(shù)大模型的對話機器人ChatGLM,，現(xiàn)在開啟邀請制內(nèi)測,。  據(jù)介紹，ChatGLM專門針對中文進行了優(yōu)化,，可以說是國人友好～ 看起來,，寫博客提綱、創(chuàng)作劇本,、解數(shù)學(xué)題,、寫代碼，甚至是扮演高冷御姐,，它都拿捏的死死的： △寫介紹ChatGLM的博客提綱△Cosplay聊天扮演高冷御姐量子位有幸拿到了內(nèi)測名額,，將在后文進行一波實測。 與此同時,，還有另一個消息宣布： 唐杰團隊為了與社區(qū)一起更好地推動大模型技術(shù)的發(fā)展,，同時開源了包含62億參數(shù)的雙語ChatGLM-6B模型。 它最大的特點是在普通電腦上就能進行部署,，有一塊2080Ti就行,。 一起來看看。 能寫文言文致辭,，知道何愷明最新動態(tài),，但……先看ChatGLM，它是唐杰團隊大模型家族時隔半年誕生的一位新成員,。 alpha內(nèi)測版名稱叫QAGLM（全稱qa-glm-v0.7）,。  淺試一下效果,。 首先,，我們讓它說了一下它和ChatGPT的區(qū)別。  它點出了自己的研發(fā)機構(gòu),，和擅長中文的特點,。 那么，就讓它用文言文寫個致謝詞叭,。  咋說,，雖然多了一個“余”、出現(xiàn)了一個莫名其妙的繁體字,，但讀著還可以,，用的排比句增強了氣勢,。 接著，我們把前幾日硅谷暴雷的文章開頭丟給它,，讓它起個標(biāo)題,。 感覺還不錯，起碼抓住了幾個關(guān)鍵信息,。  不幸的是,，論文挑戰(zhàn)沒有通過，我們把GLM-130B的鏈接扔給它,，讓它簡要概括一下主題時,，它說的根本不是這篇。 跟ChatGPT胡鄒參考文獻的操作簡直有得一拼（手動狗頭）,。  接下來,，考考它的數(shù)學(xué)能力吧。 這道小學(xué)應(yīng)用題沒問題：  不過雞兔同籠,，就難倒它了,，最后居然還算出了負數(shù)==  編程方面，也可以解決簡單的算法題,。 歸納信息能力呢,？我們給了一段英文需求，不難：  結(jié)果正確：  需要注意的是,，目前ChatGLM每輪對話最多只可以進行5個來回,，每次最多輸入1000字。 它對新信息的掌握度不錯,，知道推特現(xiàn)在的CEO是馬斯克,，也知道何愷明3月10日回歸學(xué)界的事情，但還沒發(fā)現(xiàn)GPT-4已經(jīng)發(fā)布了,。  以及,，目前響應(yīng)速度還是非常快的,，無論什么問題,，回答得對不對，基本幾秒內(nèi)就能給出答案,。 最后,，量子位也讓它來了個cosplay，看看哄女朋友的本事如何： emmm,，雖然有點板正,，但聽完這段話“我”的氣確實消了。 那么,，以上就是我們的測試結(jié)果,，各位覺得如何,？ 基于1300億參數(shù)的基座模型打造據(jù)官方介紹，ChatGLM參考了ChatGPT的設(shè)計思路,，在千億基座模型GLM-130B中注入了代碼預(yù)訓(xùn)練,，通過有監(jiān)督微調(diào)等技術(shù)來實現(xiàn)人類意圖對齊（就是讓機器的回答符合人類價值觀、人類期望）,。 這個GLM-130B的來頭值得說道一番,。 它是由清華大學(xué)知識工程實驗室(KEG)與智譜AI共同研發(fā)的一個大規(guī)模中英文預(yù)訓(xùn)練語言模型，參數(shù)1300億,，去年8月正式對外發(fā)布,。 不同于BERT、GPT-3以及T5的架構(gòu),，GLM-130B是一個包含多目標(biāo)函數(shù)的自回歸預(yù)訓(xùn)練模型,。 它的優(yōu)勢包括： 在Stanford報告的30個世界主流大模型評測中，GLM-130B也成為了亞洲唯一入選的模型,。 且獲得了不錯的成績： 比如在準(zhǔn)確性和惡意性指標(biāo)上與GPT-3 175B (davinci) 接近或持平,，魯棒性和校準(zhǔn)誤差在所有千億規(guī)模的基座大模型（作為公平對比，只對比無指令提示微調(diào)模型）中也可圈可點,。 而就在CCF最近的一場會議上,，有現(xiàn)場觀眾提問：ChatGPT為什么沒有誕生在中國？是我們沒有關(guān)注這件事嗎,？ 嘉賓就把GLM-130B搬了出來（它也入選了ICLR’23）,。 現(xiàn)在，GLM-130B也終于被派上了“大用場”,。 關(guān)于內(nèi)測,，唐杰團隊表示，后續(xù)會逐步擴大范圍,，有興趣的朋友可以再等一等,。 60億參數(shù)的縮小版同時開源除了這個聊天機器人ChatGLM，唐杰團隊這次也把GLM-130B的“縮小版”ChatGLM-6B開源了出來,。 △GitHub已經(jīng)攬獲近2k標(biāo)星ChatGLM-6B使用與ChatGLM相同的技術(shù),，初具中文問答和對話功能。 特點如下： 當(dāng)然,，缺點就是容量只有60億,，其模型記憶和語言能力較弱，不擅長邏輯類問題（如數(shù)學(xué),、編程），以及多輪對話可能會出現(xiàn)上下文丟失和理解錯誤的情況,。 但它主打的就是一個低門檻,，在單張2080Ti上就能進行推理使用,，硬件需求不高。 因此,，只要有興趣都可以下載下來試試,，進行研究和（非商用的）應(yīng)用開發(fā)都可以。 傳送門： 參考鏈接： — 完 — 量子位 QbitAI · 頭條號簽約 關(guān)注我們,，第一時間獲知前沿科技動態(tài) |
|
|
