全民Long-LLM時(shí)代終于到來,。

本月，中國(guó)初創(chuàng)AGI（通用人工智能）公司月之暗面宣布旗下大模型工具Kimi Chat正式升級(jí)到200萬字參數(shù)量,，與五個(gè)月前該大模型初次亮相時(shí)的20萬字相比,，提升十倍。Kimi Chat的升級(jí)徹底引爆市場(chǎng),，同時(shí)也引起長(zhǎng)文本大模型（Long-LLM）細(xì)分賽道更加激烈的競(jìng)爭(zhēng),。

（圖源：阿里 通義千問）

昨日,，阿里旗下的大模型工具通義千問宣布迎來重磅升級(jí),，向所有人開放最高1000萬字的長(zhǎng)文本處理能力，更重要的是,，這項(xiàng)升級(jí)完全免費(fèi)。此項(xiàng)升級(jí)對(duì)于專業(yè)領(lǐng)域的意義重大,，例如金融,、醫(yī)療、科研等從業(yè)人員,，都能利用這項(xiàng)功能更快速地提取出核心關(guān)鍵詞,，節(jié)省文檔歸整、資料整理的時(shí)間,。

不僅是阿里,，百度文心一言也迎來了長(zhǎng)文本處理能力的升級(jí)。據(jù)官方資料顯示,，文心一言將在下個(gè)月開放免費(fèi)的200萬-500萬字長(zhǎng)文本處理功能,，較此前最高2.8萬字的文檔處理能力提升上百倍。

此外,，360也在本月正式上線了360 AI搜索,，通過大模型重塑，結(jié)合長(zhǎng)文本技術(shù)在海量搜索結(jié)果中理解并生成精準(zhǔn)的答案提供給用戶,。而這款A(yù)PP,，也同樣是完全免費(fèi)的。

（圖源：TechTalks）

長(zhǎng)文本一直以來都是大模型工具「內(nèi)卷」的方向，如何在超百萬字的文檔里做出有效的信息整理,、觀點(diǎn)歸納,，都是技術(shù)上的難點(diǎn)。當(dāng)然,，正如半導(dǎo)體行業(yè)與消費(fèi)電子產(chǎn)品市場(chǎng)之間的關(guān)系一樣,，很多消費(fèi)者能感受到手機(jī)、電腦等產(chǎn)品性能正在飛躍式成長(zhǎng),，但落實(shí)到實(shí)際體驗(yàn)上,，似乎沒有太多的變化。

而在生成式人工智能（GenAI）領(lǐng)域里,，「卷」參數(shù)會(huì)是一個(gè)虛無縹緲的噱頭,，還是造福人類的行為,，還很難回答。

大模型是如何拿下長(zhǎng)文本技術(shù)的,？

在弄清楚「卷」參數(shù)到底有何意義之前,，我們首先需要了解AI企業(yè)們到底在「卷」什么東西。

與衡量手機(jī)性能以跑分分?jǐn)?shù)為準(zhǔn)一樣,，大模型也有屬于自己的「性能基準(zhǔn)」——token,，這是一個(gè)大模型專用的輸入、輸出基本單位,。在OpenAI給出的準(zhǔn)則里,，1k token等于750個(gè)英文單詞、500個(gè)中文漢字,。

（圖源：OpenAI）

同理,，token數(shù)字越大,，能夠處理的內(nèi)容篇幅就越長(zhǎng)。ChatGPT-4目前的參數(shù)量為8k-32k token,、Anthropic公司推出的Claude為100K token,，而中國(guó)初創(chuàng)企業(yè)月之暗面推出的Kimi Chat則是達(dá)到了驚人的400K token。具體到實(shí)例,，Kimi Chat能夠在20秒左右讀完1篇20萬字的長(zhǎng)篇小說,、通文千義也能在數(shù)秒時(shí)間里讀完80萬字的《三體》。

（圖源：雷科技制圖/通義千問）

參數(shù)量劇增所帶來的好處自然是大模型對(duì)于更長(zhǎng)的內(nèi)容擁有更快速的理解能力，這能夠幫助用戶從中提煉到所需的摘要,、信息點(diǎn),，又或是直接生成整篇內(nèi)容的總結(jié)。語(yǔ)言大模型之所以能夠快速「引爆」整個(gè)市場(chǎng),，正是得益于這種速度驚人的理解能力,。

（圖源：雷科技制圖/Kimi Chat）

但要徹底攻克長(zhǎng)文本,，大模型光靠堆砌token參數(shù)量并不能完全解決這個(gè)問題。超大數(shù)量的token的確能夠快速閱讀完長(zhǎng)文檔,，但段落與段落間的內(nèi)容也更容易出現(xiàn)「斷裂」的情況,，這與缺少模型的預(yù)先訓(xùn)練有關(guān)。目前擁有超大token的AI方案提供商,，通常在Transformer預(yù)測(cè)詞之前投喂詞元模型,，使整體結(jié)論更加完整,。

（圖源：Code-Llama）

比如Code-Llama,，標(biāo)稱16K token參數(shù)量，但實(shí)際上是由一個(gè)個(gè)4K token窗口連接而成,，最終產(chǎn)生出16k token總模型,。而這就十分考驗(yàn)大模型工具在窗口之間的推理能力。試想一下,，在專業(yè)領(lǐng)域中,，長(zhǎng)文內(nèi)容都有緊密的邏輯性與關(guān)聯(lián)性，假如大模型推理失誤,，則有可能出現(xiàn)最終生成的摘要牛頭不對(duì)馬嘴，這對(duì)于大模型工具的商業(yè),、個(gè)人應(yīng)用,，都是致命的打擊。

當(dāng)然,，大模型的推理能力是可以通過訓(xùn)練得到進(jìn)步的,，這就不難解釋為何阿里、百度都選擇優(yōu)先將長(zhǎng)文本模型功能免費(fèi)開放給個(gè)人用戶,，畢竟更多用戶加入,，模型推理能力的進(jìn)化速度才能加快。

（圖源：百度 文心一言）

但免費(fèi)應(yīng)用也是一件好事情，長(zhǎng)文本的快速閱讀一直以來也是用戶在大模型各項(xiàng)實(shí)際應(yīng)用場(chǎng)景最關(guān)注的一項(xiàng),，比如正在寫畢業(yè)論文的學(xué)生黨,，可能將超長(zhǎng)的論文喂給大模型工具，讓其快速提煉,、總結(jié),，甚至找出論文中的研究結(jié)論。

長(zhǎng)文檔能力拓展,，用途比我們想象中要多

阿里的通義千問將長(zhǎng)文本檔能力的拓展方向瞄準(zhǔn)在專業(yè)領(lǐng)域的內(nèi)容理解上,，尤其是金融、醫(yī)學(xué)等,，對(duì)于這些行業(yè)的從業(yè)人員而言,，從前需要花上幾天或是十幾天才能讀完的文章，如今只需花上十幾秒就能看完其中的精華之處,。

但大模型長(zhǎng)文本的能力遠(yuǎn)不止于此,。

（圖源：育碧）

不久前,，知名游戲公司育碧公開的全新「NEO NPC」技術(shù),，正是Long-LLM（長(zhǎng)文本大模型）升級(jí)后衍生的新方向。眾所周知,，3A游戲大作的靈魂往往與其精彩的劇本離不開關(guān)系,，其中各式各樣的游戲角色，也因其豐富的背景故事和鮮明的個(gè)性深受玩家喜好,。大模型從1k token進(jìn)化到100k token,，甚至是400k token，能夠讓游戲劇本完整地覆蓋到每個(gè)游戲角色里,，讓他們的對(duì)話,、行為，既符合游戲的世界觀,，又能保證一定的靈活性,。

這項(xiàng)能力同樣可以應(yīng)用在我們生活中最離不開的功能——搜索。

（圖源：雷科技制圖/360AI 搜索）

本月初，360在北京舉行了一場(chǎng)活動(dòng),，旗下全新360 AI 搜索和360 AI 瀏覽器率先亮相,。360 AI 搜索的核心在于“理解”、“提煉”,、“總結(jié)”,，即拋開傳統(tǒng)搜素引擎將所有與之相關(guān)的內(nèi)容為用戶一一呈現(xiàn)的做法，主動(dòng)介入搜索結(jié)果,，在數(shù)以萬計(jì)的匹配信息里提煉出最有效的信息,。

360 AI 瀏覽器則是變成徹底的「AI工具」。周鴻祎解釋道,，360 AI 瀏覽器的定位是學(xué)習(xí),、生產(chǎn)力工具，它能幫助用戶快速閱讀書籍,、文章,，了解視頻內(nèi)容等。此外,，360 AI 瀏覽器未來還將擁有續(xù)寫功能,，這同樣基于大模型長(zhǎng)文檔的理解。

更重要的是,，更長(zhǎng)的文檔內(nèi)容理解有助于加速AI快速過渡到AGI（通用大模型）時(shí)代,。正如前文所說,，Long-LLM較之前最大的變化在于對(duì)超長(zhǎng)文本的理解、記憶,、總結(jié)能力,，這些能力可以是大模型更加「擬人」，即記住樣本的真實(shí)喜好從而判斷其行為,，又或是根據(jù)真實(shí)世界的物理規(guī)則,，生成完全符合實(shí)際的內(nèi)容。

Long-LLM能改變世界,，但算力難以解決

早在去年底,，大模型長(zhǎng)文本技術(shù)就已經(jīng)進(jìn)入到火熱階段，但卻鮮有AI企業(yè)將這項(xiàng)技術(shù)應(yīng)用到大模型工具中,，更別提免費(fèi)向大眾開放了,。

OpenAI CEO Altman在接受公開訪問時(shí)也表示，由于算力不足,，GPT-4的32K token短期內(nèi)無法向大眾開放,。要知道，OpenAI可是當(dāng)前人工智能市場(chǎng)里獲投資最高的頭部企業(yè)之一,，連它都空有技術(shù)卻無法落地,，不免讓人對(duì)Long-LLM的未來感到擔(dān)憂,。

在算力不足的前提下有沒有辦法「投機(jī)取巧」呢,？當(dāng)然有。

目前主流節(jié)省算力的長(zhǎng)文本技術(shù)通常有三種,，分別是短文檔重復(fù)檢索,、內(nèi)容分組檢索和模型本身的優(yōu)化。前兩種方案在技術(shù)原理上相對(duì)一致,，都是將重復(fù)的內(nèi)容進(jìn)行「記憶」,，節(jié)省理解時(shí)間，減少算力消耗,；而模型本身的優(yōu)化則要復(fù)雜許多,，相當(dāng)于用短文檔推導(dǎo)出長(zhǎng)文檔，這非?？季磕Ｐ捅旧淼慕Y(jié)構(gòu)優(yōu)化,。

（圖源：英偉達(dá)）

不過,，無論采用哪種方法，其精度仍有待加強(qiáng),，這就是為何我們?nèi)栽谄诖鼜?qiáng)大的計(jì)算卡出現(xiàn),，比如前不久GTC 2024上,，英偉達(dá)發(fā)布的最強(qiáng)計(jì)算顯卡Blackwell GB200。關(guān)于這顆當(dāng)前最強(qiáng)AI加速卡的詳細(xì)解析,，雷科技在早前的文章里已有報(bào)道,，歡迎各位訂閱查看。

在當(dāng)前,，算力仍是阻礙Long-LLM成長(zhǎng)的一大關(guān)鍵因素,，但隨著英偉達(dá)、英特爾等硬件供應(yīng)商不斷加碼,，這項(xiàng)技術(shù)在未來也將成為AI領(lǐng)域發(fā)展的風(fēng)向標(biāo)之一,。

寫在最后

如果說OpenAI的Sora展現(xiàn)出其在AGI時(shí)代關(guān)于視頻領(lǐng)域上的想象，那么Long-LLM則是奔向全場(chǎng)景通用智能的基樁,。

大模型長(zhǎng)文本技術(shù)能讓AI助手記住用戶的所有你與它談?wù)撨^的話題,，這讓你們之間能夠創(chuàng)造真實(shí)的回憶，而不是像從前一樣,，在開始新對(duì)話之后,，前面的「AI」就忘記了剛剛發(fā)生過的任何事情。這使得它能夠變成更好的AI智能客服,，畢竟即便是真人,，也難以記住與每位咨詢者發(fā)生過的對(duì)話。同樣的,，Long-LLM還能化身數(shù)字人主播,、創(chuàng)造數(shù)字偶像等等。

或許,，在大模型長(zhǎng)文本技術(shù)的支持下,，AGI時(shí)代將在不久后真正到來。