|
成立一年,，拿了大把融資，大模型“長文本路線”代表人物月之暗面（Moonshot AI）現(xiàn)在最關心的是什么,？去年10月,，月之暗面發(fā)布支持20萬漢字輸入的Kimi智能助手（下簡稱Kimi）,，彼時Claude-100k支持約8萬字,，GPT-4-32k支持約2.5萬字。Kimi是全球市場上能夠產(chǎn)品化使用的大模型服務中最長的上下文輸入長度,。20萬字的“胃口”，現(xiàn)在變成200萬了,。這是什么概念呢,。舉個例子，目前微信讀書上單本超過200萬字的作品只有5部,。會議室里,，月之暗面 AI Infra負責人許欣然拿出了一個全本《倚天屠龍記》的復印版本——A4紙打印,，疊起來幾乎有一瓶350ml的怡寶純凈水的一半高，約100萬字——還有一整個《甄嬛傳》劇本,，現(xiàn)在的Kimi Chat一次可以吃掉這倆,。 如果把上下文長度理解成大模型的“精力”,，那么現(xiàn)在Kimi能夠一口氣精讀500個甚至更多數(shù)量的文件,，幫助用戶快速分析所有文件的內(nèi)容，并且支持通過自然語言進行信息查詢和篩選,。在Kimi還是20萬字輸入長度的時候,，它的能力界限還在50個文件左右。比如你可以直接扔給Kimi 500份簡歷,，然后讓它把其中符合要求的人初篩出來,。
英偉達GPT大會又要開場了,，如果需要一些背景知識,，你可以把英偉達過去幾年的完整財報一次性扔給Kimi，讓它成為一位臨時的英偉達財務研究專家,，來幫你分析總結英偉達歷史上的重要發(fā)展節(jié)點,。
甚至你可以把LLM庫的源代碼直接給Kimi，然后你將會收獲一個大概懂大模型是怎么回事的同事——它了解這個代碼庫里的所有細節(jié),，還能快速梳理出代碼的結構,。“有個1萬小時定律，意思是投入1萬小時的話在任何領域你都會成為一個專家,，我們希望Kimi可以用10分鐘完成同樣的事,。”許欣然說,。當然它也能做些不那么嚴肅的事,，比如剛才提到的《甄嬛傳》。當我把全集幾十萬字的劇本傳給Kimi,， 然后提問劇本中有哪些細節(jié)表明甄嬛的孩子是果郡王的,。Kimi竟然能在不同時間段、各個場景的故事情節(jié)里把甄嬛,、果郡王的情感線以及關于孩子的真相理順,，堪比一個看了好幾十遍電視劇的“甄”學家。 SimilarWeb數(shù)據(jù)顯示,，去年12月Kimi的周訪問量還在10萬次上下,，到了1月下旬才突破40萬，但是從春節(jié)開始訪問量疾速攀升,，到現(xiàn)在周訪問量已經(jīng)超過160萬次,。然后Kimi收到的用戶反饋也越來越多,，從這些反饋來看，20萬字很長,，足夠做很多更有價值的事——但還不夠長,。在嘗試更復雜的任務，解讀更長的文檔時依然會遇到對話長度超出限制的情況,。這也是Kimi的上下文長度需要繼續(xù)提升的一個直接原因,。月之暗面相信長文本技術是大模型“登月計劃”的第一步，關于大模型幻覺的問題,，實用價值低的問題,，本質上都是因為困在文本長度的限制里。甚至模型微調也只是目前文本長度有限情況下的權宜之計,。“所有問題都是文本長度的問題,。如果你有10億的 context length（上下文長度），今天看到的問題都不是問題”,。月之暗面CEO楊植麟在之前的采訪中表示,。如果單單只是為了“變長”，辦法很多,。長文本最終要建立在lossless（信息不隨著文本長度增加而損失）上才有意義,。而無損的?上下文將會是通往AGI的關鍵基礎技術。某種程度上,，絕對的文本長度是花架子,，無損壓縮的能力才能分模型的勝負。“從word2vec到RNN,、LSTM,，再到Transformer，歷史上所有的模型架構演進,，本質上都是在提升有效的,、無損的上下文?度?！睏钪谗氪饲氨硎?。月之暗面方面透露，這次上下文長度從20萬字擴展到200萬字由于沒有采用常規(guī)的漸進式提升路線,，研發(fā)和技術團隊遇到的技術難度也是指數(shù)級增加的,。為了達到更好的?窗口無損壓縮性能，團隊從模型預訓練到對?,、推理環(huán)節(jié)均進行了原生的重新設計和開發(fā),。許欣然所領導的AI Infra層目前效率已經(jīng)提升到了原來的3倍。而無損上下文長度的線性變化最終會決定上層建筑的形態(tài)——也就是人們到底能用大模型做什么,。領域專家,、可完成復雜多步任務的Agent、多模態(tài)模型,。許欣然提到了這三個方向,，或許這也會是忠于長文本路線的月之暗面未來的發(fā)展方向。Kimi智能助手已支持200萬字超?無損上下文,，并于即日起開啟產(chǎn)品“內(nèi)測”,。對大模型超?無損上下文能力有需求的用戶，可到Kimi智能助手網(wǎng)?版kimi.ai首?申請搶先體驗,。之后,，月之暗面會逐步開放更多用戶來體驗具備超?無損上下文能力的Kimi智能助手。
|
