久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

炸場(chǎng)硅谷,大模型“蒸汽機(jī)”迎來“瓦特時(shí)刻”

 科技向令說 2025-01-23 發(fā)布于湖南

大模型這臺(tái)蒸汽機(jī),,

急需要一個(gè)“瓦特”

作者 | 曾響鈴

文 | 響鈴說(xiangling0815)

中國(guó)大模型又在包括硅谷在內(nèi)的全球AI圈炸場(chǎng)了,。

兩天前,幻方量化旗下AI公司深度求索(DeepSeek),,以及月之暗面相隔20分鐘相繼發(fā)布了自家最新版推理模型,,分別是DeepSeek-R1以及Kimi 全新多模型思考模型k1.5,且都給出了非常詳盡的技術(shù)報(bào)告,, “中國(guó)雙子星”很快引發(fā)全球AI圈的關(guān)注,。

在社交軟件X上,包括英偉達(dá)AI科學(xué)家Jim Fan在內(nèi)的全球AI從業(yè)者紛紛發(fā)出了自己的感嘆:

相關(guān)數(shù)據(jù)顯示,,區(qū)別于過往類o1-preview模型,,這次兩家中國(guó)公司正面硬剛OpenAI o1,發(fā)布的都是滿血版o1,,而Kimi k1.5還是具備視覺思考的多模態(tài),。

表面上,,是中國(guó)大模型某種程度上又一次在技術(shù)能力上直起了腰,而全球AI從業(yè)者的“圍觀”,,本質(zhì)上則透露出業(yè)界對(duì)大模型這臺(tái)“蒸汽機(jī)”能夠盡快出現(xiàn)屬于自己的“瓦特”的期許,。

01

大模型這臺(tái)蒸汽機(jī),急需要一個(gè)“瓦特”

大模型對(duì)時(shí)代的意義,,不亞于蒸汽機(jī)之于工業(yè)革命,。

但正如蒸汽機(jī)是在發(fā)明之后,是經(jīng)過一段時(shí)間的改進(jìn),,尤其是瓦特的改進(jìn)后才正在成為工業(yè)革命驅(qū)動(dòng)力一樣,,大模型這臺(tái)“蒸汽機(jī)”要想大展拳腳,還一直處在不斷改進(jìn)之中,。

那個(gè)屬于它的“瓦特”,,還一直沒有到來,所有從業(yè)者都在熱切期待這個(gè)時(shí)刻,。

參與的人越多,,“瓦特時(shí)刻”出現(xiàn)的可能性就越大,只有一個(gè)遙遙領(lǐng)先的OpenAI未必符合業(yè)界的普遍期許,,當(dāng)出現(xiàn)了與之肩并肩的DeepSeek,、Kimi,關(guān)鍵進(jìn)化的可能性變得更大,,炸場(chǎng)AI圈就成為普遍期待下的必然,。

而回看DeepSeek與Kimi這對(duì)中國(guó)雙子星,他們發(fā)布的模型呈現(xiàn)了很多相似之處,,都側(cè)重以強(qiáng)化學(xué)習(xí)(RL)為核心驅(qū)動(dòng)力(即在僅有極少標(biāo)注數(shù)據(jù)的情況下,,極大提升模型推理能力)。

具體來說,,二者在實(shí)現(xiàn)方式上都不需要進(jìn)行像 MCTS 那樣復(fù)雜的樹搜索(只需將思維軌跡線性化,,然后進(jìn)行傳統(tǒng)的自回歸預(yù)測(cè)即可),也不需要配置另一個(gè)昂貴的模型副本的價(jià)值函數(shù),、不需要密集獎(jiǎng)勵(lì)建模,,只盡可能多的依賴事實(shí)和最終結(jié)果。

很明顯,,這些,,都在提升推理模型的運(yùn)行效率、降低資源需求,,而有意思的是,,這同樣是當(dāng)年瓦特改造蒸汽機(jī)的方向,他在眾多改造中最完美地實(shí)現(xiàn)了這些目標(biāo),。

歷史,,總是驚人的相似,。

值得一提的是,在這次中國(guó)雙子星炸場(chǎng)的過程中,,OpenAI薩姆·奧爾特曼也加入其中,,只不過他發(fā)揮了一貫的“陰陽”技能,“AGI不會(huì)下個(gè)月就到來”,,在一片贊譽(yù)甚至狂歡中,,暗地里諷刺社交平臺(tái)的關(guān)注是不是太過瘋狂。

實(shí)際上,,AGI確實(shí)不是短期能做到的,但這并不是制止全球從業(yè)者歡欣鼓舞的理由,。蒸汽機(jī)花了很長(zhǎng)時(shí)間才完成進(jìn)化能夠走入工廠,,大模型也需要這樣的過程才能實(shí)現(xiàn)對(duì)社會(huì)進(jìn)步的全面賦能,也正因?yàn)槿绱?,每一次?duì)這個(gè)進(jìn)程的縮短,,都值得每一個(gè)從業(yè)者欣慰。

02

中國(guó)雙子星,,讓業(yè)界看到“瓦特”的更多可能性

具體到技術(shù)層面,,當(dāng)仔細(xì)分析中國(guó)雙子星尤其是Kimi的SOTA模型能力后,就會(huì)發(fā)現(xiàn)業(yè)界人士的驚喜有著充分的理由,。

以“蒸汽機(jī)”類比,,瓦特的改進(jìn)首先是直接提升了運(yùn)行效率,提升了蒸汽轉(zhuǎn)化為機(jī)械動(dòng)力的能力,,從而能夠由“試驗(yàn)裝置”走向真正的“機(jī)器”,。

這次發(fā)布的模型首先也是在推理能力上大幅跨越,發(fā)布的都是真正的“滿血版o1”,,而不是其他各家所發(fā)布的“準(zhǔn)o1”,,或者得分差得太遠(yuǎn)的o1,有著絕對(duì)實(shí)力上的領(lǐng)先而非只是小小的一次迭代,。

更進(jìn)一步看,,瓦特對(duì)蒸汽機(jī)的改進(jìn)還在機(jī)器對(duì)不同生產(chǎn)環(huán)境的適應(yīng)能力上進(jìn)行了改造,對(duì)應(yīng)到大模型這里,,則是推理大模型的多模態(tài)進(jìn)化,。

目前,DeepSeek R1只能識(shí)別文字,、不支持圖片識(shí)別不同,,Kimi k1.5則能進(jìn)行一步多模態(tài)推理,且在數(shù)學(xué),、代碼,、視覺等復(fù)雜任務(wù)上的綜合性能提升,,成為OpenAI之外首個(gè)多模態(tài)類o1模型。

以Kimi k1.5為例:

一方面模型在數(shù)學(xué)和代碼能力上的推理能力和正確率(諸如 pass@1,、EM等指標(biāo))大幅領(lǐng)先或趕超其他主流對(duì)比模型,;

另一方面模型在在視覺多模態(tài)任務(wù)上,無論是對(duì)圖像中信息的理解,、還是進(jìn)一步的組合推理,、跨模態(tài)推理能力,都有顯著提升,。

截取Kimi的發(fā)布Paper原文,,其長(zhǎng)文本處理能力大幅提升,支持高達(dá)128ktokens 的 RL生成,,采用部分展開方式進(jìn)行高效訓(xùn)練,,且在訓(xùn)練策略上有包括在線鏡像下降法等在內(nèi)的多項(xiàng)改進(jìn)。

在長(zhǎng)思考模式(long-CoT)下,,Kimi K1.5在數(shù)學(xué),、編程和視覺任務(wù)中的表現(xiàn)與OpenAI o1的性能水平接近。

而到了短思考模式(short-CoT)下,,Kimi k1.5 更是讓業(yè)界驚喜,,做到了某種程度上的“遙遙領(lǐng)先”,其數(shù)學(xué),、代碼,、視覺多模態(tài)和通用能力,大幅超越了全球范圍內(nèi)短思考SOTA模型GPT-4o和Claude 3.5 Sonnet的水平,,領(lǐng)先達(dá)到550%,。

這種領(lǐng)先,得益于Kimi k1.5獨(dú)特的“Long2Short”訓(xùn)練方案,,顧名思義,,即先利用較大的上下文窗口讓模型學(xué)會(huì)長(zhǎng)鏈?zhǔn)剿季S,再將“長(zhǎng)模型”的成果和參數(shù)與更小,、更高效的“短模型”進(jìn)行合并,,然后針對(duì)短模型進(jìn)行額外的強(qiáng)化學(xué)習(xí)微調(diào)。

這種做法,,最大化保留了原先長(zhǎng)模型的推理能力,,避免了常見的“精簡(jiǎn)模型后能力減弱”難題,又能同時(shí)有效挖掘短模型在特定場(chǎng)景下的高效推理或部署優(yōu)勢(shì),,是一次推理模型的重要?jiǎng)?chuàng)新,。

“Long2Short”訓(xùn)練方案在算力與性能平衡方面實(shí)現(xiàn)了成功探索,改變了OpenAI o1以時(shí)間換空間的做法(犧牲實(shí)際應(yīng)用時(shí)的用戶體驗(yàn)來提升性能,這種做法一直存在爭(zhēng)議),,有業(yè)界人士表示將會(huì)是未來新的研究方向,。

而從更宏觀的視角看,這樣的創(chuàng)新,,除了給Kimi帶來更亮眼的模型表現(xiàn),,毫無疑問也在讓大模型“蒸汽機(jī)”的“瓦特時(shí)刻”變得越來越近。

03

更密集的突破,,才能爭(zhēng)搶“瓦特”

Kimi k1.5的出現(xiàn)顯然不會(huì)是一蹴而就的,,是多次進(jìn)化迭代的結(jié)果,但最令人關(guān)注的,,是迭代的速度,。

僅僅在三個(gè)月前的2024年11月,月之暗面就推出了初代版本的Kimi K0-math,。過了1個(gè)月,,k1視覺思考模型誕生,繼承了K0-math的數(shù)學(xué)能力,,又成功解鎖了視覺理解能力,“會(huì)算”+“會(huì)看”,。緊接著又1個(gè)月后,,也就是這次的K1.5發(fā)布,在數(shù)理化,、代碼,、通用等多個(gè)領(lǐng)域中,刷新了SOTA,,直接媲美世界頂尖模型,。

三個(gè)月三次突破,密集創(chuàng)新迭代才帶來炸場(chǎng)的效果與成果,。

在關(guān)鍵的歷史節(jié)點(diǎn),,業(yè)界期待“瓦特”,與此同時(shí),,業(yè)界也在爭(zhēng)當(dāng)“瓦特”,,大模型只會(huì)越來越卷。

好在,,無論是基礎(chǔ)設(shè)施的建設(shè),,還是以中國(guó)雙子星為代表的模型能力建設(shè),中國(guó)都已經(jīng)搶占了先機(jī),,這一次不會(huì)再處于被動(dòng)地位——在Kimi的規(guī)劃中,,其將繼續(xù)發(fā)力多模態(tài)推理,快速迭代出更多模特、更多領(lǐng)域,、更具備通用能力的Kn系列模型,。

相信,大模型的“瓦特時(shí)刻”,,同樣會(huì)是中國(guó)大模型贏得話語權(quán)的時(shí)刻,。

    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多