煉大模型,，大煉模型

近年是全球風(fēng)險(xiǎn)投資的低潮,，生成式AI（GenAI）卻逆市而起，去年的融資筆數(shù)和融資額分別增長(zhǎng)66%和400%（來(lái)源：CB Insight,，如下圖所示）,，融資額高居所有細(xì)分領(lǐng)域第一位（來(lái)源：Dealroom.co）。

去年美國(guó)前5大風(fēng)險(xiǎn)投資中，OpenAI,、Anthropic（2筆）和Inflection AI三家GenAI公司占據(jù)了4個(gè),，融資額分別高達(dá)100億美元、40億美元,、20億美元和13億美元,，主要投資者是微軟、亞馬遜,、谷歌和英偉達(dá)等巨頭（來(lái)源：Crunchbase）,。

2019-2023年全球GenAI的融資筆數(shù)和融資額

當(dāng)下的GenAI熱潮起源于美國(guó)產(chǎn)業(yè)界，實(shí)際上美國(guó)政府也高度重視,，提出了“確保繼續(xù)保持領(lǐng)導(dǎo)地位”的戰(zhàn)略目標(biāo),。在奧巴馬時(shí)期，美國(guó)白宮發(fā)布《國(guó)家人工智能研發(fā)戰(zhàn)略計(jì)劃》（2016）,，特朗普時(shí)期（2019）和拜登時(shí)期（2023）分別對(duì)其進(jìn)行了更新,，從而形成了9大戰(zhàn)略——長(zhǎng)期投資、人和AI協(xié)作,、倫理,、安全,、數(shù)據(jù)集,、評(píng)估標(biāo)準(zhǔn)、人才,、公私合作,、國(guó)際合作。為推進(jìn)戰(zhàn)略執(zhí)行和落地,，美國(guó)白宮科技政策辦公室（OSTP）相繼設(shè)置了人工智能特別委員會(huì)（2018）和國(guó)家人工智能倡議辦公室（2021）,。

國(guó)內(nèi)也煉大模型、大煉模型,。今年一季度,，全球前三大GenAI風(fēng)險(xiǎn)投資中，我國(guó)占其二——月之暗面10億美元A輪融資和MiniMax 6億美元融資,。電信運(yùn)營(yíng)商,、手機(jī)廠商、家電廠商,、汽車(chē)公司,、軟件公司、AI公司,、互聯(lián)網(wǎng)公司,、電商等各類(lèi)型的企業(yè)紛紛涉足，已有117個(gè)大模型通過(guò)國(guó)家生成式人工智能服務(wù)備案。大模型成為大廠標(biāo)配,。不過(guò)并沒(méi)有短兵相接的“百模大戰(zhàn)”,，反而頗有井水不犯河水之意。

三塊短板

我國(guó)人工智能位居世界前列,。但也存在尚待補(bǔ)齊的短板,，集中體現(xiàn)在算力、數(shù)據(jù)集和人才三個(gè)方面,。

一是算力,。GenAI以算力堆積實(shí)現(xiàn)智能涌現(xiàn)，其成功依賴暴力美學(xué),。

根據(jù)Jaime Sevilla等人的研究（2022）,，在前深度學(xué)習(xí)時(shí)代（1952-2009），算力需求每21.3個(gè)月翻一番,，符合摩爾定律,；在深度學(xué)習(xí)時(shí)代（2010-2022），算力需求加快到每5.6個(gè)月翻一番,。如下圖所示,。根據(jù)THE DECODER披露（2023），GPT-4的每秒浮點(diǎn)運(yùn)算次數(shù)（FLOPs）達(dá)到2.15×10^25,，一次訓(xùn)練成本6300萬(wàn)美元,。

里程碑機(jī)器學(xué)習(xí)系統(tǒng)的訓(xùn)練算力需求
來(lái)源：Sevilla J， Heim L,， Ho A,， et al. Compute trends across three eras of machine learning. 2022.

在機(jī)器學(xué)習(xí)圖形處理器領(lǐng)域，英偉達(dá)占有95%的市場(chǎng)份額（來(lái)源：New Street Research,，2023）,。英偉達(dá)的A100和H100芯片是訓(xùn)練大模型的“金剛鉆”，具有不可替代性,。由于美國(guó)對(duì)華GPU限令,，我國(guó)面臨卡脖子現(xiàn)實(shí)。

二是數(shù)據(jù)集,。我國(guó)數(shù)據(jù)規(guī)模大,。根據(jù)國(guó)家互聯(lián)網(wǎng)信息辦公室《數(shù)字中國(guó)發(fā)展報(bào)告（2022年）》，2022年我國(guó)數(shù)據(jù)產(chǎn)量8.1ZB,，全球占比10.5%,，位居世界第二。這被看作發(fā)展相關(guān)產(chǎn)業(yè)的優(yōu)勢(shì),。

然而,，規(guī)模優(yōu)勢(shì)不足以彌補(bǔ)質(zhì)量欠缺,。不管把多大數(shù)量的馬車(chē)連續(xù)相加，也決不能得到一條鐵路（熊彼特,，1934）,。數(shù)據(jù)質(zhì)量至少同等重要。在Hugging Face的高質(zhì)量數(shù)據(jù)集中,，英語(yǔ)以37.7%的比重位居第一位,，中文僅占3.2%，和波蘭語(yǔ)并列第九（來(lái)源：OECD,，2023）,。如下圖所示。我國(guó)數(shù)據(jù)集的質(zhì)量仍有待進(jìn)一步提升,。當(dāng)然,，這非一日之功，需要?dú)v經(jīng)歲月的積累,。

三是人才,。自1966年以來(lái)，全世界共有77人獲得圖靈獎(jiǎng),。其中只有一名華人——姚期智（2000）,。我國(guó)計(jì)算機(jī)科學(xué)的歷史積淀尚有不足，所幸近年進(jìn)步很大,，成為美國(guó)最大的競(jìng)爭(zhēng)對(duì)手,。

根據(jù)MacroPolo數(shù)據(jù)（2024），全球最頂級(jí)（前2%）AI研究人員的原籍國(guó)中,，我國(guó)以26%的比例逼近美國(guó)（28%）,，位居第二位,。在頂級(jí)（前20%）AI研究人員的原籍國(guó)中,，我國(guó)有47%，遠(yuǎn)超美國(guó)（18%）,。

但仍有隱憂,，在最頂級(jí)（前2%）AI研究人員的就業(yè)國(guó)家中，我國(guó)仍位居第二,，但僅有12%,，遠(yuǎn)落后于美國(guó)（57%）。如下表所示,。GenAI高度依賴人們的創(chuàng)新能力,。如何吸引全球頂尖人才來(lái)華創(chuàng)業(yè)、就業(yè),，是需要努力的方向,。

全球AI人才的分布比例 
來(lái)源：根據(jù)MacroPolo（2024）數(shù)據(jù)整理

兩道難題

每次創(chuàng)新都不是輕而易舉的，都需要破除很多困難，遭受人們的質(zhì)疑,。當(dāng)前的GenAI面臨以下兩個(gè)比較突出的問(wèn)題,。當(dāng)然，只有發(fā)展才能解決問(wèn)題,。

一是缺乏殺手級(jí)應(yīng)用,，面臨商業(yè)化困難,。偉大的時(shí)代，必有殺手級(jí)應(yīng)用。例如PC時(shí)代的Office,，桌面互聯(lián)網(wǎng)時(shí)代的搜索，移動(dòng)互聯(lián)網(wǎng)時(shí)代的手機(jī)支付,。GenAI是世界潮流,，然而還處于應(yīng)用推廣的早期，美國(guó)企業(yè)的AI采用率僅有5.4%（來(lái)源：人口普查局,，2024）,。

大模型燃燒的是美元，產(chǎn)出是更少的美元,。作為全球最性感的GenAI公司,， OpenAI有會(huì)員訂閱付費(fèi)、開(kāi)發(fā)者付費(fèi)和微軟分成三種盈利模式,，自成立以來(lái)的收入累計(jì)不足20億美元（來(lái)源：Finbold）,，卻耗費(fèi)了113億美元融資。微軟的GitHub Copilot也采用會(huì)員訂閱模式,，用戶需支付10美元月費(fèi)或100美元年費(fèi),。但因計(jì)算成本高，微軟平均每月在每個(gè)用戶上的虧損超過(guò)20美元,，重度用戶高達(dá) 80 美元（來(lái)源：華爾街日?qǐng)?bào),，2023.10）。

GenAI尚不具備傳統(tǒng)軟件的規(guī)模經(jīng)濟(jì),，需要通過(guò)給用戶巨額補(bǔ)貼來(lái)培育市場(chǎng),。國(guó)內(nèi)用戶則更喜歡免費(fèi)，為優(yōu)質(zhì)內(nèi)容和知識(shí)付費(fèi)的習(xí)慣尚未形成,，會(huì)員訂閱不成主流,。GenAI的商業(yè)模式仍處于探索的初期。

二是未能顯著提振平臺(tái)企業(yè)業(yè)績(jī),，云和芯片是最大受益者,。GenAI的興起為我國(guó)平臺(tái)經(jīng)濟(jì)注入了一線生機(jī)，各大平臺(tái)紛紛下場(chǎng)推出大模型,。然而,，GenAI的火爆未能顯著提振平臺(tái)企業(yè)的業(yè)績(jī),，我國(guó)互聯(lián)網(wǎng)平臺(tái)仍處于萎靡期。自ChatGPT發(fā)布以來(lái),，盡管疊加了疫情結(jié)束,、國(guó)家支持等利好因素，我國(guó)互聯(lián)網(wǎng)公司的市值仍有漲有跌,，相當(dāng)大比例的企業(yè)跌幅較大,，如下圖所示。

自ChatGPT發(fā)布以來(lái)我國(guó)十大互聯(lián)網(wǎng)公司的市值漲跌情況
來(lái)源：根據(jù)雪球財(cái)經(jīng)數(shù)據(jù)整理,，數(shù)據(jù)截至2024年4月11日

大模型訓(xùn)練需要耗費(fèi)大量算力,，根據(jù)A16Z（2023）的數(shù)據(jù)，GenAI總收入的10-20%將流向云服務(wù)提供商,。其中,，創(chuàng)業(yè)公司 80%-90%的早期融資都用于向云計(jì)算平臺(tái)購(gòu)買(mǎi)算力。微軟,、亞馬遜和谷歌是全球三大云基礎(chǔ)設(shè)施服務(wù)商,，也是最活躍的GenAI投資者，就不足為奇了,。自ChatGPT發(fā)布以來(lái),，英偉達(dá)市值增長(zhǎng)457%，成為全球市值第三高的公司,，是最大獲益者,。

第四次工業(yè)革命的悖論

自1956年達(dá)特茅斯會(huì)議提出“人工智能”術(shù)語(yǔ)以來(lái)，人工智能的發(fā)展起起伏伏,，經(jīng)歷了多次炒作周期,。這次似乎不一樣，即使對(duì)懷疑論者來(lái)說(shuō),，ChatGPT的發(fā)布也意味著人工智能技術(shù)的重大突破,。人們興奮大呼：人工智能驅(qū)動(dòng)的第四次工業(yè)革命正在到來(lái)。

工業(yè)革命的影響是全面的,、深刻的,、長(zhǎng)遠(yuǎn)的,，“綜觀世界經(jīng)濟(jì)史,，工業(yè)革命是唯一一件大事”（Irad Kimhi，2006）,。第四次工業(yè)革命如果到來(lái),，人們必會(huì)躊躇滿志，經(jīng)濟(jì)必會(huì)生機(jī)蓬勃,，生活必會(huì)欣欣向榮,。然而,，好像并不是。這是一個(gè)悖論,。對(duì)此,，時(shí)間可以給出答案，我們不必爭(zhēng)論,。有四個(gè)事實(shí)予以說(shuō)明：

第一,，人們對(duì)“智能”懷有與生俱來(lái)的癡迷，人工智能的發(fā)展充斥著樂(lè)觀思潮,。謝耘（2023）對(duì)其評(píng)價(jià)是：“志存高遠(yuǎn),，盲目樂(lè)觀?！边_(dá)特茅斯會(huì)議的主要參與者就曾作出大膽預(yù)言：

1958年,，艾倫·紐厄爾和赫伯特·西蒙（兩人共同獲得1975圖靈獎(jiǎng)）：“十年之內(nèi)，數(shù)字計(jì)算機(jī)將成為國(guó)際象棋世界冠軍”,，“十年之內(nèi),，數(shù)字計(jì)算機(jī)將發(fā)現(xiàn)并證明一個(gè)重要的數(shù)學(xué)定理”。

1965年,，赫伯特·西蒙（1978年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者）：“二十年內(nèi),，機(jī)器將能完成人能做到的一切工作?！?/p>

1970年,，馬文·閔斯基（1969圖靈獎(jiǎng)獲得者）：“在三到八年的時(shí)間里，我們將得到一臺(tái)具有人類(lèi)平均智能的機(jī)器,?！?/p>

第二，自2009年以來(lái)我們時(shí)刻在“經(jīng)歷”第四次工業(yè)革命（也有人說(shuō)是第三次工業(yè)革命）,。在中國(guó)知網(wǎng)上,，以“第四次工業(yè)革命”和“第四次產(chǎn)業(yè)革命”為題名的文章分別有386篇和48篇（不計(jì)入2024年），如下圖所示,。

微電子（1984）,、云計(jì)算（2012）、物聯(lián)網(wǎng)（2016）,、大數(shù)據(jù)（2016）,、區(qū)塊鏈（2017）、工業(yè)互聯(lián)網(wǎng)（2017）,、新基建（2020）等,，都曾被賦以“第四次工業(yè)革命”的使命。現(xiàn)在輪到GenAI了,。這意味著,，GenAI需要達(dá)到與蒸汽機(jī),、發(fā)電機(jī)、內(nèi)燃機(jī),、計(jì)算機(jī)和互聯(lián)網(wǎng)一樣的高度,。

中國(guó)知網(wǎng)以“第四次工業(yè)（產(chǎn)業(yè)）革命”為題名的文章分布

第三，國(guó)外一般把GenAI（或AI）比作智能手機(jī),、云計(jì)算,、互聯(lián)網(wǎng)等特定技術(shù)，且通常使用“可能”“之一”等詞匯,。例如：

黃仁勛（2023.2）：ChatGPT是“the iPhone moment of AI”,， OpenAI所做工作是“one of the greatest things that have ever been done for computing”。

比爾·蓋茨在《The Age of AI has begun》（2023.3）中表示,，圖形用戶界面和GPT是他一生中見(jiàn)證過(guò)的兩次革命性技術(shù)展示,，并指出：“人工智能的發(fā)展與微處理器、個(gè)人電腦,、互聯(lián)網(wǎng)和移動(dòng)電話的誕生一樣重要,。”

亞馬遜CEO賈西致股東信（2024.4）：“Generative AI may be the largest technology transformation since the cloud (which itself,， is still in the early stages),， and perhaps since the Internet.”

第四，歷次工業(yè)革命都不是預(yù)測(cè)的結(jié)果,，而是后人的總結(jié),。第一次工業(yè)革命（1760-1840）結(jié)束40年后，術(shù)語(yǔ)“Industrial Revolution”才在阿諾德·湯因比的推動(dòng)下為大眾所知,；第二次工業(yè)革命（1870-1914）結(jié)束40年后,，經(jīng)濟(jì)學(xué)家才開(kāi)始使用“Second Industrial Revolution”，到1969年戴維·蘭德斯《不受束縛的普羅米修斯》才標(biāo)準(zhǔn)化了其學(xué)術(shù)定義,；第三次工業(yè)革命尚無(wú)統(tǒng)一認(rèn)知,，暫且不表。這頗有“偉大不能被計(jì)劃”的味道,，讓我們期待第四次工業(yè)革命的不同之處,。

本文寫(xiě)作中，得到馬駿,、馬源,、石光、王明輝,、李勇堅(jiān),、白惠天等人的支持和幫助，在此一并感謝,。