---

  新智元報道  

就在剛剛,，根據(jù)The Information的最新爆料,，OpenAI即將發(fā)布一款全新的開源大語言模型。

雖然目前還不清楚,，OpenAI是不是打算利用即將開源的模型,，來搶占Vicuna或其他開源模型的市場份額。

但幾乎可以肯定的是,，新模型的能力大概率無法與GPT-4甚至GPT-3.5相競爭,。

畢竟，270億美元的估值也決定了,，OpenAI最先進的模型將會被用于商業(yè)目的,，盡管前兩個版本的GPT都是開源的。

對此,，OpenAI的發(fā)言人沒有回應置評請求,。

的確,，在這次軍備競賽中，谷歌和OpenAI似乎都不是贏家,，因為開源社區(qū)正在吃掉屬于它們的「利益」,。

ChatGPT一出，引爆了全球的LLM革命,。然而,，OpenAI不Open，很多公司和開發(fā)者只能看著干著急,。

此時,，Meta站出來發(fā)布了LLaMA，為全世界開發(fā)者謀了一把福利,。

本來呢,，Meta承諾的是LLaMA會對非商用的研究用例開源,，可是誰能想到，僅在發(fā)布一周后,，LLaMA的權重忽然在4chan上泄漏了,，瞬間就引發(fā)了數(shù)千次下載。

這場「史詩級泄漏」,，直接讓開源LLM領域變了天,。短短幾周內，各種ChatGPT平替就以迅雷不及掩耳之勢呈爆炸式增長,。

Alpaca,、Vicuna、Koala,、ChatLLaMA ,、FreedomGPT、ColossalChat……簡直堪稱是「羊駝家族」大爆炸,。

其實,，早在羊駝之前，開源模型就曾破滅過OpenAI的野心,。

當時,，剛剛發(fā)布的Dall-E 2憑借著驚艷的文生圖效果，在網(wǎng)上引起了不小的轟動,。

然而,，當OpenAI還在試圖兜售API時，一款開源替代突然橫空出世——Stable Diffusion,。

隨著Stable Diffusion的迅速崛起，Dall-E 2也很快就被開發(fā)者們拋在了腦后,。

為了提高Vicuna的能力,，Stoica和同事們正在努力增加模型中的計算數(shù)量，這將有助于處理涉及推理的任務,，比如寫代碼,。

開發(fā)Vicuna的是一個伯克利的團隊，每年的預算為數(shù)百萬美元,，其中大約50萬美元來自包括微軟,、谷歌和亞馬遜在內的上市公司。

UC Berkeley的計算機教授Ion Stoica表示,，現(xiàn)在的免費AI模型,，在性能上已經(jīng)「相當接近」谷歌和OpenAI的專有模型了,，毫無疑問，大多數(shù)開發(fā)者最終都會選擇免費模型,。

一方面,，開源模型可以讓開發(fā)者使用自己的數(shù)據(jù)來解決特定的問題。

另一方面,，像Vicuna這種模型的訓練成本甚至可以低至幾百美元,，而且還不用向大廠支付昂貴的使用費。

https:///blog/2023-03-30-vicuna/

如果Stoica的看法正確,，開源AI必將顛覆谷歌,、OpenAI、微軟等出售專有模型使用權的大廠的商業(yè)計劃,。

Vicuna的質量和開源AI的寒武紀大爆發(fā),，讓谷歌工程師Luke Sernau警告同事，谷歌在努力追趕OpenAI時,，太過關注專有軟件了,。

如果免費、高質量的平替沒有使用限制,，誰會去付費使用帶有條條框框的谷歌產(chǎn)品呢,？開源AI的發(fā)展正在超越我們，谷歌應該在開源社區(qū)中建立自己的領導地位,，并放棄對我們模型的部分控制,。

這份備忘錄迅速在整個行業(yè)內引起了共鳴——即使Sernau或許高估了開源AI的能力，低估了它們的成本和風險,，但大多數(shù)從業(yè)者都同意,，Meta非常有可能從中獲益。

比如,，Meta在內部會使用AI模型進行內容推薦和廣告定位,，當開發(fā)者改進Meta的模型時，Meta就可以把這些改進納入自己內部的AI,。

Meta CEO小扎對此籌謀已久。

4月,，在他與分析師的一次電話會議中,，他曾這樣談到公司的策略——

如果行業(yè)能夠在我們使用的基礎工具上達成標準化，那么我們就能從其他人的改進中受益,，這樣會更好,。

谷歌倒是沒有完全采用專有的方式來處理AI軟件,。

早在2020年，谷歌就發(fā)布了一個開源語言模型T5,，讓開發(fā)者可以構建能夠執(zhí)行翻譯和摘要任務的軟件,。隨后,，谷歌又發(fā)布了一個更先進的Flan-T5,。

但是,，根據(jù)Stoica和其他從業(yè)者的說法,，Meta發(fā)布的軟件能夠在谷歌模型的基礎上做出顯著改進,，這讓開發(fā)者選擇Meta模型的可能性大大增加了。

不過,，Stoica表示,，谷歌在開源軟件方面仍有兩個優(yōu)勢,。

1. 如果谷歌利用其不向外部開放的用戶數(shù)據(jù),，模型在某些專業(yè)領域（如內容推薦）的表現(xiàn)可能會更好。

不過,，谷歌發(fā)言人表示,，公司并沒有在現(xiàn)有用戶數(shù)據(jù)上訓練其基礎模型。

2. 搜索公司在管理大規(guī)模計算機基礎設施方面的專長,，意味著它能夠以更低的成本來運行模型,，包括為云客戶提供服務。

與此同時,，OpenAI在收集數(shù)百萬人與ChatGPT互動方式的數(shù)據(jù)上,，已經(jīng)搶得了先機，這會更有助于OpenAI改進AI軟件,，更不用提它和微軟的合作協(xié)議,。

不過,，這種建立在開源基礎上的繁榮，是不穩(wěn)定的,。

目前大多數(shù)的開源,，仍然依賴于資金雄厚的大公司發(fā)布的巨型模型,。如果OpenAI和Meta決定關閉業(yè)務,，繁榮的開源社區(qū)，可能就會變得蕭條,。

比如，現(xiàn)在許多開源平替是基于Meta的LLaMA構建的,。

而其他模型使用的是名為Pile的大型公共數(shù)據(jù)集，由開源非營利組織EleutherAI整理,。

EleutherAI之所以存在,，是因為OpenAI的開放性意味著一群開發(fā)者能夠逆向了解GPT-3是如何制作的，然后在空閑時間里創(chuàng)建自己的模型,。

但一切都可能改變。

OpenAI已經(jīng)不再Open,，Meta也在考慮限制開源，防止初創(chuàng)公司利用開源代碼做壞事,。

Meta AI的執(zhí)行董事Joelle Pineau表示，現(xiàn)在向外部人員開放代碼是正確,，但他并不確定,，在未來五年內Meta還會采用相同的策略。

如果這種Close的趨勢繼續(xù)下去,，那么不僅開源社區(qū)會被拋棄,，下一代的AI突破也會重新回到那些最大、最不差錢的AI實驗室手中,。

顯然,，AI大模型的制造和使用方式的未來,，正處于一個十字路口,。

如果OpenAI曾經(jīng)吝嗇,，就不會有如今的開源盛況

其他人也在權衡，這種開源的自由競爭帶來的回報更大，還是風險更大,。

就在Meta AI發(fā)布LLaMA的同時,，Hugging Face推出了一個門禁機制，下載平臺上的模型之前,，用戶必須申請訪問并獲得批準,，這是為了限制那些有合法理由的人。

「我并不是一個開源的布道者,，」Hugging Face的首席倫理科學家Margaret Mitchell說,。「我能看到不開源的意義,。」

大模型廣泛使用的一個弊端,，就是可能造成AI色情產(chǎn)品的泛濫。

Mitchell曾在谷歌工作,，并創(chuàng)立了AI道德團隊,，她對于模型被濫用的風險十分了解。因此,，她贊成Meta AI以有控制的方式發(fā)布模型,。

同時，OpenAI也在關閉水龍頭,。GPT-4發(fā)布時,，并沒有公布架構（包括模型大小）,、硬件,、訓練計算、數(shù)據(jù)集構建,、訓練方法等細節(jié),，理由是「鑒于像GPT-4這樣的大規(guī)模模型的競爭格局和安全影響」。

這種限制反應了OpenAI心態(tài)上的變化,。聯(lián)合創(chuàng)始人兼首席科學家Ilya Sutskever表示,，OpenAI過去的開放性是一個錯誤。

OpenAI的政策研究員Sandhini Agarwal說：「以前,，如果某樣東西是開源的,，也許一小群修理工會關心。但現(xiàn)在,，整個環(huán)境已經(jīng)改變,。開源真的可以加速發(fā)展，導致競爭,?！?/span>

時間倒回三年前，如果OpenAI在公布GPT-3的細節(jié)時，就秉持著同樣的原則,，那就不會有EleutherAI的出現(xiàn),，也就不會有蓬勃的開源創(chuàng)新。

今天,，EleutherAI在開源生態(tài)系統(tǒng)中發(fā)揮著舉足輕重的作用。Pile被用來訓練多個開源項目,，包括Stability AI的StableLM,。

但隨著GPT-4、5,、6被鎖死,，開源社區(qū)可能會再次被落在幾家大公司后面。

他們會困在上一代模型中,，如果想取得進步,，只能閉門造車。