就在剛剛,，谷歌扔下“震撼彈”。

北京時間2月21日晚21點,，美國科技巨頭谷歌（Google）宣布推出全球性能最強大,、輕量級的開源模型系列Gemma，分為2B（20億參數(shù)）和7B（70億）兩種尺寸版本,，2B版本甚至可直接在筆記本電腦上運行,。

谷歌表示，Gemma采用與 Gemini 模型相同的研究和技術(shù),，由Google DeepMind 和谷歌其他團隊開發(fā),，專為負責(zé)任的 AI開發(fā)而打造。谷歌聲稱,，Gemma 模型18個語言理解,、推理、數(shù)學(xué)等關(guān)鍵基準測試中,，有11個測試分數(shù)超越了Meta Llama-2等更大參數(shù)的開源模型,。

平均分數(shù)方面，Gemma -7B 的基準測試平均分高達56.4,，遠超過Llama-13B（52.2）,、Mistral-7B（54.0），成為目前全球最強大的開源模型,。

請輸入圖說

谷歌和Alphabet公司CEO 桑達爾·皮查伊（Sundar Pichai）表示,，Gemma展示了強大的性能，從今天開始,，該模型將在全球范圍內(nèi)提供,，并可在筆記本電腦、工作站或谷歌云上運行,。

Google DeepMind CEO Demis Hassabis表示,，輕量開源的Gemma是同類尺寸中性能最佳的模型。

如今,，谷歌不僅將對手瞄向OpenAI,，而且打算占據(jù)一切，新模型將比扎克伯格的Llama-2“遙遙領(lǐng)先”,。

性能超越Llama-2開源模型，谷歌Gemma為何那么強,？

自Gemini發(fā)布至今,，谷歌持續(xù)在 AI 方面“狂飆”。

2023年12月,，谷歌推出全球最強大,、最通用的多模態(tài)通用大模型：Gemini，中文稱“雙子座”,，共包括三個不同尺寸版本：Ultra（超大杯）,、Pro（大杯）和Nano（中杯），全面內(nèi)置最新,、最強大的自研 AI 超算芯片Cloud TPU v5p,。

谷歌表示，在六項基準測試中,，Gemini Pro性能表現(xiàn)優(yōu)于GPT-3.5,；而在30項性能基準測試中，Gemini Ultra超越了目前最強模型GPT-4,，甚至在數(shù)學(xué),、物理、法律等57個領(lǐng)域測試中成為全球第一個超越人類專家水平的 AI 模型,。

如此強大的 AI 技術(shù),，谷歌必然要持續(xù)推進。

所以,，谷歌不僅統(tǒng)一了 AI 人才和算力資源,，而且全力投資Gemini。今年1月,，谷歌宣布全球一項大模型基準測試中Gemini超越GPT-4,；2月,，谷歌宣布對標ChatGPT的 AI 聊天機器人平臺Google Bard更名為Gemini，并推出安卓版本的獨立App,，以及發(fā)布史上性能和功能最強大的Gemini Ultra 1.0模型等,。

然而，2月中旬Gemini 1.5發(fā)布的同時,，OpenAI全新視頻生成模型Sora突然亮相,，一經(jīng)面世瞬間成為頂流，話題熱度只增不減,。所有人都在討論Sora為行業(yè)帶來的改變,，但這讓谷歌在 AI 領(lǐng)域的努力一下子“黯然失色”。

僅過了不到半個月,，如今,，谷歌卷土重來，正式推出全球最強大的開源模型Gemma,。

相比ChaGPT和Gemini,，Gemma可能更適合較小規(guī)模的任務(wù)，例如簡單的 AI 聊天或摘要,。

谷歌表示,，Gemma其靈感來自于此前谷歌發(fā)布的Gemini大模型，名字在拉丁語中意為“寶石”,。

具體來說,，谷歌此次主要展示Gemma模型架構(gòu)、性能表現(xiàn),、自研芯片,、訓(xùn)練基礎(chǔ)設(shè)施、軟件工具,、碳減排,、安全和評估、負責(zé)任等多個方面的努力,。

其中,，模型架構(gòu)方面，Gemma基于谷歌Gemini模型以及Transformer自注意力機制的深度學(xué)習(xí)技術(shù)研發(fā),，Gemma 2B 和 7B 分別針對來自網(wǎng)絡(luò)文檔,、數(shù)學(xué)和代碼的 2T 和 6T 規(guī)模英文標注數(shù)據(jù)進行訓(xùn)練。與Gemini 不同,，這些模型不是多模式的,，也沒有針對多語言任務(wù)的最先進性能進行訓(xùn)練。

不僅如此,，Gemma還使用了改進后的多頭注意力,、RoPE嵌入,、GeGLU激活函數(shù)等新的技術(shù)，旨在文本領(lǐng)域?qū)崿F(xiàn)通用能力,，同時具備最先進的理解和推理技能,。

性能表現(xiàn)方面，根據(jù)技術(shù)文件,，Gemma在MMLU,、MBPP等18個基準測試中，有11個測試結(jié)果超越了Llama-13B或Mistral-7B等模型,。

自研芯片方面，谷歌Gemma使用自研 AI 加速芯片TPUv5e進行訓(xùn)練,。其中7B模型在16個Pods上訓(xùn)練,，2B模型在2個Pods上訓(xùn)練，每個 Pod 可占用的 256 個芯片更少,，v5e 經(jīng)過優(yōu)化,，可以成為轉(zhuǎn)換器、文本到圖像和卷積神經(jīng)網(wǎng)絡(luò) (CNN) 訓(xùn)練,、微調(diào)和服務(wù)的最大價值產(chǎn)品。

而通過TPUv5e,，Gemma模型可在文本領(lǐng)域?qū)崿F(xiàn)強大的通用能力,，同時具備最先進的理解和推理技能。

值得一提的是,，谷歌今天還宣布與英偉達（NVIDIA）展開合作,。這意味著，Gemma不止使用TPUv5e芯片,，而且使用NVIDIA GPU 來優(yōu)化 Gemma 模型,。

軟件工具層面，谷歌發(fā)布了全新 AI 軟件工具包,，名為Responsible Generative AI Toolkit,，從而幫助開發(fā)者和研究人員優(yōu)先構(gòu)建安全和負責(zé)任的 AI 應(yīng)用。此外,，Gemma 提供 Keras 3.0,、原生 PyTorch、JAX 和 Hugging Face Transformers 多個框架工具,，并支持基于 Google Cloud 的優(yōu)化,，以及在筆記本電腦、臺式機,、物聯(lián)網(wǎng),、移動設(shè)備和云端等多個跨設(shè)備中兼容,，從而讓Gemma實現(xiàn)推理和微調(diào)。

除了上述提及的層面,，谷歌還在碳減排,、安全和評估、負責(zé)任等方面有新的進展,。其中,，預(yù)訓(xùn)練Gemma模型的碳排放量大大減少，約為131000噸二氧化碳,；同時Gemma使用過濾后的預(yù)訓(xùn)練數(shù)據(jù)集,，以減少不安全內(nèi)容的風(fēng)險；以及通過監(jiān)督式微調(diào)和基于人類反饋的強化學(xué)習(xí)（RLHF）進行微調(diào),。

谷歌表示,，在人類偏好評估中，Gemma在遵循指令和基本安全協(xié)議方面的表現(xiàn)優(yōu)于Mistral v0.2 7B Instruct模型,。

另外,，Google DeepMind采取結(jié)構(gòu)化的方法來確保模型的負責(zé)任開發(fā)和部署，包括評估潛在的社會影響,。

谷歌 DeepMind 產(chǎn)品管理總監(jiān) Tris Warkentin 表示,，由于擔(dān)心開放模型存在部分風(fēng)險，該公司“對 Gemma 進行了更廣泛的紅隊（專家,、開發(fā)者等內(nèi)部對抗性測試的外部團隊）”,，從而提前挖掘出了更多 AI 系統(tǒng)存在的缺陷和風(fēng)險。

署名研究人員高達57人,，其中31人來自亞洲

技術(shù)論文顯示,，此次參與谷歌Gemma開源模型的研發(fā)人員數(shù)量高達57位。

其中包括核心貢獻者（Core Contributors）14人,，參與者（Contributors）達35人，產(chǎn)品管理（Product Management）2人,，項目管理（Program Management）1人,，執(zhí)行贊助人（Executive Sponsors）5人。此外,，谷歌還對內(nèi)部其他多個團隊進行感謝,。

據(jù)鈦媒體AGI通過Kimi Chat提供的信息、研發(fā)者名字進行梳理和猜測,，此次參與Gemma模型研發(fā)的57人中,，可能有大約一半以上（31人）的開發(fā)者來自亞洲，或與華人或具有華人血統(tǒng)的個人有關(guān),。

例如,，谷歌Gemma團隊當(dāng)中的Le Hou（侯樂）博士,，曾是谷歌FLAN-T5技術(shù)的作者。

在加入谷歌之前,，侯樂在紐約州立大學(xué)石溪分校獲得了博士學(xué)位。博士在讀期間,，他專注于分析高分辨率圖像,，如衛(wèi)星和醫(yī)學(xué)圖像。

侯樂在谷歌的研究主要集中于NLP方面,，包括高效的語言模型訓(xùn)練,、指令微調(diào)和提示工程等，核心能力是通過更好的微調(diào)和提示工程來提高最先進語言模型的推理能力,。

而谷歌Gemma團隊另一位華人Geng Yan,，也是 AI 領(lǐng)域大神級人物。他畢業(yè)于浙江大學(xué)計算機科學(xué)系,，隨后在美國美國卡內(nèi)基梅隆大學(xué)完成計算機視覺專業(yè)的碩士學(xué)位,。

Geng Yan曾在商湯,、亞馬遜等公司任職過,，主要研究 AI 機器算法技術(shù)，曾在谷歌參與研發(fā)Google Facemesh追蹤面部的 AI 模型,，在谷歌相機自拍,、手機支付等多個場景中發(fā)揮更大作用。

事實上,，據(jù)The Information報道稱，目前谷歌公布的最新論文中,，Gemini的研發(fā)團隊超過800人,。因此，參與Gemma研發(fā)人員占比可能只有Gemini團隊的7.1%,。

人員少,，但Gemma性能毫不遜色。

然而,，谷歌在技術(shù)報告中也坦言,，盡管Gemma模型在性能、安全性和負責(zé)任開發(fā)方面實現(xiàn)了突飛猛進的進展,，但谷歌承認“此發(fā)布是不可逆轉(zhuǎn)的“,，并且開放模型造成的危害尚未明確定義。谷歌仍需要進一步研究來創(chuàng)建可靠,、按預(yù)期執(zhí)行的穩(wěn)健,、安全的模型,。

“因此我們將繼續(xù)采取與這些模型的潛在風(fēng)險相稱的評估和安全緩解措施?！惫雀璞硎?，Gemma在6個安全基準以及人類并行評估方面均優(yōu)于競爭對手。

Warkentin 表示,，Gemma模型目前先適配了英語這一廣泛語言,，但他也指出，未來谷歌團隊也“希望能夠與社區(qū)共同努力,，滿足英語任務(wù)之外的市場需求,。”

目前,，開發(fā)者可以在 Kaggle 中免費使用 Gemma,，首次使用 Google Cloud 的用戶將獲得 300 美元的積分，并可申請高達 50 萬美元的Google Cloud積分來使用這些模型,。具體可通過ai.google.dev/gemma進行查詢,。

另外，谷歌方面今晨還宣布,，Google One AI Premium正在將Gemini整合到谷歌Gmail,、Docs、Sheets,、Slides和Meet當(dāng)中,，提供書寫、校對和生成圖像等 AI 增強功能,。而作為賬戶付費產(chǎn)品,，前兩個月免費使用，之后每月19.99美元,。

小結(jié)：谷歌拼命“卷”,，只想成為王者

三個月發(fā)布三款大模型系列，谷歌 AI 技術(shù)產(chǎn)品的更新迭代之快,，讓人始料未及,。

OpenAI CEO奧爾特曼（Sam Altman）曾私下表示，與谷歌相比,，OpenAI在算力上處于劣勢,。

在 AI 三要素中，谷歌在算力,、算法,、數(shù)據(jù)方面都具有很明顯的技術(shù)領(lǐng)先優(yōu)勢。那么如今，谷歌連續(xù)發(fā)布Gemini,、Gemma模型,，覆蓋開源和閉源方向，希望成為“AI 行業(yè)王者”的野心暴露無遺,。

我們預(yù)計,，接下來Gemma將成為開源社區(qū)的關(guān)注焦點。

谷歌開發(fā)者 X 副總裁兼總經(jīng)理,、谷歌開發(fā)者關(guān)系主管 Jeanine Banks 認為,，Gemma 模型“感覺像是谷歌從TensorFlow 等工具開源 AI 開發(fā)技術(shù)的歷史的延續(xù)”的最新 AI 系統(tǒng)，從PaLM2,、AlphaFold到Gemini,，最后形成了Gemma。

“我們認為,，如果谷歌能夠成為 API 和開放模型的唯一提供商,，為社區(qū)提供最廣泛的功能集，那就完美了,?！盝eanine Banks表示。

接下來,，我們就看“剛剛跌落神壇”的開源模型Meta Llama如何再接招了,。

（本文首發(fā)鈦媒體App，作者｜林志佳）