大家好,，我是老章

我長(zhǎng)期大量網(wǎng)上沖浪，收集整理了很多大模型世界最新動(dòng)態(tài),。

量大管飽，大家可以挑感興趣的研究一下，目錄如下：

• Claude 3.5 Sonnet

• Google 新發(fā)布的 Gemma 2,！9B & 27B 的底座！

• 蘋(píng)果和EPFL聯(lián)合開(kāi)源的多模態(tài)模型訓(xùn)練框架：4M

• OpenAI 開(kāi)發(fā)了一個(gè)名為 CriticGPT 的模型

• B站 BiliBili開(kāi)源了Index-1.9B模型

• Qwen2 接上 SD3 Medium 文生圖

• DeepSeek-Coder-V2：代碼和數(shù)學(xué)能力超越GPT-4的開(kāi)源模型

• Google 的 Video-to-Audio 技術(shù)

• 由 Google Imagen 2 模型驅(qū)動(dòng)的字母表生成器

• 微軟開(kāi)源的一個(gè)文本編碼器Glyph-ByT5-v2,。

• Streamer-Sales：一個(gè)直播賣(mài)貨大模型

• 螞蟻開(kāi)源首個(gè) GraphRAG 框架,！

• RAG2SQL開(kāi)源工具

• LlamaIndex 數(shù)據(jù)處理、RAG ,、Agentic RAG  PPT 和代碼

• OmniParse：支持多模態(tài)的數(shù)據(jù)結(jié)構(gòu)化的平臺(tái)

• Pipecat：一個(gè)可用于構(gòu)建語(yǔ)音和多模態(tài)對(duì)話的 AI 開(kāi)源框架

Claude 3.5 Sonnet

Anthropic 發(fā)布 3.5 系列首個(gè)模型: Claude 3.5 Sonnet,，這也是 Anthropic 目前最強(qiáng)大模型！

朋友們用起來(lái)??（最近風(fēng)好嚴(yán)重,，老章也慘遭封號(hào)??）：https://

Google 新發(fā)布的 Gemma 2,！9B & 27B 的底座,！

Google發(fā)布其開(kāi)源模型 Gemma 2

• 全新的架構(gòu)設(shè)計(jì) 性能大幅提升
• Gemma 2擁有9B和27B參數(shù)規(guī)模，相比第一代模型在推理效率和安全性上有顯著提升,。
• 27B的Gemma 2在同等規(guī)模模型中表現(xiàn)最佳,，甚至可與體積兩倍的模型競(jìng)爭(zhēng)。
• 優(yōu)化在各種硬件上高速運(yùn)行,，從高端桌面,、游戲筆記本和云端設(shè)置上都能實(shí)現(xiàn)高效運(yùn)行。

模型: http:///google
報(bào)告: https://ai.v/gemma
試玩：https:///spaces/huggingface-projects/gemma-2-9b-it

蘋(píng)果和EPFL聯(lián)合開(kāi)源的多模態(tài)模型訓(xùn)練框架：4M

蘋(píng)果和EPFL聯(lián)合開(kāi)源的多模態(tài)模型訓(xùn)練框架,，業(yè)界良心,，含金量巨高！支持?jǐn)?shù)十種模態(tài)和任務(wù),，讀圖能力支持表面法線,、深度圖、圖片分割,、物體檢測(cè),、圖片描述。畫(huà)圖能力支持線框補(bǔ)圖,、畫(huà)深度圖和表面法線,、基于深度圖和區(qū)域修改圖片。支持微調(diào)來(lái)適配新類(lèi)型的任務(wù)

項(xiàng)目地址：https://4m.
在線體驗(yàn)：https:///spaces/EPFL-VILAB/4M
Github：https://github.com/apple/ml-4m
論文：https:///abs/2406.09406

OpenAI 開(kāi)發(fā)了一個(gè)名為 CriticGPT 的模型

CriticGPT,，一種基于GPT-4訓(xùn)練優(yōu)化的模型,，專(zhuān)門(mén)用于來(lái)發(fā)現(xiàn)ChatGPT中的代碼錯(cuò)誤。

通過(guò)與人類(lèi)合作CriticGPT能夠顯著減少模型幻覺(jué),，同時(shí)保持高效的錯(cuò)誤檢測(cè)能力,。

當(dāng)前的LLM模型如ChatGPT等，在生成復(fù)雜代碼時(shí),，即使是經(jīng)驗(yàn)豐富的專(zhuān)家也難以可靠地評(píng)估其輸出的質(zhì)量和正確性,。CriticGPT通過(guò)訓(xùn)練模型生成自然語(yǔ)言評(píng)論，幫助人類(lèi)更準(zhǔn)確地評(píng)估代碼,，從而彌補(bǔ)了人類(lèi)評(píng)估的局限性,。

研究發(fā)現(xiàn)，在CriticGPT的幫助下,，人們審查ChatGPT代碼的表現(xiàn)比沒(méi)有幫助時(shí)高出60%,。

B站 BiliBili開(kāi)源了Index-1.9B模型

Index-1.9B系列是Index系列模型中的輕量版本

1.9B包含：Index-1.9B base : 基座模型，具有 19億 非詞嵌入?yún)?shù)量,，在2.8T 中英文為主的語(yǔ)料上預(yù)訓(xùn)練,，多個(gè)評(píng)測(cè)基準(zhǔn)上與同級(jí)別模型比處于領(lǐng)先
Index-1.9B pure : 基座模型的對(duì)照組，與base具有相同的參數(shù)和訓(xùn)練策略,，不同之處在于嚴(yán)格過(guò)濾了該版本語(yǔ)料中所有指令相關(guān)的數(shù)據(jù),，以此來(lái)驗(yàn)證指令對(duì)benchmark的影響
Index-1.9B chat : 基于index-1.9B base通過(guò)SFT和DPO對(duì)齊后的對(duì)話模型,，由于預(yù)訓(xùn)練中引入了較多互聯(lián)網(wǎng)社區(qū)語(yǔ)料，聊天的趣味性明顯更強(qiáng)
Index-1.9B character : 在SFT和DPO的基礎(chǔ)上引入了RAG來(lái)實(shí)現(xiàn)fewshots角色扮演定制

模型：

github：https://github.com/bilibili/Index-1.9B

Index-1.9B-Chat：https:///IndexTeam/Index-1.9B-Chat

Qwen2 接上 SD3 Medium 文生圖

支持中文輸入,，會(huì)自動(dòng)優(yōu)化并輸出英文提示詞

工作流：https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO

Qwen2 插件：https://github.com/ZHO-ZHO-ZHO/ComfyUI-Qwen-2

DeepSeek-Coder-V2：代碼和數(shù)學(xué)能力超越GPT-4的開(kāi)源模型

DeepSeek-Coder-V2：首個(gè)開(kāi)源模型在編碼和數(shù)學(xué)方面超越 GPT4-Turbo

在編碼和數(shù)學(xué)方面表現(xiàn)出色,，超越 GPT4-Turbo、Claude3-Opus,、Gemini-1.5Pro,、Codestral。支持 338 種編程語(yǔ)言,，上下文長(zhǎng)度為 128K,。全面開(kāi)源，提供兩種尺寸：230B（也提供 API 訪問(wèn)）和 16B,。

輸出性能達(dá) 5000-10000 token/s,，百萬(wàn)輸出 Token 2元 ，對(duì)標(biāo) Mistral 的代碼模型 Codestral,，DeepSeek 開(kāi)源具備頂尖代碼和數(shù)學(xué)推理能力的 DeepSeek Coder V2

開(kāi)放論文,，模型和代碼，支持 236B 和 16B,，支持微調(diào)并開(kāi)放 API 服務(wù)

項(xiàng)目地址：https://github.com/deepseek-ai/DeepSeek-Coder-V2

Google 的 Video-to-Audio 技術(shù)

視頻生成模型正在以驚人的速度發(fā)展,，但許多當(dāng)前系統(tǒng)只能生成無(wú)聲輸出。讓生成的電影栩栩如生的下一個(gè)重要步驟之一是為這些無(wú)聲視頻創(chuàng)建配樂(lè),。

谷歌分享了視頻轉(zhuǎn)音頻 (V2A) 技術(shù)的進(jìn)展,，該技術(shù)使同步視聽(tīng)生成成為可能。V2A 將視頻像素與自然語(yǔ)言文本提示相結(jié)合,，為屏幕上的動(dòng)作生成豐富的音景,。

詳情：https://deepmind.google/discover/blog/generating-audio-for-video/

由 Google Imagen 2 模型驅(qū)動(dòng)的字母表生成器

谷歌這個(gè)項(xiàng)目可根據(jù)提示詞創(chuàng)造各種字母形式，然后用它來(lái)書(shū)寫(xiě)各種內(nèi)容 非常適合制作標(biāo)題或封面藝術(shù),！

傳送門(mén) : https://labs.google/gentype

我也生成了一個(gè)：章北海

水果主題

海洋主題

微軟開(kāi)源的一個(gè)文本編碼器Glyph-ByT5-v2,。

支持使用十多種語(yǔ)言生成圖片。

還搭配了一個(gè)使用這個(gè)文本編碼器的 SDXL 模型,，可以直接生成中文海報(bào)和內(nèi)容,。

從演示來(lái)看排版都挺好的。

1. 創(chuàng)建了一個(gè)高質(zhì)量的多語(yǔ)言字形文本和圖形設(shè)計(jì)數(shù)據(jù)集,，包含超過(guò)100萬(wàn)個(gè)字形文本對(duì)和1000萬(wàn)個(gè)圖形設(shè)計(jì)圖像文本對(duì)，覆蓋另外九種語(yǔ)言,；

2. 構(gòu)建了一個(gè)多語(yǔ)言視覺(jué)段落基準(zhǔn)數(shù)據(jù)集,，包括1000個(gè)提示，每種語(yǔ)言100個(gè),，用于評(píng)估多語(yǔ)言視覺(jué)拼寫(xiě)準(zhǔn)確性,；

3. 采用最新的步進(jìn)感知偏好學(xué)習(xí)方法,，提高了視覺(jué)美學(xué)質(zhì)量。

模型下載：https:///GlyphByT5/Glyph-SDXL-v2

可以在這個(gè) huggingface 空間里面體驗(yàn),，支持通過(guò)畫(huà)框進(jìn)行自定義排版,。

https:///spaces/GlyphByT5/Glyph-SDXL-v2

Streamer-Sales：一個(gè)直播賣(mài)貨大模型

能自動(dòng)賣(mài)貨 同時(shí)實(shí)時(shí)回答客戶(hù)任何問(wèn)題??

它能根據(jù)商品特點(diǎn)自動(dòng)生成吸引用戶(hù)的解說(shuō)文案，支持將語(yǔ)音輸入轉(zhuǎn)換為文字,，便于主播在直播過(guò)程中與觀眾互動(dòng),。

同時(shí)還能生成帶有情感的語(yǔ)音輸出，使解說(shuō)更加生動(dòng)自然,。還能一鍵生成數(shù)字人,。

甚至支持 Agent 通過(guò)網(wǎng)絡(luò)查詢(xún)快遞信息。

GitHub: https://github.com/PeterH0323/Streamer-Sales

在線體驗(yàn):https:///apps/detail/HinGwenWong/Streamer-Sales

螞蟻開(kāi)源首個(gè) GraphRAG 框架,！

構(gòu)建生產(chǎn)級(jí)別的 AI Native Agent 應(yīng)用,！支持圖可視化和詳細(xì)示例代碼！

• 繼承 DB-GPT 的知識(shí)圖譜,、向量庫(kù),、圖數(shù)據(jù)庫(kù)等基礎(chǔ)能力實(shí)現(xiàn)
• 數(shù)據(jù)處理：提供三元組抽取、Cypher插入,、TuGraph 存儲(chǔ)
• 數(shù)據(jù)查詢(xún)與生成：查詢(xún)關(guān)鍵詞抽取,，圖相似度匹配

項(xiàng)目地址：https://github.com/eosphoros-ai/DB-GPT

RAG2SQL開(kāi)源工具

8K Stars！Text2SQL還不夠,？試試更精準(zhǔn)的RAG2SQL開(kāi)源工具

官網(wǎng)：https://

Github: https://github.com/vanna-ai/vanna

LlamaIndex 數(shù)據(jù)處理,、RAG 、Agentic RAG  PPT 和代碼

LlamaIndex團(tuán)隊(duì)在 @databricks舉辦的 @Data_AI_Summit數(shù)據(jù) AI 峰會(huì)上分享了如何構(gòu)建能夠處理復(fù)雜文檔的高級(jí) RAG 應(yīng)用????,，幾乎涵蓋了目前數(shù)據(jù)處理,、RAG 、Agentic RAG 等頂級(jí)前沿的理念并開(kāi)放了 PPT 和代碼,！??

PPT: https://docs.google.com/presentation/d/1yiuHEQEAhWEvVskbD9jwmfjopznVeZGwwWUzBIZ_P9U/edit?usp=sharing

OmniParse：支持多模態(tài)的數(shù)據(jù)結(jié)構(gòu)化的平臺(tái)

輸入文檔,、表格、視頻,、音頻,、網(wǎng)頁(yè)等數(shù)據(jù)，OmniParse可以把數(shù)據(jù)清洗成結(jié)構(gòu)化的數(shù)據(jù),，然后可以用于微調(diào)和RAG,。

Github：https://github.com/adithya-s-k/omniparse

Pipecat：一個(gè)可用于構(gòu)建語(yǔ)音和多模態(tài)對(duì)話的 AI 開(kāi)源框架

你可以用它來(lái)創(chuàng)建私人教練、會(huì)議助手,、兒童故事講述玩具,、客服機(jī)器人等 AI 語(yǔ)音助手。

GitHub：https://github.com/pipecat-ai/pipecat