“我是昇思開源社區(qū)的一名開發(fā)者,,我想看看'紫東太初’能否現(xiàn)場生成一幅竹林圖片,以中國國畫的形式,?!币晃挥^眾提出。 幾秒鐘后,,對話框里出現(xiàn)了一幅竹林水墨畫,,引來現(xiàn)場熱烈掌聲。 這是6月16日在上海舉行的人工智能框架生態(tài)峰會上的一幕,。會上,,中國科學院自動化研究所發(fā)布了全模態(tài)大模型紫東太初2.0。 除了支持圖像生成,,紫東太初2.0還支持多輪問答,、文本創(chuàng)作、3D理解,、信號分析等跨模態(tài)任務,,不僅可以透過《月光曲》暢談貝多芬的故事,也可以在三維場景里實現(xiàn)精準定位,,還能夠通過圖像與聲音的結合完成場景分析,。 “目前'紫東太初’大模型已展現(xiàn)出廣闊的產(chǎn)業(yè)應用前景,在神經(jīng)外科手術導航,、短視頻內容審核,、法律咨詢、醫(yī)療多模態(tài)鑒別診斷,、交通違規(guī)圖像研讀等領域已開始了一系列引領性,、示范性應用?!敝袊茖W院自動化研究所所長,、研究員徐波說。 從三模態(tài)到全模態(tài) 人類認知世界,,往往同時涉及語音,、圖像、文字等信息。在中國科學院自動化研究所看來,,機器要實現(xiàn)更高水平的智能,,也需要建立在文本、語音,、圖像等多種模態(tài)交叉協(xié)同與有機融合之上,。 從2019年開始,中國科學院自動化研究所就瞄準了多模態(tài)大模型領域開始攻關,,基于全棧國產(chǎn)化基礎軟硬件昇騰AI平臺,,通過對海量數(shù)據(jù)(18.830, -0.81, -4.12%)弱關聯(lián)圖文音數(shù)據(jù)的跨模態(tài)自監(jiān)督學習,于2021年9月正式發(fā)布了千億參數(shù)多模態(tài)大模型“紫東太初”,,實現(xiàn)了圖像、文本,、語音三個模態(tài)數(shù)據(jù)之間的“統(tǒng)一表示”與“相互生成”,。 “紫東太初1.0大模型不斷加強應用的過程中,我們發(fā)現(xiàn)很多新的需求,。比如從工業(yè)智能角度有很多的參數(shù),,像溫度、濕度,、壓力,、液位測量等;從醫(yī)療方面有很多體檢結構數(shù)據(jù)還有異構醫(yī)療影像數(shù)據(jù),。我們認識到,,只有對這些數(shù)據(jù)從簡單的采集、統(tǒng)計,、分析,,上升到對這些數(shù)據(jù)的認知,才能真正把我們人類社會從自動化社會帶向智能化社會,,也才能在更寬,、更高的維度上認知世界、改變世界,?!毙觳ㄕf。 基于這樣的認識,,中國科學院自動化研究所開始研發(fā)紫東太初2.0——面向數(shù)字時代的全模態(tài)認知大模型,。 徐波表示,紫東太初2.0在語音,、圖像和文本之外,,加入了視頻、傳感信號、3D點云等更多模態(tài),,從技術架構上實現(xiàn)了結構化和非結構化數(shù)據(jù)的全模態(tài)開放式接入,,突破了認知增強的多模態(tài)關聯(lián)等關鍵技術,支持多輪問答,、文本創(chuàng)作,、圖像生成、3D理解,、信號分析等跨模態(tài)任務,,并具備全模態(tài)智能化標注能力,可實現(xiàn)對未知目標的自動發(fā)現(xiàn),。 發(fā)布會上,,徐波首次對外實時展示“紫東太初”大模型在音樂理解與生成、三維場景導航,、信號理解,、多模態(tài)對話等方面的全新功能,并邀請現(xiàn)場觀眾與大模型即時互動,,展現(xiàn)了強大的理解和生成能力,。 已開始在多個產(chǎn)業(yè)示范應用 “我們在大模型的技術研討基礎上開放服務平臺,惠及更多用戶,,整合產(chǎn)學研的資源打造多模態(tài)人工智能行業(yè)應用,,探索通用人工智能產(chǎn)業(yè)化的路徑?!睋?jù)徐波介紹,,基于紫東太初2.0,全棧國產(chǎn)化,、低代碼一站式開發(fā)的“紫東.太初”開放服務平臺已上線,,支持公有云、私有云一鍵部署,,使能行業(yè)大模型高效率開發(fā),。 在會后的媒體溝通會上,中科院自動化所“紫東太初”大模型研究中心常務副主任,、武漢人工智能研究院院長王金橋介紹稱,,目前以業(yè)內ChatGPT為代表的大模型雖然也號稱是多模態(tài),但實際對外開放的主要還是語言模態(tài),,其他模態(tài)普通用戶并不能體驗,,而紫東太初2.0是基于國產(chǎn)化的全棧基礎軟硬件打造的多模態(tài)大模型,,屬于多模態(tài)產(chǎn)業(yè)聯(lián)合體,,形成了一個大模型開放服務平臺,。 目前,“紫東太初”大模型已展現(xiàn)出廣闊的產(chǎn)業(yè)應用前景,,在神經(jīng)外科手術導航,、短視頻內容審核、法律咨詢,、醫(yī)療多模態(tài)鑒別診斷,、交通違規(guī)圖像研讀等領域已經(jīng)開始一系列引領性、示范性應用,。 其中,,在醫(yī)療場景,“紫東太初”大模型部署于神經(jīng)外科機器人(14.930, -0.38, -2.48%)MicroNeuro,,可實現(xiàn)在醫(yī)療手術中實時融合視覺,、觸覺等多模態(tài)信息,協(xié)助醫(yī)生對手術場景進行實時推理判斷,。同時,,通過與北京協(xié)和醫(yī)院合作,科研團隊利用“紫東太初”具備的較強邏輯推理能力,,正在人類罕見病診療這個挑戰(zhàn)性醫(yī)學領域開展嘗試。 云從科技(17.000, -1.79, -9.53%)等上市公司 積極參與人工智能框架生態(tài)共建 在峰會現(xiàn)場,,包含18家AI頭部企業(yè),、高校、科研機構,、開源社區(qū)等共同發(fā)布了“共建人工智能框架生態(tài),,繁榮中國人工智能產(chǎn)業(yè)”聯(lián)合倡議,倡議通過政產(chǎn)學研用的共同努力,,支撐中國人工智能框架生態(tài)走向新高度,,推進中國人工智能產(chǎn)業(yè)新發(fā)展。 本次峰會上,,國內人工智能框架社區(qū)昇思MindSpore還宣布,,正式成立昇思社區(qū)理事會,首批成員單位包括AI芯片企業(yè),、AI應用企業(yè),、高校與學術機構共計18家單位。上市公司軟通動力(26.260, -1.93, -6.85%)也是成員之一,。 資料顯示,,作為國內頭部的AI生態(tài)平臺,截至2023年5月底,,昇思開源社區(qū)下載量已突破474萬,,社區(qū)貢獻者1.3萬,,服務企業(yè)數(shù)量5500家,與240家科研院所展開合作,,開源模型達400多個,,發(fā)表頂會論文超過900篇。 為了進一步促進國內AI產(chǎn)業(yè)發(fā)展,,本次峰會上海人工智能研究院,、上海市閔行區(qū)政府、臨港集團,、昇思開源社區(qū)聯(lián)合啟動了上海昇思AI框架&大模型創(chuàng)新中心(簡稱創(chuàng)新中心),。 據(jù)市界了解,目前上海人工智能實驗室,、上海交通大學,、中國商飛上海飛機設計研究院、中國科學院上海藥物研究所,、云從科技等首批22家單位已經(jīng)正式入駐創(chuàng)新中心,。 責編:展雪、郭晨希 海量資訊,、精準解讀,,盡在新浪財經(jīng)APP
|
|