引言

在人工智能的浪潮中,，大模型研究如日中天，涵蓋諸多研究方向,，每個(gè)方向均承載著獨(dú)特的研究焦點(diǎn)與挑戰(zhàn),。

以下，我們將逐一探討數(shù)個(gè)備受矚目的研究方向,，包括檢索增強(qiáng)生成RAG,、大模型Agent、Mamba,、MoE,、LoRA等，這些方向致力于攻克大模型在實(shí)際應(yīng)用中的核心難題,，進(jìn)而提升其性能與實(shí)用性,。

檢索增強(qiáng)生成RAG

檢索增強(qiáng)生成RAG憑借信息檢索與文本生成的有機(jī)結(jié)合，顯著提升了AI系統(tǒng)的效能,。其核心優(yōu)勢(shì)在于,，能夠借助外部知識(shí)庫(kù)輔佐生成過(guò)程，確保生成內(nèi)容的精準(zhǔn)度與魯棒性,。結(jié)合大模型所具備的卓越生成能力,，RAG在問(wèn)答系統(tǒng)、文檔生成,、自動(dòng)摘要,、智能助手、信息檢索以及知識(shí)圖譜填充等諸多自然語(yǔ)言處理場(chǎng)景中均展現(xiàn)出強(qiáng)大的應(yīng)用潛力,。研究聚焦于“檢索器與生成器的集成”,、“跨模態(tài)應(yīng)用與知識(shí)更新”等方面，而挑戰(zhàn)則在于如何進(jìn)一步提升“檢索效率”,、“生成質(zhì)量”以及“跨領(lǐng)域應(yīng)用”等關(guān)鍵環(huán)節(jié),。

近年來(lái),，盡管人工智能大模型在眾多任務(wù)中展現(xiàn)出令人矚目的能力,，但在知識(shí)整合與長(zhǎng)期記憶方面仍存在顯著不足。為此,，OSU&斯坦福的學(xué)者提出了一種創(chuàng)新性思路：賦予大模型類似人腦海馬體的“記憶操作系統(tǒng)”,。借鑒海馬體在人腦記憶中的核心作用，他們?cè)O(shè)計(jì)了一款名為HippoRAG的新型檢索增強(qiáng)模型,。實(shí)驗(yàn)證明,，裝備了這種“類腦”記憶系統(tǒng)的大模型在各類知識(shí)整合任務(wù)中均展現(xiàn)出令人驚艷的性能提升。

AI2團(tuán)隊(duì)則提出了一種自適應(yīng)QA問(wèn)答框架——Adaptive-RAG,。該框架涵蓋多種策略,，能夠根據(jù)請(qǐng)求的復(fù)雜程度動(dòng)態(tài)選擇合適的策略，旨在提高檢索增強(qiáng)大模型在應(yīng)對(duì)不同復(fù)雜請(qǐng)求時(shí)的響應(yīng)準(zhǔn)確性,，進(jìn)而提升QA問(wèn)答效率,。

然而，單純依賴大模型自身的參數(shù)知識(shí)進(jìn)行文本生成,，難免會(huì)產(chǎn)生所謂的“模型幻覺”,。因此，研究人員將檢索增強(qiáng)生成RAG作為大模型文本生成的輔助手段,。但值得注意的是,，RAG方法的準(zhǔn)確性在很大程度上依賴于檢索文本的準(zhǔn)確性。一旦檢索環(huán)節(jié)出現(xiàn)偏差,，生成文本的準(zhǔn)確性便難以保證,。為此，中科大團(tuán)隊(duì)提出了糾正檢索增強(qiáng)生成（CRAG）的方法,，旨在增強(qiáng)文本生成的魯棒性,。

此外，Infineon提出了RAG-Fusion技術(shù),，該技術(shù)巧妙地將RAG與Reciprocal Rank Fusion（RRF）相結(jié)合,。具體而言，該技術(shù)首先通過(guò)指令遵循模型生成多個(gè)請(qǐng)求,，隨后對(duì)每個(gè)請(qǐng)求進(jìn)行矢量搜索，從預(yù)定義集合中檢索相關(guān)文檔,。接著,，利用倒數(shù)排名融合算法根據(jù)請(qǐng)求間的相關(guān)性對(duì)文檔進(jìn)行重新排序。最終,，生成經(jīng)過(guò)重新排序的文檔組列表,。

Amazon則提出了一種名為SYNTHESIZRR的新方法，用于改進(jìn)大模型（LLMs）在分類任務(wù)中的微縮化過(guò)程。傳統(tǒng)的few-shot提示生成數(shù)據(jù)集方法往往存在重復(fù)和偏見問(wèn)題,。而SYNTHESIZRR通過(guò)引入檢索增強(qiáng)來(lái)提升數(shù)據(jù)集的多樣性,，使LLM能夠根據(jù)不同內(nèi)容生成更多樣化的示例。在提升詞匯和語(yǔ)義多樣性,、模仿人類文本以及優(yōu)化模型微縮化性能等方面,，SYNTHESIZRR均展現(xiàn)出相較于傳統(tǒng)方法的顯著優(yōu)勢(shì)。

大模型Agent

年初，業(yè)界領(lǐng)軍人物吳恩達(dá)曾指出,，大模型Agent將是未來(lái)大模型發(fā)展的重要方向,。隨著大模型應(yīng)用場(chǎng)景日趨復(fù)雜，單純依賴大模型自身的能力已難以滿足需求,。因此,，構(gòu)建高效的大模型Agent成為了大勢(shì)所趨。微軟的研究人員亦對(duì)Agent AI的基礎(chǔ)進(jìn)行了深入探討,，強(qiáng)調(diào)了智能Agent在物理,、虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)以及感官交互等領(lǐng)域中的潛在應(yīng)用,，并指出Agent AI有望成為下一代人工智能的關(guān)鍵技術(shù),。當(dāng)前，大模型Agent的研究重點(diǎn)聚焦于“多任務(wù)學(xué)習(xí)”,、“常識(shí)推理與持續(xù)學(xué)習(xí)”等領(lǐng)域,，旨在提升Agent在廣泛任務(wù)上的表現(xiàn)力和適應(yīng)性。智譜創(chuàng)新推出自動(dòng)化網(wǎng)頁(yè)導(dǎo)航Agent——AUTOWEBGLM,，該Agent憑借簡(jiǎn)化網(wǎng)頁(yè)內(nèi)容及融合AI技術(shù)的獨(dú)特優(yōu)勢(shì),，成功攻克了現(xiàn)有web Agent在處理真實(shí)網(wǎng)頁(yè)時(shí)所遭遇的諸多挑戰(zhàn)。AUTOWEBGLM運(yùn)用精心設(shè)計(jì)的算法精準(zhǔn)表示網(wǎng)頁(yè)內(nèi)容,，確保重要信息得以保留,，并通過(guò)混合人工智能方法進(jìn)行深度訓(xùn)練。此外,，該Agent還借助強(qiáng)化學(xué)習(xí)與拒絕采樣技術(shù),，大幅提升了其對(duì)網(wǎng)頁(yè)內(nèi)容的理解能力及任務(wù)執(zhí)行效率。

微軟傾力打造自動(dòng)化軟件開發(fā)框架——AutoDev,，這一革命性的AI驅(qū)動(dòng)框架旨在實(shí)現(xiàn)軟件開發(fā)的全面自動(dòng)化,，從而自主規(guī)劃并執(zhí)行復(fù)雜的軟件開發(fā)任務(wù)。AutoDev賦予用戶定義復(fù)雜軟件工程目標(biāo)的能力,，并將這些目標(biāo)交由其自主Agent實(shí)現(xiàn),。這些Agent在代碼庫(kù)上可施展多種操作,，涵蓋文件編輯、檢索,、構(gòu)建過(guò)程,、執(zhí)行、測(cè)試及Git操作,，展現(xiàn)出強(qiáng)大的功能性與靈活性,。

Google推出的SceneCraft創(chuàng)新大語(yǔ)言模型Agent，可將文本描述巧妙轉(zhuǎn)化為Blender可執(zhí)行的Python腳本,，進(jìn)而創(chuàng)建出復(fù)雜的3D場(chǎng)景,。SceneCraft通過(guò)高級(jí)抽象、戰(zhàn)略規(guī)劃及庫(kù)學(xué)習(xí)等手段,，有效應(yīng)對(duì)空間規(guī)劃與布局領(lǐng)域的復(fù)雜挑戰(zhàn),，為3D內(nèi)容創(chuàng)作帶來(lái)前所未有的便捷與高效。

生成模型在軟件工程領(lǐng)域的應(yīng)用已取得顯著成果,，尤其在代碼生成與調(diào)試任務(wù)中表現(xiàn)突出,。然而，在自動(dòng)生成代碼文檔方面,，這些模型的潛力尚待充分挖掘,。為此，清華大學(xué)開發(fā)出REPOAGENT,，一款基于大型語(yǔ)言模型的開源框架,，專注于自動(dòng)生成、維護(hù)及更新代碼文檔,。經(jīng)過(guò)一系列定性與定量分析評(píng)估,，REPOAGENT在創(chuàng)建高質(zhì)量代碼倉(cāng)庫(kù)文檔方面的能力得到了充分驗(yàn)證。

聚焦于如何讓大型語(yǔ)言模型如ChatGPT和GPT-4在處理復(fù)雜且需多種技能的任務(wù)時(shí)表現(xiàn)得更為出色,。為此,，清華大學(xué)開發(fā)出GITAGENT，這款工具可令模型自主從GitHub中挑選合適的代碼庫(kù),，并融入其工具箱中,。GITAGENT在執(zhí)行任務(wù)時(shí)遵循四個(gè)關(guān)鍵步驟，并在遇到問(wèn)題時(shí)善于從GitHub上汲取他人經(jīng)驗(yàn),，以不斷提升自身能力,。

關(guān)于大語(yǔ)言模型的規(guī)劃與推理能力，業(yè)界觀點(diǎn)不一,。亞利桑那州立大學(xué)研究人員認(rèn)為,，大語(yǔ)言模型（LLMs）本身并不具備規(guī)劃推理能力，但其在解決規(guī)劃問(wèn)題方面仍發(fā)揮著積極作用,。為此,，作者提出一種新穎的LLM-Modulo框架，將大型語(yǔ)言模型與外部驗(yàn)證工具相結(jié)合,，使LLMs在規(guī)劃任務(wù)中發(fā)揮出關(guān)鍵作用,。

Mamba

Mamba作為一種選擇性結(jié)構(gòu)狀態(tài)空間模型（Selective Structured State Space Model）,，在長(zhǎng)上下文任務(wù)處理方面展現(xiàn)出線性時(shí)間推理、并行化訓(xùn)練及卓越性能等諸多優(yōu)勢(shì),。該技術(shù)由CMU率先提出,，通過(guò)全局感受野和動(dòng)態(tài)加權(quán)技術(shù)，有效緩解了卷積神經(jīng)網(wǎng)絡(luò)的建模約束,，并提供了與Transformers相媲美的高級(jí)建模能力,，同時(shí)避免了Transformer所帶來(lái)的二次計(jì)算復(fù)雜性。其研究方向主要聚焦于提升長(zhǎng)序列數(shù)據(jù)處理能力,、多模態(tài)數(shù)據(jù)處理及計(jì)算效率等方面,。

近日，波蘭研究團(tuán)隊(duì)發(fā)布了MoE-Mamba,，即將Mamba與混合專家層完美結(jié)合的創(chuàng)新模型,。MoE-Mamba在提升SSM與MoE效率方面表現(xiàn)出色，同時(shí)該團(tuán)隊(duì)還發(fā)現(xiàn),，當(dāng)專家數(shù)量發(fā)生變化時(shí),，MoE-Mamba的行為模式具有可預(yù)測(cè)性，為相關(guān)領(lǐng)域的研究與應(yīng)用提供了有力支持,。中科大等研究人員巧妙地將Mamba與視覺研究相融合,，創(chuàng)新性地提出了Vim架構(gòu)。在ImageNet分類任務(wù),、COCO對(duì)象檢測(cè)任務(wù)以及ADE20k語(yǔ)義分割任務(wù)上,，Vim相較于成熟的視覺Transformers如DeiT，展現(xiàn)出了卓越的性能優(yōu)勢(shì),，并且在計(jì)算和內(nèi)存效率方面取得了顯著的提升,。例如，在對(duì)分辨率為1248×1248的圖像進(jìn)行批量推理提取特征時(shí),，Vim的運(yùn)行速度較DeiT快了高達(dá)2.8倍,，同時(shí)節(jié)省了驚人的86.8%的GPU內(nèi)存。

華為諾亞方舟實(shí)驗(yàn)室的研究團(tuán)隊(duì)同樣在探索前沿領(lǐng)域,，他們提出了DenseMamba,，旨在增強(qiáng)SSM中各層間隱藏信息的流動(dòng)。DenseMamba通過(guò)精心設(shè)計(jì)的機(jī)制,，將淺層的隱藏狀態(tài)有選擇性地整合到深層中,，從而保留了對(duì)于最終輸出至關(guān)重要的精細(xì)信息,。這一方法不僅維持了訓(xùn)練的并行性和推理的效率，還通過(guò)密集連接的方式實(shí)現(xiàn)了性能的提升,。DenseMamba的靈活性和通用性使其能夠廣泛應(yīng)用于各種SSM類型,，如Mamba和RetNet。

浙江大學(xué)則在多模型大模型領(lǐng)域取得了突破性進(jìn)展,，他們結(jié)合Mamba提出了Cobra,，一個(gè)具備線性計(jì)算復(fù)雜度的MLLM。Cobra巧妙地將Mamba語(yǔ)言模型融入到視覺模態(tài)中,，從而在保持高性能的同時(shí)實(shí)現(xiàn)了更快速的運(yùn)算速度,。尤其在處理視覺錯(cuò)覺和空間關(guān)系判斷等復(fù)雜任務(wù)時(shí)，Cobra展現(xiàn)出了卓越的表現(xiàn),。值得一提的是,，cobra的參數(shù)量?jī)H為L(zhǎng)LaVA的43%，但其性能卻與之相當(dāng),。

AI21 Labs則引領(lǐng)了一場(chǎng)技術(shù)革新,，他們推出了開源的Jamba新方法，這一方法在多個(gè)基準(zhǔn)測(cè)試中超越了傳統(tǒng)的Transformer,。Jamba充分發(fā)揮了Mamba SSM架構(gòu)在解決Transformer內(nèi)存資源和上下文問(wèn)題上的優(yōu)勢(shì),，同時(shí)彌補(bǔ)了Mamba在輸出水平上的不足。通過(guò)將基于結(jié)構(gòu)化狀態(tài)空間模型(SSM)的Mamba模型與Transformer架構(gòu)相融合,，Jamba成功地將SSM和Transformer的最佳屬性集結(jié)于一身,。實(shí)驗(yàn)結(jié)果表明，Jamba在長(zhǎng)上下文處理上的吞吐量達(dá)到了Mixtral 8x7B的3倍,，并且相較于同等規(guī)模的基于Transformer的模型,，Jamba在效率上更勝一籌。

大模型高效微調(diào)(LoRA)

在大模型微調(diào)領(lǐng)域，研究者們探索了多種策略以應(yīng)對(duì)計(jì)算資源有限和災(zāi)難性遺忘等問(wèn)題,。其中,，全量微調(diào)涉及對(duì)預(yù)訓(xùn)練模型的所有參數(shù)進(jìn)行調(diào)整，雖然能夠提升特定任務(wù)的性能,，但所需計(jì)算資源龐大且可能損害模型在其他領(lǐng)域的表現(xiàn),。

為了克服這些挑戰(zhàn)，參數(shù)高效微調(diào)（PEFT）技術(shù)應(yīng)運(yùn)而生,。PEFT通過(guò)僅更新模型中的關(guān)鍵參數(shù)來(lái)降低訓(xùn)練時(shí)間和計(jì)算成本,，同時(shí)保持或提升模型性能。這一技術(shù)家族包括多種方法，如Prefix Tuning,、Prompt Tuning,、P-Tuning、Adapter Tuning以及LoRA等,。這些方法旨在提高訓(xùn)練效率,，同時(shí)保持模型的泛化能力。

在廣泛應(yīng)用的PEFT方法中,，LoRA及其變體因無(wú)需額外的推理成本而備受青睞。LoRA通過(guò)引入低秩矩陣來(lái)模擬全模型微調(diào)的效果,，顯著降低了微調(diào)成本并實(shí)現(xiàn)了與全模型微調(diào)相近的性能,。因此，LoRA及其改進(jìn)方法已成為當(dāng)前研究的熱點(diǎn),。這些研究的重點(diǎn)包括提高參數(shù)效率,、優(yōu)化微調(diào)策略、擴(kuò)展上下文處理能力以及實(shí)現(xiàn)模型壓縮等方面,。英偉達(dá)推出了權(quán)重分解低階適應(yīng)（DORA）技術(shù),，顯著提升了LoRA的學(xué)習(xí)效能與訓(xùn)練穩(wěn)定性，且無(wú)需額外增加推理成本,。多項(xiàng)實(shí)驗(yàn)數(shù)據(jù)充分證實(shí),，DORA在多種下游任務(wù)模型微調(diào)方面的表現(xiàn)均超越LORA，展現(xiàn)出卓越的性能,。

華盛頓大學(xué)推出的QLORA算法,，在保持完整的16位微調(diào)任務(wù)性能的同時(shí)，成功實(shí)現(xiàn)單卡48G GPU對(duì)650億參數(shù)大模型的微調(diào),。研究團(tuán)隊(duì)還發(fā)布了他們精心訓(xùn)練的Guanaco系列模型,，該系列在Vicuna基準(zhǔn)測(cè)試中表現(xiàn)突出，僅需單個(gè)GPU微調(diào)24小時(shí),，即可達(dá)到ChatGPT性能水平的99.3%,，令人矚目。

為了突破Token上下文長(zhǎng)度的限制,，MIT提出了LongLORA微調(diào)算法,。該算法在資源受限的情況下，能夠顯著擴(kuò)展預(yù)訓(xùn)練大模型（LLMS）的上下文長(zhǎng)度,，將LLaMA2-7B的上下文從4K擴(kuò)展至驚人的100K,，進(jìn)一步提升了模型的適用性與靈活性。

斯坦福大學(xué)則推出了S-LORA系統(tǒng),，專為L(zhǎng)ORA適配程序的可擴(kuò)展服務(wù)設(shè)計(jì),。該系統(tǒng)將適配程序存儲(chǔ)在主內(nèi)存中，并將當(dāng)前查詢所需的適配程序加載至GPU內(nèi)存中,，從而實(shí)現(xiàn)了在單個(gè)或多個(gè)GPU上以較低開銷為數(shù)千個(gè)LORA適配器提供服務(wù)的能力（同時(shí)支持2000個(gè)適配器）,，極大地降低了LORA計(jì)算開銷,。相較于LLM-packed需要維護(hù)多個(gè)權(quán)重副本且受限于GPU內(nèi)存，S-LORA無(wú)疑展現(xiàn)出了更強(qiáng)大的服務(wù)能力與可擴(kuò)展性,。

MoE（Mixed Expert Models）

MoE（Mixed Expert Models）技術(shù)雖然并非全新概念,，但近年來(lái)隨著大模型參數(shù)規(guī)模的不斷擴(kuò)大及多任務(wù)應(yīng)用的普及,，這項(xiàng)技術(shù)已成為研究的熱點(diǎn)。MoE的核心優(yōu)勢(shì)在于能夠在有限的計(jì)算資源下,，以更少的訓(xùn)練步數(shù)訓(xùn)練更大規(guī)模的模型,，同時(shí)保持較低的推理成本，展現(xiàn)出良好的擴(kuò)展性與多任務(wù)學(xué)習(xí)能力,。特別是其在預(yù)訓(xùn)練階段,，相比Dense模型，MoE模型通常能夠更快地達(dá)到相同的質(zhì)量水平,。

在MoE領(lǐng)域,，Google提出的Switch Transformers通過(guò)簡(jiǎn)化路由算法和直觀的模型改進(jìn)，有效地緩解了模型復(fù)雜性高及下游任務(wù)微調(diào)不穩(wěn)定等問(wèn)題,。該方案降低了通信和計(jì)算成本,，提高了訓(xùn)練穩(wěn)定性，并展示了使用低精度格式訓(xùn)練大型稀疏模型的可能性,。

此外,，北大團(tuán)隊(duì)也對(duì)MoE路由機(jī)制進(jìn)行了優(yōu)化，提出了一種創(chuàng)新的動(dòng)態(tài)Expert選擇框架,。該框架能夠根據(jù)任務(wù)難度動(dòng)態(tài)調(diào)整Expert數(shù)量,，從而實(shí)現(xiàn)計(jì)算資源的有效利用。實(shí)驗(yàn)結(jié)果表明,，該動(dòng)態(tài)路由方法在各種基準(zhǔn)測(cè)試中均優(yōu)于傳統(tǒng)的Tp-2路由方法,，平均提升0.7%，同時(shí)參數(shù)激活率低于90%,，展現(xiàn)了其在實(shí)際應(yīng)用中的優(yōu)勢(shì),。微軟為解決MoE專家激活率低等問(wèn)題，匠心獨(dú)具地提出了多頭混合專家（MH-MOE）的創(chuàng)新解決方案,。MH-MOE采用多頭機(jī)制,，巧妙地將每個(gè)輸入token細(xì)分成多個(gè)子token，隨后將這些子token分配給多樣化的專家團(tuán)隊(duì)進(jìn)行并行處理,。處理完成后,，這些子token又能夠無(wú)縫地整合回原token的形態(tài)，使得專家激活率顯著提升，同時(shí)展現(xiàn)出卓越的擴(kuò)展性,。此外,，MH-MOE還具備更細(xì)粒度的理解能力，讓模型在處理復(fù)雜任務(wù)時(shí)更加得心應(yīng)手,。

ByteDance則針對(duì)大模型多模態(tài)場(chǎng)景推出了CuMo,，將MOE成功應(yīng)用于多模態(tài)LLM領(lǐng)域。CuMo在視覺編碼器和多層感知器（MLP）連接器中融入了Top-K稀疏門控MOE塊,，有效提升了模型在多模態(tài)任務(wù)上的性能表現(xiàn),。同時(shí)，該方法還成功維持了較低的推理成本,，使得模型在實(shí)際應(yīng)用中更加高效實(shí)用,。在不同模型尺寸的多模態(tài)任務(wù)基準(zhǔn)測(cè)試中，CuMo均取得了顯著的SOTA成績(jī),，展現(xiàn)出其卓越的性能優(yōu)勢(shì)。