眾所周知,，?模型代表了??智能技術(shù)的前沿發(fā)展,。它以強?的語?理解和?成能?，正在重塑許多領(lǐng)域,。但是從獲得?模型的 API 接?,，到將模型應(yīng)?于實際?產(chǎn)之間，存在巨?的鴻溝,，到底要解決哪些問題才能實現(xiàn)真正的跨越,？

本文整理自 8 月 12 日「NPCon：AI模型技術(shù)與應(yīng)用峰會」上，來自 Dify.AI 創(chuàng)始人張路宇《LLM 應(yīng)用技術(shù)棧與Agent全景解析》的分享,，介紹了當前大模型技術(shù)應(yīng)用技術(shù)棧以及 Agent 技術(shù)的應(yīng)用場景和發(fā)展趨勢,。

五,、LLMOps 是如何解決這些問題的？

備注：現(xiàn)場視頻請查閱「CSDN視頻號」,，直播回放（56:30處起）

Prompt?程化：代碼與模型解耦

獲得?個?模型 API 之后,，開發(fā)者需要通過編寫代碼對 Prompt 進?不斷調(diào)試和迭代優(yōu)化。

LLM應(yīng)用工程的演進路線

但是這種?式存在以下兩個核?問題:

1,、Prompt 與代碼?度耦合,。?個好的 Prompt 需要?時間的調(diào)試和優(yōu)化才能達到預(yù)期效果，但與此同時,，實現(xiàn) Prompt 的代碼通常很簡單,，只是起到?個邏輯串聯(lián)的作?。這導(dǎo)致 Prompt ?程師和開發(fā)者的?作?法有效分離,，整個開發(fā)過程效率低下,。

2、對?技術(shù)?員完全不友好。Prompt 的調(diào)試實際上需要語?和領(lǐng)域?qū)＜疫M?語義上的迭代優(yōu)化,。但是傳統(tǒng)的代碼開發(fā)?式將 Prompt 封裝在代碼邏輯中,，使得語?專家和?技術(shù)?員?法參與 Prompt 開發(fā)和優(yōu)化過程，?法發(fā)揮他們的專?,。

這樣的開發(fā)?式導(dǎo)致 Prompt ?程很難落地,。我們需要實現(xiàn) Prompt 與代碼的解耦，以更好地發(fā)揮語?專家和?技術(shù)專家的作?,，讓 Prompt ?程像其他軟件?程流程?樣實現(xiàn)??分?,、協(xié)作開發(fā)。同時,，我們還需要使?更易?的界?與?具,，降低?技術(shù)?員的使??檻，讓他們也能參與 Prompt 開發(fā)和持續(xù)優(yōu)化,，發(fā)揮各?的專業(yè)價值,。

私有化數(shù)據(jù)接?：持續(xù)更新與調(diào)整

?模型都是通過公開可?的數(shù)據(jù)集進?預(yù)訓(xùn)練的，對單次輸??度也存在限制,，?般在 4000 個 Token 左右。這使得開發(fā)者?法直接利?企業(yè)內(nèi)部的專有數(shù)據(jù)來豐富模型的應(yīng)?語境,，構(gòu)建針對業(yè)務(wù)場景優(yōu)化的 AI 應(yīng)?,。

要實現(xiàn)私有化數(shù)據(jù)的有效利?存在以下困難:

• 微調(diào)整個模型需要?量標注數(shù)據(jù)、GPU 算?和時間成本,。這對?部分?來說不現(xiàn)實也不可?,。

• 簡單的?本匹配?式效果很有限。將??問題與?檔?段簡單匹配,，容易產(chǎn)?語義偏差,，?法精準理解??意圖。

• ??本 Inputs 也難以直接接?模型,，需要切分嵌?,。

• ?法進?持續(xù)數(shù)據(jù)接?和更新，模型語境脫離最新業(yè)務(wù),。

?如利?問答對進?匹配,，?不是簡單的上下??段，具體步驟是:

1.使?語義匹配技術(shù)對?檔庫進?劃分,，?成問答對

2.將??查詢與問答對庫匹配,，找到匹配程度最?的問答對

3.提取該問答對的答案作為回復(fù)

這種匹配?式充分利?了問答對的雙向互證關(guān)系，能?幅提升匹配精確度,，使模型理解??意圖的能?上?個臺階,。與此同時，還需要?動化處理??本的分割和向量嵌?，以便?效輸?模型,。

然?即使這樣?個?常簡單的能?,，在實際開發(fā)中都會有很多?程細節(jié)。

Agent 的演進：?動化編排

AI 提?效率的進程,，是從輔助你更快地完成?件事?直接幫你完成?件事?替代?個?,。也是 Agnet 從純??編排到?主編排的演進過程。

要實現(xiàn)?個真正智能且?動化的 Agent,，需要解決多輪復(fù)雜對話中的?動化推理和執(zhí)?問題,。主要?臨以下挑戰(zhàn)：

1、?動化規(guī)劃：分解對話?標及完成任務(wù)所需的多個步驟,，進?動態(tài)規(guī)劃,。

2、提?記憶?：合理利??期記憶知識庫和多輪對話短期記憶,，?不是單輪獨?推理,。

3、?具使?：?縫調(diào)?外部?具和服務(wù),，實現(xiàn)復(fù)雜任務(wù)?標,。

4、不斷總結(jié)反思：關(guān)注對話過程,，總結(jié)經(jīng)驗,，改進下?輪回復(fù)。

5,、多輪細致推理：進?跨輪的深度推理,，?不只是淺層次單輪推理。

6,、?動執(zhí)?：根據(jù)推理結(jié)果,，完成真實世界的任務(wù)和?動。

要實現(xiàn)這些能?,，關(guān)鍵是以特定格式組織對話過程,，引導(dǎo)模型進?結(jié)構(gòu)化推理。包括??語句,、過往對話記憶,、?具調(diào)?以及反思等知識。還需要不斷學(xué)習(xí)和優(yōu)化這種過程表?,，以產(chǎn)出更?質(zhì)量的對話與?動執(zhí)?,。

我們最終會丟掉 LangChain 這本教科書

LangChain 在?模型應(yīng)?開發(fā)學(xué)習(xí)中?疑是教科書級的存在，它提供了完善的模型連接器,、Prompt 模板,、Agent 抽象概念等?檔,。但從產(chǎn)品化應(yīng)??度，它也存在?些局限：

• LangChain 更偏向代碼庫,，與業(yè)務(wù)系統(tǒng)集成困難,，?法直接應(yīng)?于產(chǎn)品。

• 復(fù)雜的概念需要?量學(xué)習(xí)成本,，?檻較?,。

• ?具集成脆弱，直接應(yīng)?效果有限,，模型?持存在鴻溝,。

• 缺乏運營管理功能，不適合?技術(shù)?員使?,。

• ?法進?持續(xù)優(yōu)化和數(shù)據(jù)迭代,。

LangChain 讓我們充分認識到?模型應(yīng)?開發(fā)的復(fù)雜性。但從代碼庫到產(chǎn)品,，還需要進?步的框架和?具?持,。每個?都要學(xué)習(xí) LangChain，但最終都會丟掉它,。

LLMOps是如何解決這些問題的,？

?對上述種種難題，是否存在?個?具或平臺,，可以幫助我們簡化基于?模型構(gòu)建應(yīng)?的過程呢,？

LLMOps(LargeLanguageModelOperations) 應(yīng)運??。

LLMOps 是?個涵蓋?模型開發(fā),、部署,、優(yōu)化等全流程的最佳實踐,。它的?標是通過流程化和?具化,，簡化和降低基于?模型應(yīng)?開發(fā)的?檻，解決數(shù)據(jù),、Prompt,、Agent ?動化等難題，使任何組織和開發(fā)者都可以?效地利??模型技術(shù),。

?如 Dify,，它作為 LLMOps 理念的具體實踐產(chǎn)品，成功地解決了從?模型到實際應(yīng)?之間的鴻溝,實現(xiàn)了理論到現(xiàn)實的轉(zhuǎn)化,。

在 Prompt ?程化??,，Dify 通過可視化編輯實現(xiàn)了 Prompt 與代碼的解耦，降低了學(xué)習(xí)?檻,，提?了協(xié)作效率,，讓更多??也能參與 Prompt ?程,。

在私有化數(shù)據(jù)利???，Dify 通過?動化的數(shù)據(jù)處理流程,，實現(xiàn)了私有數(shù)據(jù)的?效注?,，增強了模型的業(yè)務(wù)適配性。

在 Agent 的?動化??,，Dify 提供了完整的 Agent 構(gòu)建框架,，??簡化了?動化推理系統(tǒng)的開發(fā)。

通過 Dify.AI 等 LLMops 開發(fā)工具,，可以有效解決以下問題：

• 所?即所得的 Prompt ?程,，?持?技術(shù)?員實時調(diào)試和優(yōu)化。

• 數(shù)據(jù) 0 代碼化準備,，?持快速數(shù)據(jù)清洗,、分段和集成。

• ?動化??本分割,、嵌?和上下?存儲,。

• ?鍵應(yīng)?部署，實時監(jiān)控和?志追蹤,。

• 國內(nèi)外多模型可插拔組件化,，?持GPT、Claude,、MiniMax,、百川BaiChuan、訊?星?等,，選擇更加靈活,。

• ?持托管在 HuggingFace 及 Replicate 上的開源模型，如 Llama2,。

• Agent 實驗室：智聊,，推出了??瀏覽、Google 搜索,、Wikipedia 查詢等第??插件,。并與開發(fā)者共建?主 Agent、插件開發(fā),、多模態(tài)等新能?探索,。

• 多?協(xié)作開發(fā)和組織管理。

• 快速對接業(yè)務(wù)系統(tǒng),，提供 API 接?即服務(wù),。

LLMOps 正將?模型技術(shù)從理想主義的概念，逐步引領(lǐng)?現(xiàn)實的應(yīng)?落地,。它極?降低了基于?模型應(yīng)?開發(fā)的?檻,，提供了從理論到實踐的?縫過渡與落地,。