久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

一文說清:大模型AI Agent在企業(yè)應用中的6種基礎類型

 天承辦公室 2024-01-09 發(fā)布于北京
圖片
圖片

在上一篇文章《ToB才是真正的破局點,?AI Agent智能體在企業(yè)落地與應用的場景及架構探討》中,對AI Agent智能體在企業(yè)應用中落地的價值,、場景,、成熟度做了分析,并且探討了未來企業(yè)IT基礎設施與架構如何為未來Gen AI(生成式AI)做好準備,。在這樣的架構中,,我們把最終體現(xiàn)上層應用能力的AI Agent從不同的技術要求與原理上分成了幾類:

  • 創(chuàng)作與生成類助手

  • 企業(yè)知識助手

  • 數(shù)據(jù)分析助手

  • 應用/工具助手

  • Web操作助手

  • 自定義流程助手

本篇將對這幾類AI助手分別做進一步探討,。

PART\

01

圖片

創(chuàng)作與生成類助手

大模型是生成式AI的基礎,因此,,理解,、創(chuàng)作與生成內容是其強項也是最基本的能力。在C端市場,,大量的生成類AI工具已經(jīng)遍地開花(包括圖片,、視頻、音樂),,也是目前最成熟的一種應用形式,。需要注意的是,在C端工具中,,我們也經(jīng)??吹礁鞣N形式的簡單“助手”:

圖片

這里的助手與我們這里探討的企業(yè)應用中的AI Agent有一定的區(qū)別:

圖片

AI Agent是一個以任務驅動的具備自主能力的智能體,不僅需要大模型這個核心“大腦”,,也需要任務規(guī)劃,、記憶與外部工具使用等能力。而我們??吹降膫€人AI助手大部分是基于預設提示詞的大模型問答B(yǎng)ot,,在不借助其他插件時,通常不具備工具使用能力,。

圖片

當前在企業(yè)應用中以內容創(chuàng)作生成為主要能力的AI Agent從技術上至少有兩種:

1,、單Agent的內容生成。簡單地將大模型的生成能力通過API集成到其他應用與業(yè)務流程中,,替代或簡化原來由人工完成的部分工作,。比如:

  • 在線培訓管理系統(tǒng)中,利用AI自動根據(jù)課件創(chuàng)建考題/考卷

  • 在數(shù)字營銷流程中,,利用AI生成精確營銷話術甚至撰寫營銷方案

  • 市場分析的AI Agent基于互聯(lián)網(wǎng)搜索或開放數(shù)據(jù)生成市場分析報告

  • 電子商務企業(yè)借助AI自動批量生成商品摘要

  • 媒體行業(yè)通過AI生成新聞摘要,;學術平臺借助AI生成論文摘要

這種類型的AI助手簡單的借助Prompt工程即可實現(xiàn)(與C端個人助手并無本質區(qū)別):

圖片

2、基于多Agent協(xié)作(可能還有人類)的內容生成,。典型的為虛擬機器人軟件公司,由AI Agent擔任多個軟件開發(fā)崗位,,通過相互協(xié)作完成某個軟件開發(fā)任務,。

這種多Agent協(xié)作型的助手可以借助Multi-Agents框架來簡化開發(fā)與實現(xiàn)。比如MetaGPT,,可以根據(jù)自然語言描述的開發(fā)任務,,組建Agent團隊(PM、架構師,、程序員,、QA等),,遵循SOP并最終輸出完整軟件開發(fā)的成果(文檔、代碼,、API說明等),。

圖片

其他支持多Agent的開源框架包括微軟的AutoGen,xAgents等,。

PART\

02

圖片

企業(yè)知識助手

當前較為成熟的一種Agent類型,。通俗地說,就是在企業(yè)應用中,,通過“外掛”私有知識庫來擴充大模型的知識儲備,,以提供基于自然語言的、對話式的企業(yè)私有知識訪問(對應到AI Agent的基本能力之一:持久化記憶),,以解決通用大模型在面向企業(yè)應用時領域知識不足導致的幻覺問題,。

知識助手通常借助于大模型的RAG(檢索增強生成)方案來實現(xiàn),其本質上也是一種提示工程:借助于在大模型輸入時攜帶相關的私有知識上下文,,讓大模型理解,、總結、整理并回答用戶問題,。只是這里的私有知識上下文需要借助嵌入模型(Embedding Model),、向量數(shù)據(jù)庫(Vector Store)、文檔加載分割(Document Loader&Splitter)等相關技術來獲得,。

知識助手的技術實現(xiàn)基礎架構如下:

圖片

基于RAG方案的AI助手實現(xiàn)可以自行通過代碼直接實現(xiàn),,當然,為了簡化開發(fā)與管理過程,,推薦使用的工具包括:

  • LangChain或者LlamaIndex大模型主流應用開發(fā)基礎框架,。這兩個基礎框架對大量的模型、文檔加載器,、向量數(shù)據(jù)庫,、嵌入模型等做了抽象封裝,并對RAG應用過程中的知識檢索,、Prompt組裝等過程做了簡化,,可以大大簡化開發(fā)過程。

圖片

  • 另一類是具備一定開箱即用能力的RAG應用構建平臺,。相對基礎開發(fā)框架來說,,提供了更完善的RAG應用構建工具,比如私有知識庫的管理維護,、測試,、對話流程編排、提示詞自定義等能力,。這里推薦兩個項目,,一個是基于Langchain構建的Langcahin-Chatchat,;另一個是FastGPT,后者有用于商業(yè)運營的SaaS應用,,可以自行體驗,。

PART\

03

圖片

數(shù)據(jù)分析助手

數(shù)據(jù)分析與商業(yè)智能(BI)在中大型企業(yè)的日常運營中的重要性毋庸置疑,無論是簡單的財務數(shù)據(jù)分析,,還是復雜的客戶與運營數(shù)據(jù)洞察,,都需要借助專業(yè)的工具。傳統(tǒng)BI工具使用門檻高,、過度依賴技術部門,、結果產(chǎn)出周期長的問題在AI時代可以借助大模型的能力得以緩解。

基于大模型的數(shù)據(jù)分析助手(Data Agent)是在企業(yè)應用中通過將自然語言轉換成數(shù)據(jù)分析的語言或代碼,,比如對API的調用,、對數(shù)據(jù)庫的訪問、甚至編寫數(shù)據(jù)分析代碼,,來達到獲取數(shù)據(jù),、分析數(shù)據(jù)與可視化結果的目的。其實現(xiàn)基礎架構與原理如下:

圖片

無論是對本地的Excel數(shù)據(jù)文件分析,,或者對數(shù)據(jù)庫中的關系型數(shù)據(jù)分析,,又或者對互聯(lián)網(wǎng)的非結構化數(shù)據(jù)分析,當前大模型實現(xiàn)數(shù)據(jù)分析的技術途徑基本以這三種方式為主,,自然語言轉API,、轉SQL、以及代碼解釋器(轉代碼),。

圖片

數(shù)據(jù)分析助手我們在之前的文章中有詳細闡述,,請參考閱讀:

構建Data Agent:探討企業(yè)應用中基于大模型的交互式數(shù)據(jù)分析及方案【上】

構建Data Agent:探討企業(yè)應用中基于大模型的交互式數(shù)據(jù)分析及方案【中】

構建Data Agent:探討企業(yè)應用中基于大模型的交互式數(shù)據(jù)分析及方案【下】

圖片

這里推薦幾個除Langchain之外構建數(shù)據(jù)分析助手的工具與項目:

  • DB-GPT:一個國內團隊的以重新定義數(shù)據(jù)交互為使命的強大開源項目,包含完整的前后臺項目實現(xiàn),,實現(xiàn)了多場景下的交互數(shù)據(jù)分析,。包括數(shù)據(jù)庫分析、Excel分析,、儀表盤分析等,,該項目的另一個特點是后端大模型的可伸縮管理架構。另外還有一個專注于微調Text2SQL模型與評估的開源項目,。

  • OpenAgents:一個來自香港團隊的開源項目,,Data Agent是其中一個重要的Agent實現(xiàn)。當前主要實現(xiàn)了對本地結構化數(shù)據(jù)文檔的數(shù)據(jù)分析,,其特點是提供了兩種數(shù)據(jù)分析方法供選擇,一種是基于SQL,,一種是基于代碼解釋器,。

  • OpenInterpreter:當前最強大的開源代碼解釋器,,完美地復刻了OpenAI的代碼解釋器實現(xiàn),但是可以完全在本地部署與使用,,利用它來實現(xiàn)本地的數(shù)據(jù)分析與可視化是一個不錯的選擇,。

需要注意的是:數(shù)據(jù)分析助手嚴重依賴大模型對自然語言轉數(shù)據(jù)操作的能力(SQL或Python代碼等)。當然條件下,,即使是針對這種場景專門優(yōu)化的模型與提示工程,,其失敗概率也很高(比如Text2SQL目前最高成功率在80%左右)。因此,,在實際實施中需要根據(jù)場景,、復雜性、可靠性要求做綜合評估,。

PART\

04

圖片

應用/工具助手

企業(yè)應用中的AI助手很多時候需要與現(xiàn)有應用(CRM,、OA系統(tǒng))做集成與交互,以完成某個用戶任務或者驅動業(yè)務流程,。比如:如果你需要AI幫你在協(xié)同辦公系統(tǒng)中提交一個付款申請,,那么你需要調用辦公系統(tǒng)的接口;或者你需要借助互聯(lián)網(wǎng)獲得最新某上市公司的財務報告,,你需要調用第三方平臺的公開接口,。這就是AI Agent另一項重要能力:工具使用。

AI應用/工具助手就是能夠把自然語言轉換成對企業(yè)應用或者互聯(lián)網(wǎng)開放API調用的一種基礎Agent形式,。當然,,在復雜任務場景下的這種調用往往不是單一的。其基礎架構與原理:

圖片

應用助手的基本原理是比較簡單的,,其復雜性主要體現(xiàn)在大模型對自然語言轉API的能力,,在實際使用中,其主要體現(xiàn)以下兩個方面:

  • 能否根據(jù)上下文理解,,精確匹配到需要使用的API(一個或者多個)

  • 能否準確地提取或生成每個API的調用參數(shù)

在實際測試中我們發(fā)現(xiàn)不同的大模型在這方面的能力是有較大的差異的,,而且即使是最優(yōu)秀的模型,也存在一定的不確定性,,比如有時候無法判斷出正確的工具,。

在構建企業(yè)基于大模型的應用助手時,有一些工程問題是需要考慮的,,這些問題在做原型或者測試時容易被忽視:

  • 企業(yè)中API過多的優(yōu)化方案,。由于需要通過Prompt提示LLM這些API信息,過多的API描述可能會導致上下文溢出,;而且大量的API相互干擾,,會提高大模型推理時的錯誤率。之前我們介紹過一種優(yōu)化方案:借助向量庫語義搜索,每次只檢索出本次任務相關的API描述,,再交給LLM處理,。

圖片

  • 需要設計一個標準化的、容易擴展,、易于插拔的工具/插件架構,。即能夠靈活快速地擴展Agent的“工具包”,在增加新的工具時,,通過簡單的配置甚至自動化生成,,即可給Agent動態(tài)賦予新的工具能力。

構建應用助手的一些工具和項目推薦:

  • LangChain:LangChain中的Agent組件,,通過組裝多個Tools,,封裝與簡化了大模型使用工具的過程,可以讓你專注于Tools的創(chuàng)建即可,。

  • Assistants API:這是OpenAI官方最新放出構建AI助手的API,,如果你條件具備,也可以基于此構建企業(yè)AI助手,,充分利用其強大的gpt4模型,。其中對工具的使用主要體現(xiàn)在其對Function Calling功能的支持。

  • OpenAgents:該項目中的Plugins Agent實現(xiàn)了對大量開放API的智能使用,,并且可以靈活配置增加新的Plugin,,可以參考其實現(xiàn)。

  • 集簡云:類似海外Zapier的平臺,。該平臺對接了國內大量的SaaS應用與互聯(lián)網(wǎng)平臺作為“工具”,。因此,你可以通過簡單的配置后,,在你的AI助手中通過API來對接這些工具,,可以大大拓展你的AI助手的“工具庫”。

PART\

05

圖片

Web助手

一種類似RPA(機器人流程自動化)的AI智能體,。其主要能力是自動化Web網(wǎng)絡瀏覽,、操作與探索的動作與過程,以簡化web瀏覽訪問與操作,。對于個人來說,,可以作為個人數(shù)字助理,簡單對話即可讓AI幫你完成Web瀏覽與操作,,比如在線訂票,。而對于企業(yè)來說,則可以作為企業(yè)的數(shù)字員工,,來簡化企業(yè)日常工作中重復性較高,、流程與規(guī)則固定、大批量的前端操作性事務。比如批量訂單處理,、批量客戶聯(lián)絡,、批量網(wǎng)站抓取等,提高效率,,降低錯誤率。

圖片

傳統(tǒng)的RPA機器人也是用來完成此類工作的AI形式,,由于這種AI機器人工作在軟件的最上層即操作層面,,好處是流程直觀、簡單,、也可以配置化,,且對應用無侵入性;但其缺點是與前端應用耦合性大,,每個任務需要根據(jù)前端應用界面做精心配置與調試,,自適應能力較差。

在大模型出現(xiàn)以后,,給這一類RPA智能也帶來了新的優(yōu)化空間,。利用大模型的理解與分析推理能力,可以讓AI更加智能的規(guī)劃與分解任務過程,,然后借助瀏覽器完成執(zhí)行,;且在未來可以利用像GPT-4V這樣的視覺模型,更智能的理解界面元素與功能,,實現(xiàn)完全自主的智能操作,,具備更強的自適應能力。

實現(xiàn)一個自主Web操作的Agent的基礎原理與架構:

圖片

構建一個真實應用的Web Agent需要借助瀏覽器自身能力,。由于外部應用無法直接接管瀏覽器實現(xiàn)操作,,一般需要借助瀏覽器插件,比如Chrom擴展,,借助瀏覽器API完成網(wǎng)站導航與自動化網(wǎng)頁操作,,比如點擊界面元素,或者輸入表單,。

我們前面介紹到的OpenAgents項目中的Web Agent是一個基于Chrom瀏覽器與擴展而實現(xiàn)的一個LLM Agent,,可以參考用作參考。

當然由于大模型的輸出不確定性,,當前的Web Agent仍然處于探索實驗階段,,具有較大的失敗或誤操作可能,實際應用中需要根據(jù)情況反復測試與評估,。

PART\

06

圖片

自定義流程助手

最后一種AI Agent嚴格來說是上面的幾種基礎Agent能力的組合,。

理想中的AI Agent是在丟給他一個工具包與一些知識以后,借助于大模型的理解、推理能力,,完全自主的規(guī)劃與分解任務,,設計任務步驟,并智能的使用各種工具,,檢索知識,,輸出內容,完成任務,。但是在企業(yè)應用中,,由于企業(yè)知識、應用,、業(yè)務需求的千差萬別,,以及大模型自身的不確定性,如果這么做,,那么結果很可能是“開盲盒”一樣的不可控,。所以這也是越來越多的Agents項目要強調可控性的原因,即能夠對AI智能體的執(zhí)行過程與細節(jié)進行更多的控制,,來讓AI按照人類確認過的工作流程來完成任務,。

比如之前我們介紹的HR簡歷自動化篩選的場景中,你可能需要更加細致的去定義整個自動化工作流程,,包括:

  • 主要的工作步驟與目標設定

  • 每個步驟使用的大模型

  • 每個步驟可以使用的工具

  • 可以輸入與攜帶的知識與文檔

  • 其他必要的限定與指令

圖片

在實際應用中,,這樣基于LLM的工作流既可以是直接面向使用者的對話機器人來觸發(fā);也可以是完全后臺觸發(fā),。

實現(xiàn)這樣的自動化工作流程AI智能體,,除了借助Langchain/LlamaIndex這樣的LLM開發(fā)框架直接定制外,還可以參考或利用一些開源項目:

  • 借助類似Flowise或者FastGPT這樣的具有LLM流程可視化編排能力的框架或平臺,,可以更加直觀簡單地定制任務流程

  • 借助類似SuperAGI這樣可快速簡單化定制LLM流程的Agent框架來實現(xiàn)

圖片

PART\

07

圖片

結束語

以上,,我們對企業(yè)應用中的大模型AI Agent從技術原理層面區(qū)分的幾種類型做了簡單探討。實際上這里的每一種類型也都是一個可以深入的復雜話題,,其中部分類型在之前的文章中也展開深入過,,后續(xù)我們也會關注AI Agent技術趨勢與發(fā)展,并在未來做持續(xù)分享,。

圖片

END



點擊下方關注我,,不迷路



點擊使用AI小助手

圖片

    本站是提供個人知識管理的網(wǎng)絡存儲空間,,所有內容均由用戶發(fā)布,,不代表本站觀點,。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,,謹防詐騙,。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報,。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多