LLMs之Agent：Magentic-One的簡介,、安裝和使用方法、案例應(yīng)用之詳細(xì)攻略

導(dǎo)讀：微軟研究院的文章介紹了 Magentic-One，一個(gè)用于解決復(fù)雜任務(wù)的通用型多智能體系統(tǒng),。

>> 背景痛點(diǎn)：

● AI 從對(duì)話到行動(dòng)的轉(zhuǎn)變：當(dāng)前的 AI 系統(tǒng)主要集中在對(duì)話生成，而實(shí)際應(yīng)用中更需要 AI 系統(tǒng)能夠自主完成任務(wù)（agentic AI）,。這需要 AI 系統(tǒng)具備感知、推理和行動(dòng)的能力,。

● 現(xiàn)有智能體系統(tǒng)的局限性：現(xiàn)有的 AI 智能體系統(tǒng)在特定領(lǐng)域表現(xiàn)出色，但缺乏通用性，難以可靠地完成跨多個(gè)領(lǐng)域的復(fù)雜多步驟任務(wù),。 單一智能體系統(tǒng)通常工作流程不靈活，難以擴(kuò)展。

>> 具體的解決方案：微軟提出了 Magentic-One，一個(gè)高性能的通用型智能體系統(tǒng)，它采用多智能體架構(gòu)來解決復(fù)雜任務(wù),。

● 多智能體架構(gòu)：Magentic-One 包含一個(gè)協(xié)調(diào)者?(Orchestrator) 智能體和四個(gè)專業(yè)智能體?(WebSurfer, FileSurfer, Coder, ComputerTerminal),。

● 協(xié)調(diào)者 (Orchestrator) 的角色：協(xié)調(diào)者負(fù)責(zé)任務(wù)分解、規(guī)劃、協(xié)調(diào)其他智能體執(zhí)行子任務(wù),、跟蹤進(jìn)度以及糾正錯(cuò)誤,。它通過維護(hù)任務(wù)日志 (Task Ledger) 和進(jìn)度日志 (Progress Ledger) 來管理任務(wù)執(zhí)行過程。

● 專業(yè)智能體的功能：WebSurfer 用于操作網(wǎng)頁瀏覽器；FileSurfer 用于處理本地文件；Coder 用于編寫和執(zhí)行代碼；ComputerTerminal 提供對(duì)終端的訪問,。

>> 核心思路步驟：Magentic-One 的工作流程基于一個(gè)雙循環(huán)機(jī)制：

● 外循環(huán) (Outer Loop)：協(xié)調(diào)者更新任務(wù)日志，制定和調(diào)整計(jì)劃,。

● 內(nèi)循環(huán) (Inner Loop)：協(xié)調(diào)者更新進(jìn)度日志，分配子任務(wù)給專業(yè)智能體，并監(jiān)控執(zhí)行情況。 如果進(jìn)度停滯，則返回外循環(huán)重新規(guī)劃,。

>> 優(yōu)勢：

● 通用性：能夠解決各種開放式 Web 和文件系統(tǒng)任務(wù),。

● 模塊化和可擴(kuò)展性：基于 AutoGen 開源框架構(gòu)建，具有模塊化設(shè)計(jì)，易于添加或移除智能體，方便擴(kuò)展和適應(yīng)不同的任務(wù)。

● 高性能：在多個(gè)具有挑戰(zhàn)性的基準(zhǔn)測試中取得了與現(xiàn)有最先進(jìn)方法相當(dāng)?shù)男阅堋?/p>

● 模型無關(guān)性：可以使用不同的 LLM 和 SLM 來驅(qū)動(dòng)不同的智能體，以滿足不同的能力或成本需求,。

>> 結(jié)論和觀點(diǎn)：

● Magentic-One 的成功：Magentic-One 作為一個(gè)通用的多智能體系統(tǒng)，在解決復(fù)雜任務(wù)方面取得了顯著進(jìn)展，證明了多智能體架構(gòu)的有效性,。

● 安全性和風(fēng)險(xiǎn)：文章也指出了 agentic AI 系統(tǒng)固有的風(fēng)險(xiǎn)，例如采取不良行為或被惡意利用。 建議在使用 Magentic-One 時(shí)，需要人工監(jiān)控，并在沙盒環(huán)境中運(yùn)行代碼，以最大限度地降低風(fēng)險(xiǎn),。

● 未來的研究方向：未來的研究需要集中在提高 agentic AI 的安全性，例如賦予智能體評(píng)估其行動(dòng)可逆性的能力，并設(shè)計(jì)機(jī)制在執(zhí)行高風(fēng)險(xiǎn)操作前尋求人工干預(yù),。

總而言之，Magentic-One 代表了朝著構(gòu)建能夠完成人們?cè)诠ぷ骱蜕钪杏龅降娜蝿?wù)的通用型智能體系統(tǒng)邁出的重要一步。 文章不僅介紹了該系統(tǒng)的架構(gòu)和功能，還強(qiáng)調(diào)了 agentic AI 系統(tǒng)的安全性和責(zé)任問題，并指出了未來研究的方向,。 開源的代碼和評(píng)估工具的發(fā)布也促進(jìn)了社區(qū)的合作和發(fā)展,。

相關(guān)文章

《Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks》翻譯與解讀

Magentic-One的簡介

Magentic-One 是微軟開發(fā)的一個(gè)通用型多智能體系統(tǒng)，用于解決開放式的 Web?和文件系統(tǒng)任務(wù),。它旨在構(gòu)建能夠完成人們?cè)诠ぷ骱蜕钪杏龅降?span style="color:#ff0000;">各種任務(wù)的智能體,。 該系統(tǒng)在多個(gè)具有挑戰(zhàn)性的基準(zhǔn)測試中取得了與現(xiàn)有最先進(jìn)方法相當(dāng)?shù)男阅堋?/p>

1、特點(diǎn)

>> 多智能體架構(gòu)：采用一個(gè)協(xié)調(diào)者 (Orchestrator) 智能體和四個(gè)專業(yè)智能體協(xié)同工作,。
>> 協(xié)調(diào)者 (Orchestrator)：負(fù)責(zé)任務(wù)分解,、規(guī)劃、子任務(wù)分配,、進(jìn)度跟蹤和錯(cuò)誤糾正，通過維護(hù)任務(wù)日志 (Task Ledger) 和進(jìn)度日志 (Progress Ledger) 來管理任務(wù)執(zhí)行,。
>> 專業(yè)智能體：包括 WebSurfer (網(wǎng)頁瀏覽器操作)、FileSurfer (本地文件處理),、Coder (代碼編寫和執(zhí)行) 和 ComputerTerminal (終端訪問),。
>> 模型無關(guān)性：雖然默認(rèn)使用 GPT-4o，但可以集成不同的 LLM 和 SLM，以滿足不同的能力或成本需求。
>> 動(dòng)態(tài)規(guī)劃：協(xié)調(diào)者根據(jù)任務(wù)進(jìn)度動(dòng)態(tài)調(diào)整計(jì)劃,。

2,、架構(gòu)組成

上圖展示了 Magentic-One 多Agent團(tuán)隊(duì)如何完成 GAIA 基準(zhǔn)中的一項(xiàng)復(fù)雜任務(wù)。Magentic-One 的 Orchestrator Agent制定計(jì)劃，將任務(wù)委派給其他Agent，并跟蹤目標(biāo)的進(jìn)展情況，根據(jù)需要?jiǎng)討B(tài)修改計(jì)劃,。Orchestrator 可以分別將任務(wù)委派給 FileSurfer Agent以讀取和處理文件,、WebSurfer Agent以操作 Web 瀏覽器，或 Coder 或 Computer Terminal Agent以編寫或執(zhí)行代碼。

Magentic-One 的工作基于多Agent架構(gòu)，其中首席 Orchestrator Agent負(fù)責(zé)高級(jí)規(guī)劃,、指導(dǎo)其他Agent并跟蹤任務(wù)進(jìn)度,。Orchestrator 首先制定一個(gè)計(jì)劃來解決任務(wù)，在維護(hù)的任務(wù)分類賬中收集所需的事實(shí)和有根據(jù)的猜測。在計(jì)劃的每個(gè)步驟中，Orchestrator 都會(huì)創(chuàng)建一個(gè)進(jìn)度分類賬，在其中自我反思任務(wù)進(jìn)度并檢查任務(wù)是否完成。如果任務(wù)尚未完成，它會(huì)為 Magentic-One 的其他Agent之一分配一個(gè)子任務(wù)來完成,。在分配的Agent完成其子任務(wù)后，Orchestrator 會(huì)更新進(jìn)度分類賬并繼續(xù)執(zhí)行，直到任務(wù)完成,。如果 Orchestrator 發(fā)現(xiàn)進(jìn)度不夠，它可以更新任務(wù)分類賬并創(chuàng)建新計(jì)劃。如上圖所示；Orchestrator 的工作因此分為一個(gè)外循環(huán)（更新任務(wù)分類賬）和一個(gè)內(nèi)循環(huán)（更新進(jìn)度分類賬）,。

Magentic-One 由以下成分組成：

>> 協(xié)調(diào)者：負(fù)責(zé)任務(wù)分解和規(guī)劃的首席Agent，指導(dǎo)其他Agent執(zhí)行子任務(wù)，跟蹤總體進(jìn)度，并根據(jù)需要采取糾正措施

>> WebSurfer：這是一個(gè)基于 LLM 的Agent，能夠熟練地指揮和管理基于 Chromium 的 Web 瀏覽器的狀態(tài),。對(duì)于每個(gè)傳入請(qǐng)求，WebSurfer 都會(huì)在瀏覽器上執(zhí)行操作，然后報(bào)告網(wǎng)頁的新狀態(tài)。WebSurfer 的操作空間包括導(dǎo)航（例如訪問 URL,、執(zhí)行 Web 搜索）；網(wǎng)頁操作（例如單擊和鍵入）；以及閱讀操作（例如總結(jié)或回答問題）,。WebSurfer 依賴于瀏覽器的可訪問性樹和標(biāo)記集提示來執(zhí)行其操作。

>> FileSurfer：這是一個(gè)基于 LLM 的Agent，可命令基于 markdown 的文件預(yù)覽應(yīng)用程序讀取大多數(shù)類型的本地文件,。FileSurfer 還可以執(zhí)行常見的導(dǎo)航任務(wù)，例如列出目錄內(nèi)容和瀏覽文件夾結(jié)構(gòu),。

>> 編碼員：這是一個(gè)基于 LLM 的Agent，通過其系統(tǒng)提示專門用于編寫代碼、分析從其他Agent收集的信息或創(chuàng)建新的工件,。

>> ComputerTerminal：最后，ComputerTerminal 為團(tuán)隊(duì)提供了訪問控制臺(tái) shell 的權(quán)限，可以在其中執(zhí)行 Coder 的程序，并可以安裝新的編程庫,。

總的來說，Magentic-One 的Agent為 Orchestrator 提供了解決各種開放式問題所需的工具和功能，以及自主適應(yīng)和在動(dòng)態(tài)且不斷變化的網(wǎng)絡(luò)和文件系統(tǒng)環(huán)境中運(yùn)行的能力。

雖然我們?yōu)樗蠥gent使用的默認(rèn)多模態(tài) LLM 是 GPT-4o，但 Magentic-One 與模型無關(guān)，可以整合異構(gòu)模型以支持不同的功能或滿足完成任務(wù)時(shí)的不同成本要求,。例如，它可以使用不同的 LLM 和 SLM 及其專用版本來為不同的Agent提供支持,。我們建議為 Orchestrator Agent使用強(qiáng)大的推理模型，例如 GPT-4o。在 Magentic-One 的不同配置中，我們還嘗試使用 OpenAI o1-preview 作為 Orchestrator 的外循環(huán)和 Coder，而其他Agent則繼續(xù)使用 GPT-4o,。

3,、安全注意事項(xiàng)

強(qiáng)烈建議在 Docker 容器中運(yùn)行 Magentic-One，并進(jìn)行日志監(jiān)控和人工監(jiān)督，以最大限度地降低風(fēng)險(xiǎn)，例如防止智能體采取危險(xiǎn)行為或遭受提示注入攻擊。

用 Magentic-One 需要與為人類設(shè)計(jì)的數(shù)字世界進(jìn)行交互，這本身就存在風(fēng)險(xiǎn),。為了將這些風(fēng)險(xiǎn)降至最低，請(qǐng)考慮以下預(yù)防措施：

>> 使用容器：在docker容器中運(yùn)行所有任務(wù)，以隔離Agent并防止直接系統(tǒng)攻擊,。

>> 虛擬環(huán)境：使用虛擬環(huán)境運(yùn)行Agent并阻止它們?cè)L問敏感數(shù)據(jù)。

>> 監(jiān)控日志：在執(zhí)行期間和執(zhí)行后密切監(jiān)控日志，以檢測和減輕危險(xiǎn)行為,。

>> 人工監(jiān)督：在循環(huán)中運(yùn)行示例，以監(jiān)督Agent并防止出現(xiàn)意外后果,。

>> 限制訪問：限制Agent對(duì)互聯(lián)網(wǎng)和其他資源的訪問，以防止未經(jīng)授權(quán)的操作。

>> 保護(hù)數(shù)據(jù)：確保Agent無法訪問可能被泄露的敏感數(shù)據(jù)或資源,。不要與Agent共享敏感信息,。請(qǐng)注意，Agent可能偶爾會(huì)嘗試冒險(xiǎn)行動(dòng)，例如招募人員提供幫助或在無人參與的情況下接受 cookie 協(xié)議。始終確保Agent受到監(jiān)控并在受控環(huán)境中運(yùn)行，以防止出現(xiàn)意外后果,。此外，請(qǐng)注意 Magentic-One 可能容易受到網(wǎng)頁的提示注入攻擊,。

注意：該項(xiàng)目代碼目前正在移植到 AutoGen AgentChat，建議等待移植完成后再進(jìn)行構(gòu)建。

Magentic-One的安裝和使用方法

1,、安裝

克隆代碼庫

git clone https://github.com/microsoft/autogen.git

cd autogen/python

uv sync ?--all-extras

source .venv/bin/activate

安裝 Magentic-One

cd packages/autogen-magentic-one

pip install -e .

安裝Playwright

playwright install --with-deps chromium

需要安裝 Docker

示例代碼可能下載文件,、執(zhí)行代碼和與網(wǎng)頁交互，請(qǐng)確保在安全的環(huán)境中運(yùn)行。

運(yùn)行命令：

python examples/example.py --logs_dir ./logs (指定日志目錄)

python examples/example.py --logs_dir ./logs --hil_mode (啟用人工參與模式)

python examples/example.py --logs_dir ./logs --save_screenshots (保存瀏覽器截圖)

2,、聊天完成客戶端的環(huán)境配置

需要配置環(huán)境變量才能使用 create_completion_client_from_env 函數(shù)，該函數(shù)讀取環(huán)境變量來返回合適的 ChatCompletionClient,。

T1、Azure OpenAI 服務(wù)

需要設(shè)置 CHAT_COMPLETION_PROVIDER='azure' 和 CHAT_COMPLETION_KWARGS_JSON (包含端點(diǎn)、模型等信息),。

T2,、OpenAI

需要設(shè)置 CHAT_COMPLETION_PROVIDER='openai' 和 CHAT_COMPLETION_KWARGS_JSON (包含 API 密鑰和模型信息)。

可選

Bing API 密鑰：如果需要使用 Web 搜索功能，則需要設(shè)置 BING_API_KEY,。

Magentic-One的案例應(yīng)用

1,、Magentic-One 的多智能體團(tuán)隊(duì)如何完成 GAIA 基準(zhǔn)測試中的復(fù)雜任務(wù)

協(xié)調(diào)者創(chuàng)建計(jì)劃，將任務(wù)委派給其他智能體，并跟蹤進(jìn)度，根據(jù)需要?jiǎng)討B(tài)修改計(jì)劃。 協(xié)調(diào)者可以將任務(wù)委派給 FileSurfer,、WebSurfer,、Coder 或 ComputerTerminal 智能體來執(zhí)行不同的子任務(wù)。