代理式 AI 有望將注入式?jīng)Q策引入自動(dòng)化工作流程。但隨著 AI 代理（AI智能體）的激增，成本、安全和性能管理問題只會(huì)加劇。
圖片來源：Gorodenkoff/Shutterstock
隨著 AI 代理準(zhǔn)備接管企業(yè)工作流程的重要部分，IT 領(lǐng)導(dǎo)者將面臨日益復(fù)雜的挑戰(zhàn)：管理它們。 IDC 研究副總裁 Dave McCarthy 表示：“人們對(duì)如何在云端管理 AI 代理存在潛在擔(dān)憂。”他指出，初創(chuàng)公司和老牌供應(yīng)商提供的 AI 代理不斷增多，將給首席信息官們帶來資產(chǎn)管理、安全和版本控制方面的挑戰(zhàn)。 分析師表示，三大超大規(guī)模云廠商和云管理供應(yīng)商已經(jīng)意識(shí)到這一差距，并正在努力解決。例如，McCarthy 指出了 12 月份谷歌發(fā)布的 Agentspace，旨在滿足多方面的管理需求。包括 AgentOps 和 OneReach.ai 在內(nèi)的大量創(chuàng)新者，以及 Fiddler、Arize、Pezzo、Helicone 和 AimStack，都已加入進(jìn)來，為當(dāng)今的企業(yè)客戶提供 AI 代理管理需求。
Gartner 人工智能高級(jí)總監(jiān)分析師 Tom Coshow 表示：“這是一個(gè)新興領(lǐng)域。如果我是一家大型企業(yè)，我可能不會(huì)在一個(gè)地方構(gòu)建所有代理，并被供應(yīng)商鎖定，但我可能也不想擁有 30 個(gè)平臺(tái)。我們需要的是一個(gè)單一的視圖，可以看到我正在構(gòu)建的所有 AI 代理，并在性能不佳或存在安全問題時(shí)向我發(fā)出警報(bào)。”
雖然代理式 AI 市場(chǎng)仍處于早期階段，但對(duì) AI 代理前景持樂觀態(tài)度的首席信息官們已經(jīng)意識(shí)到需要實(shí)時(shí)管理和監(jiān)控 AI 代理工作流程。 TIAA 首席運(yùn)營(yíng)、信息和數(shù)字官 Sastry Durvasula 表示：“管理代理式 AI 確實(shí)是一項(xiàng)重大挑戰(zhàn)，因?yàn)閭鹘y(tǒng)的 AI 云管理工具不足以應(yīng)對(duì)這項(xiàng)任務(wù)?！?/span>
由于代理式 AI 系統(tǒng)的自主性和復(fù)雜的決策過程，它們需要更復(fù)雜的監(jiān)控、安全和治理機(jī)制。當(dāng)前狀態(tài)的云工具和自動(dòng)化能力不足以處理動(dòng)態(tài)的代理式 AI 決策。 Durvasula 還指出，代理式 AI 的實(shí)時(shí)工作負(fù)載也可能因云網(wǎng)絡(luò)延遲而受到延遲。 “為了支持業(yè)務(wù)需求，組織必須投資于能夠處理動(dòng)態(tài)工作負(fù)載、確保透明度并維護(hù)跨多云環(huán)境的問責(zé)制的先進(jìn)的 AI 特定管理工具。”他說?！斑@種方法將幫助企業(yè)在降低風(fēng)險(xiǎn)和確保負(fù)責(zé)任部署的同時(shí)，最大限度地發(fā)揮代理式 AI 的優(yōu)勢(shì)。”
然而，當(dāng)多個(gè)代理參與一個(gè)工作流程時(shí)，挑戰(zhàn)將會(huì)加劇，鑒于這些 AI 代理會(huì)隨著遇到不同的數(shù)據(jù)輸入而“學(xué)習(xí)”和調(diào)整，因此工作流程很可能會(huì)發(fā)生變化和演變。?
?Gartner 的 Coshow 表示：“如果代理使用 AI 并且具有適應(yīng)性，那么您需要某種方法來查看它們的性能是否仍處于您想要的置信水平。” 代理式 AI 意味著未來的持續(xù)變化 PagerDuty 首席信息官 Eric Johnson 認(rèn)為，自主決策的動(dòng)態(tài)性意味著必須建立嚴(yán)格的防護(hù)措施和治理，以防止意外后果。
“雖然 AI 代理可以顯著提高效率，但它們也會(huì)引入圍繞 AI 監(jiān)督和問責(zé)制的復(fù)雜性。組織必須建立清晰的框架，以幫助防止其 AI 代理將云運(yùn)營(yíng)置于風(fēng)險(xiǎn)之中，包括監(jiān)控代理活動(dòng)以確保符合數(shù)據(jù)法規(guī)?！彼f?！巴ㄟ^人工參與驗(yàn)證和清晰的治理結(jié)構(gòu)建立信任，對(duì)于建立指導(dǎo)更安全的代理驅(qū)動(dòng)決策的嚴(yán)格協(xié)議至關(guān)重要?！?Johnson 補(bǔ)充說，這一領(lǐng)域在云管理平臺(tái)以及法律、安全、合規(guī)團(tuán)隊(duì)內(nèi)部仍在不斷成熟。 Cloudera 首席戰(zhàn)略官 Abhas Ricky 最近在 LinkedIn 上指出了管理 AI 代理所涉及的成本挑戰(zhàn)。
“開發(fā)人員希望構(gòu)建多步驟的代理工作流程，而無需擔(dān)心失控的成本。有些組織每年在 LLM 調(diào)用上花費(fèi)超過 100 萬美元?！盧icky 寫道?！按磉\(yùn)營(yíng)是一項(xiàng)關(guān)鍵能力——想想用于代理監(jiān)控、LLM 成本跟蹤、基準(zhǔn)測(cè)試的 Python SDK，以便了解 API 調(diào)用、實(shí)時(shí)成本管理和生產(chǎn)中代理的可靠性得分?！?隨著 AI 代理的數(shù)量和種類以快于企業(yè)消耗的速度增長(zhǎng)，對(duì)所有管理方面的要求也在增長(zhǎng)。 例如，身份平臺(tái) Stytch 的首席執(zhí)行官 Reed McGinley-Sempel 指出，“代理體驗(yàn)”正成為企業(yè)的關(guān)鍵優(yōu)先事項(xiàng)，而過去決定人類和開發(fā)人員如何與軟件交互的是 UX（用戶體驗(yàn)）和 DX（開發(fā)人員體驗(yàn)）。從副駕駛到編碼工具再到自主助理，各種各樣的 AI 代理加劇了企業(yè)首席信息官如何確保代理式 AI 工作流程得到適當(dāng)監(jiān)控和管理的問題，他說。
“與將身份與個(gè)人聯(lián)系起來的傳統(tǒng)用戶身份驗(yàn)證不同，AI 代理代表用戶行事——引發(fā)了關(guān)于信任、權(quán)限和安全邊界的新問題。”McGinley-Sempel 說。“如果應(yīng)用程序不發(fā)展以適應(yīng)代理工作流程，企業(yè)將面臨阻止有價(jià)值的自動(dòng)化或開放未經(jīng)授權(quán)訪問的風(fēng)險(xiǎn)。為 AI 代理建立清晰、標(biāo)準(zhǔn)化身份驗(yàn)證流程的公司將引領(lǐng)這個(gè)自動(dòng)化新時(shí)代。” 正在進(jìn)行的工作分析師指出，雖然云超大規(guī)模廠商正在努力解決這一問題，但尚不清楚谷歌的 Agentspace、微軟 Azure AI 服務(wù)、xAI 或 OpenAI 的管理平臺(tái)將在多大程度上提供支持，更不用說對(duì)所有代理的支持了。這為包括 AgentOps 和 OneReach.ai 在內(nèi)的新一批初創(chuàng)公司打開了大門。 混合云存儲(chǔ)公司 Nasuni 的人工智能和數(shù)據(jù)戰(zhàn)略首席創(chuàng)新官 Jim Liddle 質(zhì)疑大型超大規(guī)模廠商為所有代理提供管理服務(wù)的可能性。
“代理框架的最大挑戰(zhàn)是，每個(gè)供應(yīng)商都采用根本不同的代理架構(gòu)、狀態(tài)管理和通信協(xié)議方法。隨著供應(yīng)商推廣自己的框架和代理，企業(yè)將面臨采用挑戰(zhàn)，包括技術(shù)債務(wù)和維護(hù)開銷的顯著增加。”Liddle 說?！拔也徽J(rèn)為會(huì)出現(xiàn)一個(gè)統(tǒng)一所有代理的單一框架，這使得這種復(fù)雜性成為一個(gè)持續(xù)存在的現(xiàn)實(shí)?！?與此同時(shí)，將代理式 AI 服務(wù)作為其旗艦產(chǎn)品的一部分推出的企業(yè)供應(yīng)商，則大力宣傳基于平臺(tái)的代理管理方法。 ServiceNow 首席客戶官兼企業(yè) AI 顧問 Chris Bedi 表示：“大規(guī)模管理代理式 AI 是一項(xiàng)多維挑戰(zhàn)。要分解它，它同時(shí)是一項(xiàng)治理、運(yùn)營(yíng)、道德和集成挑戰(zhàn)。要管理代理式 AI，需要一個(gè)能夠?qū)?AI 代理、數(shù)據(jù)和工作流程與單一數(shù)據(jù)模型統(tǒng)一起來的平臺(tái)，該平臺(tái)將 AI 帶到企業(yè)的每個(gè)角落并解決所有這些挑戰(zhàn)?！?/span>
無論如何，Nutanix 工程副總裁 Debojyoti Dutta 表示，這需要整個(gè)高管團(tuán)隊(duì)共同努力，才能使其協(xié)同工作并確保安全。 “我們正處于企業(yè)多代理式轉(zhuǎn)型的早期階段。如今，每個(gè) AI 代理都以定制方式構(gòu)建和運(yùn)營(yíng)。這將給高管團(tuán)隊(duì)帶來運(yùn)營(yíng)上的麻煩?！盌utta 說?！?span style="font-size: 16px; font-family: 微軟雅黑, "Microsoft YaHei"; outline: 0px; color: rgb(172, 1, 249);">首席信息官需要工具和基礎(chǔ)設(shè)施來運(yùn)營(yíng)這些代理，首席數(shù)據(jù)官需要確保適當(dāng)?shù)臄?shù)據(jù)治理，首席法律官需要確保 AI 的合規(guī)性和治理，首席信息安全官需要確保保護(hù)企業(yè)的措施。首席人工智能官需要與其他 CXO 合作，以確保這種代理浪潮帶來實(shí)際的 AI 投資業(yè)務(wù)回報(bào)，同時(shí)保護(hù)企業(yè)并控制成本。” 雖然代理式 AI 仍是一項(xiàng)新興技術(shù)，但 Gartner 的 Coshow 表示，一些首席信息官已經(jīng)開始關(guān)注這個(gè)復(fù)雜的問題。
“首席信息官們對(duì)部署非常謹(jǐn)慎和深思熟慮，因?yàn)榘踩?、政府、治理、?zhǔn)確性和性能問題仍有待解決?！彼f。、
【睿觀：AI 代理管理是一項(xiàng)復(fù)雜而艱巨的任務(wù)，需要 IT 領(lǐng)導(dǎo)者、開發(fā)人員、安全專家和法律顧問的共同努力。通過構(gòu)建強(qiáng)大的管理平臺(tái)、開發(fā)先進(jìn)的工具和制定全面的治理政策，企業(yè)可以最大限度地發(fā)揮 AI 代理的潛力，同時(shí)降低風(fēng)險(xiǎn)。AI 代理管理所面臨的挑戰(zhàn)和潛在的解決方案：
核心挑戰(zhàn)：
復(fù)雜性與不可預(yù)測(cè)性：
AI 代理的自主學(xué)習(xí)和決策能力，雖然帶來了效率提升，但也使得其行為難以完全預(yù)測(cè)。這在涉及關(guān)鍵業(yè)務(wù)流程時(shí)，可能帶來不可接受的風(fēng)險(xiǎn)。
多代理協(xié)同工作時(shí)，復(fù)雜性呈指數(shù)級(jí)增長(zhǎng)。不同代理之間的交互，可能產(chǎn)生意想不到的結(jié)果，需要強(qiáng)大的監(jiān)控和調(diào)試工具。
安全與合規(guī)：
AI 代理對(duì)敏感數(shù)據(jù)的訪問，增加了數(shù)據(jù)泄露和濫用的風(fēng)險(xiǎn)。需要嚴(yán)格的權(quán)限管理和審計(jì)機(jī)制，確保代理的行為符合法規(guī)要求。
AI 代理的決策過程，可能受到偏見和惡意攻擊的影響。需要強(qiáng)大的安全防護(hù)措施，防止代理被操縱。
成本控制：
大規(guī)模部署 AI 代理，會(huì)產(chǎn)生巨大的計(jì)算和存儲(chǔ)成本。尤其是當(dāng)代理需要頻繁調(diào)用大型語言模型（LLM）時(shí)，成本會(huì)迅速上升。
需要精細(xì)的成本控制機(jī)制，實(shí)時(shí)監(jiān)控代理的資源消耗，并優(yōu)化代理的運(yùn)行效率。
治理與問責(zé)：
當(dāng) AI 代理做出錯(cuò)誤決策時(shí)，如何確定責(zé)任歸屬？需要建立清晰的問責(zé)機(jī)制，確保代理的行為可追溯和可解釋。
需要制定全面的 AI 治理政策，規(guī)范代理的開發(fā)、部署和使用，確保其符合倫理標(biāo)準(zhǔn)和法律法規(guī)。
潛在的解決方案與發(fā)展方向：
統(tǒng)一的管理平臺(tái)：
構(gòu)建統(tǒng)一的 AI 代理管理平臺(tái)，提供集中的監(jiān)控、控制和審計(jì)功能。
平臺(tái)應(yīng)支持多云環(huán)境，能夠管理來自不同供應(yīng)商的 AI 代理。
強(qiáng)大的監(jiān)控與調(diào)試工具：
開發(fā)先進(jìn)的監(jiān)控工具，實(shí)時(shí)跟蹤代理的性能、資源消耗和行為。
提供強(qiáng)大的調(diào)試工具，幫助開發(fā)人員診斷和解決代理的問題。
精細(xì)的權(quán)限管理：
實(shí)施基于角色的權(quán)限管理，限制代理對(duì)敏感數(shù)據(jù)的訪問。
使用加密和脫敏技術(shù)，保護(hù)數(shù)據(jù)的安全。
成本優(yōu)化：
采用高效的算法和模型，降低代理的計(jì)算和存儲(chǔ)成本。
實(shí)施自動(dòng)化的成本控制機(jī)制，實(shí)時(shí)調(diào)整代理的資源分配。
可解釋性和可追溯性：
開發(fā)可解釋的 AI 模型，使代理的決策過程更加透明。
記錄代理的活動(dòng)日志，實(shí)現(xiàn)行為的可追溯性。
行業(yè)標(biāo)準(zhǔn)的建立：
推動(dòng) AI 代理管理相關(guān)行業(yè)標(biāo)準(zhǔn)的建立，促進(jìn)不同平臺(tái)和工具之間的互操作性。
鼓勵(lì)企業(yè)之間交流和分享最佳實(shí)踐。】
