你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
圖片來(lái)源：Shutterstock / Foundry
在3GEM代表SnapLogic于2月進(jìn)行的一項(xiàng)調(diào)查中，1000名IT決策者和轉(zhuǎn)型領(lǐng)導(dǎo)者中，有一半表示大型企業(yè)已經(jīng)在使用AI智能體，另有32%計(jì)劃在年內(nèi)實(shí)施。調(diào)查還顯示，92%的受訪者預(yù)計(jì)AI智能體將在未來(lái)12至18個(gè)月內(nèi)帶來(lái)有意義的業(yè)務(wù)成果，44%的人相信AI智能體能做得和人類一樣好，而40%的人實(shí)際上更信任AI。?AI智能體的定義各不相同，雖然一些供應(yīng)商給他們的聊天機(jī)器人起了可愛(ài)的名字并將其重新包裝為智能體，但大多數(shù)專家期望它們能做的不僅僅是回答問(wèn)題。例如，AI智能體應(yīng)該能夠代表用戶采取行動(dòng)、自主行動(dòng)，或與其他智能體和系統(tǒng)交互。作為區(qū)分，代理式AI（Agentic AI）通常更進(jìn)一步，涉及用于構(gòu)建、部署和管理智能體的企業(yè)級(jí)平臺(tái)，以及允許智能體彼此交互以及與內(nèi)外部系統(tǒng)交互的平臺(tái)。
一個(gè)單一的業(yè)務(wù)任務(wù)可能涉及多個(gè)步驟，使用多個(gè)智能體，并調(diào)用多個(gè)數(shù)據(jù)源。此外，每個(gè)智能體可能由不同的大型語(yǔ)言模型（LLM）、微調(diào)模型或?qū)ｉT的小型語(yǔ)言模型驅(qū)動(dòng)。工作流也可能是迭代的，智能體會(huì)重做某些序列或步驟，直到它們通過(guò)特定的準(zhǔn)確性或完整性閾值。
根據(jù)Gartner的說(shuō)法，代理式AI是今年的首要戰(zhàn)略趨勢(shì)，到2029年，80%常見(jiàn)的客戶服務(wù)問(wèn)題將無(wú)需人工干預(yù)即可自主解決。 “一些用例包括簡(jiǎn)化供應(yīng)鏈管理和提供實(shí)時(shí)的個(gè)性化支持，”Gartner副總裁分析師Sid Nag說(shuō)。他表示，代理式AI還可以實(shí)現(xiàn)更直觀的交互。“這絕對(duì)引起了企業(yè)的關(guān)注?！?/span>
隨著驅(qū)動(dòng)單個(gè)智能體的模型變得越來(lái)越智能，代理式AI系統(tǒng)的用例也變得更加宏大——而這些系統(tǒng)帶來(lái)的風(fēng)險(xiǎn)也呈指數(shù)級(jí)增長(zhǎng)。 咨詢公司Presidio的高級(jí)副總裁Chris Cosentino說(shuō)：“我們發(fā)現(xiàn)公司缺乏對(duì)這些智能體如何做決策的可見(jiàn)性和控制力，并且對(duì)它們的監(jiān)控尚未成為行業(yè)標(biāo)準(zhǔn)?！薄半S著這些智能體進(jìn)入這些環(huán)境，新的風(fēng)險(xiǎn)正在被引入，你有智能體代表用戶做決策，在某些情況下，這些決策偏離了預(yù)期的模型?！笔聦?shí)上，最近關(guān)于前沿語(yǔ)言模型的研究和紅隊(duì)測(cè)試報(bào)告顯示，它們有能力進(jìn)行欺騙和操縱，如果基于矛盾的指令或糟糕的數(shù)據(jù)集工作，很容易失控。 如果一個(gè)能訪問(wèn)所有公司數(shù)據(jù)庫(kù)和功能的代理式AI系統(tǒng)突然失控，或落入攻擊者手中，那將不是一件好事。
專家們表示，解決方案是仔細(xì)限制智能體能做的事情范圍和它們能訪問(wèn)的數(shù)據(jù)，設(shè)置防護(hù)機(jī)制（guardrails），然后仔細(xì)監(jiān)控智能體所說(shuō)和所做的一切。?
一、保持對(duì)智能體的控制 (Staying in control of agents)
Change.org是一個(gè)允許世界任何人發(fā)起請(qǐng)?jiān)傅姆菭I(yíng)利組織。迄今為止，已有超過(guò)5億人使用該網(wǎng)站，每月在其平臺(tái)上創(chuàng)建7萬(wàn)份請(qǐng)?jiān)笗?，但并非所有?qǐng)?jiān)笗贾档盟鼈兯紦?jù)的數(shù)字空間。其中存在垃圾信息、欺詐和非法內(nèi)容。 該公司曾使用一家每月花費(fèi)5000美元的供應(yīng)商，而之前的系統(tǒng)只能捕獲所有違規(guī)行為的一半，并且其標(biāo)記為需要審查的內(nèi)容中有一半是誤報(bào)。
然后ChatGPT問(wèn)世了，Change.org驚訝地發(fā)現(xiàn)，即便是開箱即用的版本，它捕獲有問(wèn)題內(nèi)容的效率也與他們花費(fèi)數(shù)年開發(fā)的工具相當(dāng)。于是，該公司開始試驗(yàn)AI能做什么，并最終在咨詢公司Fractional AI的幫助下，設(shè)計(jì)出了一個(gè)多步驟的代理式工作流，使用OpenAI的GPT 4.0和一個(gè)微調(diào)的GPT 3.5來(lái)驅(qū)動(dòng)各個(gè)智能體。 該組織的AI應(yīng)用與自動(dòng)化負(fù)責(zé)人Danny Moldovan說(shuō)，即使需要多次調(diào)用LLM，每次審核的總成本也只是公司過(guò)去支付費(fèi)用的一小部分。“我們?cè)诟笠?guī)模和更高準(zhǔn)確性下顯著降低了成本?！?結(jié)果是一個(gè)復(fù)雜的決策樹，它使用Langchain將智能體串聯(lián)起來(lái)，并使用Langsmith進(jìn)行可觀測(cè)性。
“智能體能夠自行選擇在決策樹中將其發(fā)送到何處，”Moldovan說(shuō)。在某些情況下，鏈條中的最終智能體可能會(huì)將其送回決策樹上游進(jìn)行額外審查。“它允許人類處理一套更易于管理的信號(hào)和解釋，”他補(bǔ)充道。 為了防止系統(tǒng)失控，設(shè)置了多重控制措施。首先，OpenAI本身設(shè)有一套控制措施，包括一個(gè)審核API。其次，系統(tǒng)能接收的信息以及能用這些信息做什么受到了極其嚴(yán)格的限制。最后，所有決策都交由人類進(jìn)行審查。 “我們是風(fēng)險(xiǎn)管理者，不是邊界推動(dòng)者，”Moldovan說(shuō)?！?/span>我們使用這個(gè)系統(tǒng)來(lái)恰當(dāng)?shù)刈R(shí)別出一組需要人工審查的內(nèi)容，所有最終的審核決定都是由人做出的。我們相信，內(nèi)容審核，特別是在我們這樣的平臺(tái)上，需要一定程度的細(xì)微差別判斷，我們尚未準(zhǔn)備好將其完全交給機(jī)器人。”
然后，為了確保系統(tǒng)按預(yù)期工作并持續(xù)如此，審計(jì)就派上用場(chǎng)了。 “任何時(shí)候出現(xiàn)不同的模式，我們都會(huì)回放記錄，看看發(fā)生了什么，”Moldovan說(shuō)?！拔覀冇涗浟舜硎搅鞒痰拿恳徊剑悄荏w會(huì)提供決策摘要。這給了我們一個(gè)可以審計(jì)的憑證（receipt）。事實(shí)上，當(dāng)機(jī)器人解釋自己時(shí)，準(zhǔn)確性更高。你越讓AI解釋它的思考過(guò)程，結(jié)果就越好?！?例如，有一次，系統(tǒng)開始將反對(duì)虐待動(dòng)物的請(qǐng)?jiān)笜?biāo)記為虐待動(dòng)物內(nèi)容。“一旦我們引入了一些糾正性的框架引導(dǎo)（correction framing），系統(tǒng)就回到了正軌，”他說(shuō)。
代理式AI審核系統(tǒng)于2024年下半年上線，現(xiàn)在Change.org正將相同的方法應(yīng)用于其他流程。例如，代理式AI可以用來(lái)發(fā)現(xiàn)正面內(nèi)容的例子，這些內(nèi)容可以通過(guò)額外的營(yíng)銷獲益——并識(shí)別可能對(duì)看到這些內(nèi)容感興趣的記者。
二、沒(méi)有防護(hù)機(jī)制（Guardrails），就沒(méi)有代理式AI (No agentic AI without guardrails)
信安金融集團(tuán)（The Principal Financial Group）是一家全球性的投資和保險(xiǎn)公司，多年來(lái)一直在使用各種形式的AI。但新的生成式AI，以及建立在其之上的代理式AI系統(tǒng)，可能有點(diǎn)像一個(gè)“黑箱”。 “在我們傳統(tǒng)的AI模型中，理解模型如何得出結(jié)論——這是相當(dāng)可靠的，因?yàn)樗鼈円呀?jīng)存在了一段時(shí)間，”CIO Kathy Kay說(shuō)。
而記錄交互和問(wèn)題以便公司能夠評(píng)估整個(gè)系統(tǒng)中發(fā)生的情況也是一個(gè)挑戰(zhàn)?！拔覀兿Ｍ_保我們?cè)u(píng)估的風(fēng)險(xiǎn)不僅僅是模型的表現(xiàn)，”她說(shuō)?！暗珜?shí)際監(jiān)控所有這些的工具仍然處于早期階段。” 該公司仍處于代理式AI采用的早期階段。“我們有幾個(gè)模型在生產(chǎn)環(huán)境中運(yùn)行，但可觀測(cè)性、可解釋性以及理解模型如何得出結(jié)論對(duì)我們來(lái)說(shuō)是巨大的關(guān)注點(diǎn)，”她補(bǔ)充道。 一個(gè)用例是軟件開發(fā)，已有近1200名工程師在使用GitHub Copilot，該工具于2月推出了其智能體模式，現(xiàn)在可以從零開始創(chuàng)建應(yīng)用程序、跨多個(gè)文件進(jìn)行重構(gòu)、編寫和運(yùn)行測(cè)試以及遷移遺留代碼。
“但我們不會(huì)直接將代碼隨意發(fā)布，”Kay說(shuō)?！澳壳拔覀兪冀K會(huì)有人在中間環(huán)節(jié)把關(guān)。這是我們所做任何事情的防護(hù)機(jī)制之一?！?智能體也被用于總結(jié)文檔和其他低風(fēng)險(xiǎn)領(lǐng)域。她說(shuō)，已設(shè)置防護(hù)機(jī)制以確保智能體滿足所有監(jiān)管和合規(guī)要求。同時(shí)，對(duì)可訪問(wèn)的數(shù)據(jù)和智能體能做的事情也有限制。信安金融使用AWS，其AI平臺(tái)提供了防護(hù)機(jī)制作為一部分。 “此外，我們記錄了與任何模型的及其答案的所有交互，以幫助分析它們，看看模型是否出現(xiàn)任何形式的偏見(jiàn)，或者我們是否看到一些令人驚訝的事情，”她說(shuō)。
總的來(lái)說(shuō)，信安金融對(duì)使用代理式AI持樂(lè)觀態(tài)度。 “我們已經(jīng)確定了很多不同的用例，我們相信代理式AI可以成為解決方案，”她說(shuō)?！暗覀儾扇』陲L(fēng)險(xiǎn)的方法。我們絕不會(huì)在沒(méi)有‘人在環(huán)路’（human in the loop）的情況下，將這些智能體或僅僅是LLM直接面向客戶。目前風(fēng)險(xiǎn)太高了?！?/span>
三、誰(shuí)來(lái)監(jiān)督監(jiān)督者？ (Who watches the watchers?)
IEEE會(huì)士、塔夫茨大學(xué)研究生工程學(xué)院院長(zhǎng)Karen Panetta提出，我們可能需要用AI來(lái)監(jiān)控AI。
“當(dāng)你談到記錄它時(shí)，很可能還有另一個(gè)智能體在其之上觀察它記錄了什么，并試圖進(jìn)行總結(jié)——就像一個(gè)指揮家，匯集所有這些不同的信息，”她說(shuō)。 對(duì)于具有許多交互和大量數(shù)據(jù)注入提示的復(fù)雜系統(tǒng)來(lái)說(shuō)，尤其如此。 “你想要記錄什么？”她說(shuō)。“我是否要記錄內(nèi)部的一切？那可能是海量的?！?/span>
網(wǎng)絡(luò)安全公司eSentire的高級(jí)機(jī)器學(xué)習(xí)科學(xué)家Jeff Schwartzentruber同意代理式AI已使調(diào)用的提示和響應(yīng)數(shù)量激增?！八鼈冞M(jìn)行函數(shù)調(diào)用、拉取數(shù)據(jù)、進(jìn)行它們自己的對(duì)話，”他說(shuō)?！斑M(jìn)出的提示很難追蹤，你永遠(yuǎn)無(wú)法真正看到客戶端上的所有交互?！?當(dāng)企業(yè)使用外部供應(yīng)商作為代理式系統(tǒng)的一部分時(shí)，這帶來(lái)了特殊的挑戰(zhàn)。 “假設(shè)一個(gè)第三方服務(wù)提供商為你生成一份報(bào)告，你發(fā)送給他們一些文件，”他說(shuō)?！耙坏┻M(jìn)入他們的系統(tǒng)，你對(duì)他們正在進(jìn)行的不同函數(shù)調(diào)用一無(wú)所知。這是一個(gè)非常大的可觀測(cè)性問(wèn)題。” 但這并非全是壞消息。
“雖然挑戰(zhàn)變得更加困難，但我們可用的工具也變得更加強(qiáng)大，”安永（EY）數(shù)字與新興技術(shù)負(fù)責(zé)人Rakesh Malhotra說(shuō)?！?strong>我們?cè)诳捎^測(cè)性方面擁有代理式系統(tǒng)帶來(lái)的機(jī)遇是，它為我們提供了提高這些系統(tǒng)可靠性的機(jī)會(huì)。這個(gè)機(jī)遇遠(yuǎn)超它們失控的風(fēng)險(xiǎn)。” 關(guān)鍵在于提前規(guī)劃，曾在微軟花了十年時(shí)間構(gòu)建監(jiān)控工具的Malhotra說(shuō)。 “當(dāng)我構(gòu)建智能體時(shí)，我會(huì)為可觀測(cè)性而設(shè)計(jì)，”他說(shuō)。“如果你先構(gòu)建了東西，然后才決定我們必須對(duì)其進(jìn)行監(jiān)控和管理，那你總是在償還這筆技術(shù)債務(wù)，而這是很難做到的?！?/span>
作者：Maria Korolov 特約撰稿人 Maria Korolov是一位屢獲殊榮的技術(shù)記者，報(bào)道人工智能和網(wǎng)絡(luò)安全。她還創(chuàng)作科幻小說(shuō)，編輯一本科技幻想雜志，并主持一個(gè)YouTube節(jié)目。
睿觀：代理式AI（能夠自主行動(dòng)、交互并執(zhí)行多步驟任務(wù)的AI智能體系統(tǒng)）正迅速成為企業(yè)關(guān)注焦點(diǎn)并被寄予厚望，有望大規(guī)模變革業(yè)務(wù)流程，但其“黑箱”特性、決策過(guò)程的不可控性、潛在的“失控”風(fēng)險(xiǎn)以及安全隱患也隨之劇增。因此，企業(yè)在擁抱其巨大潛力的同時(shí)，必須優(yōu)先解決可見(jiàn)性與控制力問(wèn)題，通過(guò)實(shí)施嚴(yán)格的范圍限制、防護(hù)機(jī)制、保持關(guān)鍵環(huán)節(jié)的人工監(jiān)督（Human-in-the-Loop），并大力投入構(gòu)建和完善監(jiān)控、審計(jì)與可觀測(cè)性（Observability）體系，以確保安全、負(fù)責(zé)任地部署和應(yīng)用。
主要觀點(diǎn):
巨大潛力與快速采用趨勢(shì)：
代理式AI被視為頂級(jí)戰(zhàn)略趨勢(shì)（Gartner），預(yù)期能自主處理復(fù)雜任務(wù)（如供應(yīng)鏈管理、客戶服務(wù)），顯著提升效率。市場(chǎng)調(diào)查顯示企業(yè)采用意愿強(qiáng)烈，對(duì)其業(yè)務(wù)價(jià)值抱有高期望。
核心風(fēng)險(xiǎn)與挑戰(zhàn)：
缺乏可見(jiàn)性與控制：
難以理解和監(jiān)控智能體（尤其是多智能體協(xié)作時(shí)）的內(nèi)部決策邏輯和行為路徑。
“失控”與安全風(fēng)險(xiǎn)：
前沿模型存在被誤導(dǎo)、欺騙甚至惡意利用的可能，若擁有廣泛權(quán)限的智能體失控或被攻擊，后果嚴(yán)重。
可觀測(cè)性難題：
現(xiàn)有監(jiān)控工具尚不成熟，難以追蹤和記錄海量、復(fù)雜的智能體交互（特別是涉及第三方系統(tǒng)時(shí)），給審計(jì)和問(wèn)題排查帶來(lái)巨大困難。
關(guān)鍵應(yīng)對(duì)策略與實(shí)踐：
強(qiáng)力管控與防護(hù)（Guardrails）：
必須嚴(yán)格限制智能體的權(quán)限、可訪問(wèn)數(shù)據(jù)范圍，并設(shè)置明確的操作規(guī)則和防護(hù)機(jī)制。
人機(jī)協(xié)同監(jiān)督（Human-in-the-Loop）：
在高風(fēng)險(xiǎn)或關(guān)鍵決策環(huán)節(jié)，保留人工審核與最終決策權(quán)，作為重要的安全保障。Change.org 和 Principal Financial 的案例均強(qiáng)調(diào)了這一點(diǎn)。
強(qiáng)化監(jiān)控與審計(jì)：
詳細(xì)記錄智能體交互過(guò)程、決策邏輯（如Change.org記錄“決策憑證”），進(jìn)行持續(xù)審計(jì)以發(fā)現(xiàn)異?；蚱?jiàn)。
為可觀測(cè)性而設(shè)計(jì)：
在系統(tǒng)構(gòu)建初期就將監(jiān)控和管理需求納入設(shè)計(jì)考量，而非后期彌補(bǔ)，是降低技術(shù)債務(wù)、確保系統(tǒng)可靠性的關(guān)鍵（Malhotra觀點(diǎn)）。
未來(lái)方向：
隨著系統(tǒng)復(fù)雜性增加，可能需要利用AI技術(shù)本身來(lái)輔助監(jiān)控AI系統(tǒng)（Panetta觀點(diǎn)）。盡管挑戰(zhàn)嚴(yán)峻，但通過(guò)精心設(shè)計(jì)和利用更強(qiáng)大的工具，提高系統(tǒng)可靠性的機(jī)遇大于風(fēng)險(xiǎn)（Malhotra觀點(diǎn)）。
