——CIO警惕：為何63%的企業(yè)無法給AI自主權(quán)，錯失數(shù)十億美元機會？
各位CIO和技術(shù)領(lǐng)袖：
AI智能體（AI Agents）被譽為下一代生產(chǎn)力引擎。市場正陷入一種狂熱：G2報告顯示，57%的B2B公司已將智能體投入生產(chǎn)，市場預(yù)計在未來五年將以接近46%的復(fù)合年增長率增長。
然而，在這股熱潮之下，隱藏著一個核心矛盾：智能體需要決策自主權(quán)才能發(fā)揮最大價值，但許多專家仍將它們視為“黑匣子”，部署它們的組織無法理解其行動背后的推理過程。
這種“自主性”與“透明度”的悖論，正在扼殺智能體的核心賣點。我們正在浪費金錢，因為人類的過度干預(yù)，正將AI智能體變成了“昂貴的瓶頸”。
企業(yè)部署智能體時，最大的錯誤在于誤解了它的本質(zhì)。
Writer產(chǎn)品管理總監(jiān)Matan-Paul Shetrit指出，許多組織將智能體視為類似于簡單的API調(diào)用，認為其輸出是可預(yù)測的。
但實際上，用戶應(yīng)該將它們更多地視為“初級實習(xí)生”。
難以管控：和初級實習(xí)生一樣，它們需要一定的管控措施。控制一個實習(xí)生比控制一個API難得多，因為他們可能有意或無意地造成損害，還可能接觸到不應(yīng)引用的專有信息。
規(guī)模爆炸：Shetrit推測，一個擁有1000名員工的組織部署了10000個智能體，這使得組織瞬間變成了擁有11000個“人”的實體。管理這種規(guī)模的組織，需要重新思考整個組織結(jié)構(gòu)和業(yè)務(wù)運作方式。
廣告技術(shù)提供商Zefr的Jon Morra警告：“現(xiàn)在人們對智能體過于信任，而這正給他們帶來麻煩。” 很多部署LLM（大語言模型）的組織，甚至不知道模型會出現(xiàn)“算錯數(shù)學(xué)題”或“編造數(shù)據(jù)”的風(fēng)險。
這種對“自主權(quán)”的不信任，正在工作流程中造成巨大的阻礙和成本。
過度監(jiān)督：G2報告顯示，63%的受訪者表示，他們的智能體比預(yù)期需要更多的人工監(jiān)督。
信任危機：不到一半的受訪者信任智能體能夠自主做出決策，只有8%的人放心讓智能體擁有完全自主權(quán)。
G2的Tim Sanders認為，這種信任差距對那些對智能體過于謹慎的組織來說可能代價高昂。
“由于流程中涉及過多人工干預(yù)，他們將錯失數(shù)十億美元的成本節(jié)約機會，這在智能體工作流程中造成了瓶頸?！?/span>
為了提高效率而采用智能體，卻因為人類監(jiān)督而造成瓶頸，這完全違背了采用的初衷。
既然完全信任不可行，那么解決方案就是構(gòu)建一個確保“可解釋性”和“有限自治”的架構(gòu)。
原則一：架構(gòu)為王，解決“信任問題”
Kamiwaza AI的CTO James Urquhart指出：人工智能存在信任問題，但這是一個架構(gòu)問題。
不要使用“萬能”智能體：要把智能體視為一個“維修團隊”，而不是一個“瑞士軍刀”。
部署協(xié)調(diào)層：部署一個協(xié)調(diào)層來管理智能體的生命周期、上下文共享、身份驗證和可觀測性。這能讓你在沒有“安全性和治理控制平面”的情況下，避免制造更多混亂。
原則二：限制應(yīng)用范圍，聚焦低風(fēng)險決策
開曼群島數(shù)字轉(zhuǎn)型負責(zé)人Tamsin Deasey-Weinstein建議：
限制范圍：最值得信賴的智能體功能往往非常單一。智能體的權(quán)限越廣泛、越自由，其輸出結(jié)果就越容易出錯。
風(fēng)險評估：最適合智能體的應(yīng)用是低風(fēng)險決策。對于涉及自由、健康、教育、收入等高風(fēng)險決策，AI只能起到輔助作用。
原則三：設(shè)置“硬性護欄”與“最小權(quán)限”安永的Schuller和Unisys的Bennett均強調(diào)，必須在架構(gòu)層面設(shè)置不可逾越的規(guī)則：
零/最小權(quán)限：訪問權(quán)限必須是“有目的的”，而不是“普遍的”。例如，一個助手（copilot）只能訪問會話中“單封電子郵件”，而不是整個收件箱。
硬性檢查：如果AI提出定價或折扣建議，必須執(zhí)行一次“硬性檢查”，確保價格在公司設(shè)定的限制范圍內(nèi)。
【終極答案】Genpact的全球代理AI主管Jinsook Han總結(jié)道：“誰控制AI的問題，需要深思熟慮的架構(gòu)選擇。”
“我是業(yè)主，是房子的主人。我知道邊界在哪里，誰豎起柵欄。我才是那個決定我愿意承擔(dān)多少風(fēng)險的人。”
盡管各組織紛紛急于部署AI agents（AI智能體），但對智能體透明度和決策過程的擔(dān)憂，最終可能會阻礙這項技術(shù)核心賣點的實現(xiàn)。
圖源：Rob Schultz / Shutterstock
許多專家表示，企業(yè)正在迅速部署AI agents（AI智能體），但對AI智能體準(zhǔn)確性的嚴重質(zhì)疑，預(yù)示著未來可能會出現(xiàn)問題 。
AI智能體面臨的矛盾在于，它們需要決策自主權(quán)才能充分發(fā)揮價值 ，但許多人工智能專家仍將它們視為黑匣子，部署這些智能體的組織無法了解其行動背后的推理過程 。他們認為，這種決策缺乏透明度，可能會阻礙智能體作為能夠大幅提高效率的自主工具得到全面應(yīng)用 。
然而，許多人工智能從業(yè)者表達的信任擔(dān)憂似乎并未引起潛在用戶的重視，因為許多組織都已搭上了智能體的熱潮 。
軟件市場調(diào)研機構(gòu)G2在10月份發(fā)布的一項調(diào)查顯示，約57%的B2B（企業(yè)對企業(yè)）公司已經(jīng)將智能體投入生產(chǎn)。幾家信息技術(shù)分析公司預(yù)計，未來幾年AI智能體市場將實現(xiàn)大幅增長。例如，Grand View Research預(yù)測，2025年至2030年間，該市場的復(fù)合年增長率將接近46%。
人工智能專家表示，許多使用AI智能體的客戶組織尚未意識到，如果沒有適當(dāng)?shù)谋Ｕ洗胧悄荏w可能會多么不透明 。而且，即使出臺了相關(guān)管控措施，目前大多數(shù)工具仍不足以防止智能體出現(xiàn)不當(dāng)行為 。
一、 誤解與濫用
智能體構(gòu)建平臺Writer的產(chǎn)品管理總監(jiān)Matan-Paul Shetrit（馬坦-保羅·謝特里特）表示，對智能體的角色和功能存在的廣泛誤解，可能會阻礙這項技術(shù)的發(fā)展 。他說，許多組織將智能體視為類似于簡單的API（應(yīng)用程序編程接口）調(diào)用，認為其輸出是可預(yù)測的，但實際上用戶應(yīng)該將它們更多地視為初級實習(xí)生。
Shetrit補充道：“和初級實習(xí)生一樣，它們需要一定的管控措施，而API相對來說是比較容易控制的東西 。控制一個實習(xí)生實際上要難得多，因為他們可能有意或無意地造成損害，還可能訪問或引用不應(yīng)接觸的信息?！?/span>
他表示，AI智能體開發(fā)人員和用戶企業(yè)面臨的挑戰(zhàn)將是管理所有可能部署的智能體 。
Shetrit推測：“你很容易想象，一個擁有1000人的組織部署了10000個智能體。這個組織不再是擁有1000人的組織了，而是一個擁有11000個‘人’的組織，管理這樣的組織將截然不同 ?！?/span>
廣告技術(shù)提供商Zefr的首席人工智能官Jon Morra（喬恩·莫拉）補充說，許多部署智能體的組織尚未意識到有問題需要解決 。
Morra說：“在當(dāng)下的時代思潮中，人們還沒有充分認識到智能體存在多少信任問題 。對人們來說，人工智能智能體的概念仍然相對較新，很多時候它們是一種在尋找問題的解決方案 ?！?/span>
Morra認為，在很多情況下，可以部署更簡單、更具確定性的技術(shù)，而不是使用智能體（比如傳統(tǒng)AI模型）。他說，許多部署支撐智能體的LLMs（大語言模型）的組織，似乎仍然缺乏對相關(guān)風(fēng)險的基本認識 。
“現(xiàn)在人們對智能體過于信任，而這正給他們帶來麻煩。”他說，“我參加過很多次會議，使用大語言模型的人會問我：‘Jon（喬恩），你有沒有注意到它們算數(shù)學(xué)題會出錯，或者有時會編造數(shù)據(jù)？’我回答：‘是的，這種情況會發(fā)生 ?！?/span>
雖然許多人工智能專家認為，隨著人工智能模型的改進，從長遠來看，人們對智能體的信任會有所提升 ，但Morra認為，永遠無法完全信任智能體，因為人工智能始終存在出錯的可能性。
二、 對自主權(quán)不信任導(dǎo)致的工作流程阻礙
雖然Morra和Shetrit認為人工智能用戶不理解智能體的透明度問題，但G2在10月份發(fā)布的研究報告指出，人們對智能體執(zhí)行某些任務(wù)的信任度在不斷提高 ，比如自動阻止可疑IP地址或回滾失敗的軟件部署 。盡管如此，63%的受訪者表示，他們的智能體比預(yù)期需要更多的人工監(jiān)督。不到一半的受訪者表示，即使有管控措施，他們總體上也信任智能體能夠自主做出決策 ，只有8%的人放心讓智能體擁有完全自主權(quán)。
G2的首席創(chuàng)新官Tim Sanders（蒂姆·桑德斯）并不完全認同一些警告觀點 。他認為，對智能體缺乏信任比技術(shù)缺乏透明度更是個問題 。他說，雖然對新技術(shù)持不信任態(tài)度很正常，但智能體的優(yōu)勢就在于能夠在無需人工干預(yù)的情況下行動 。
他指出，調(diào)查顯示，近一半的B2B公司購買了智能體，但并沒有賦予它們真正的自主權(quán) ?！斑@意味著人類必須對智能體的每一個行動進行評估并批準(zhǔn)，”Sanders說 ，“這似乎違背了為提高效率、生產(chǎn)力和速度而采用智能體的初衷 。”
他認為，這種信任差距對那些對智能體過于謹慎的組織來說可能代價高昂?！坝捎诹鞒讨猩婕斑^多人工干預(yù)，他們將錯失數(shù)十億美元的成本節(jié)約機會，這在智能體工作流程中造成了瓶頸 ，”“信任來之不易，卻很容易失去 。然而，智能體在經(jīng)濟和運營方面的前景，實際上正促使有發(fā)展眼光的企業(yè)領(lǐng)導(dǎo)者給予智能體更多信任，而非退縮 ?！?/span>
三、 謹慎行事
其他人工智能專家提醒企業(yè)的IT負責(zé)人，鑒于人工智能供應(yīng)商仍需解決透明度問題，在部署智能體時要格外小心 。
開曼群島人工智能數(shù)字轉(zhuǎn)型特別工作組負責(zé)人Tamsin Deasey-Weinstein（塔姆辛·迪西-溫斯坦）表示，人工智能在有人參與并實施嚴格治理的情況下效果最佳 ，但很多人工智能智能體存在過度營銷和治理不足的問題 。
Deasey-Weinstein說：“雖然智能體能夠讓人類無需參與流程，這很了不起，但這也讓它們極具危險性 。我們大肆宣揚自主智能體（autonomous agents）的前景，但實際上，如果沒有嚴格的管控措施，它們隨時可能引發(fā)災(zāi)難 ?！?/span>
為解決這種透明度不足的問題，她建議限制智能體的應(yīng)用范圍 。
Deasey-Weinstein說：“最值得信賴的智能體功能往往非常單一。智能體的權(quán)限越廣泛、越自由，其輸出結(jié)果就越容易出錯 。最可靠的智能體承擔(dān)的工作范圍小且明確，同時有非常嚴格的管控措施 ?！?/span>
然而，她也意識到，部署針對性很強的智能體可能對一些用戶缺乏吸引力 。“對于那些總是希望用更少時間和技能完成更多工作的用戶來說，這既沒有賣點，也沒有吸引力 ，”“要記住，如果你的AI智能體可以在無人干預(yù)的情況下撰寫每一封郵件、處理每一份文件并調(diào)用每一個API，那你將無法對其進行控制 。選擇權(quán)在你手中 ?！?/span>
許多人工智能專家還認為，自主智能體最適合用于做出低風(fēng)險決策 。“如果某個決策會影響某人的自由、健康、教育、收入或未來，人工智能只能起到輔助作用 ，”Deasey-Weinstein說，“每一個行動都必須能夠解釋清楚，但人工智能做不到這一點 ?！?/span>
她推薦采用OECD（經(jīng)濟合作與發(fā)展組織）的人工智能原則以及NIST（美國國家標(biāo)準(zhǔn)與技術(shù)研究院）的人工智能風(fēng)險管理框架等框架，作為幫助組織理解人工智能風(fēng)險的指南 。
四、 觀察和協(xié)調(diào)
其他人工智能從業(yè)者指出，新興的人工智能可觀測性實踐是解決智能體不當(dāng)行為的一種方法 ，不過也有人表示，僅靠可觀測性工具可能無法診斷出智能體的根本問題 。
人工智能協(xié)調(diào)供應(yīng)商Kamiwaza AI的現(xiàn)場首席技術(shù)官James Urquhart（詹姆斯·厄克特）表示，使用智能體的組織可以部署一個協(xié)調(diào)層（coordination layer），用于管理智能體的生命周期、上下文共享、身份驗證和可觀測性 。
與Deasey-Weinstein一樣，Urquhart也主張智能體應(yīng)承擔(dān)有限的角色 ，他將協(xié)調(diào)層比作裁判，能夠監(jiān)督一組專業(yè)智能體 ?！安灰褂靡粋€‘萬能’智能體，”他說，“要把智能體當(dāng)作維修團隊，而不是瑞士軍刀 ?！?/span>
他說，人工智能存在信任問題，但這是一個架構(gòu)問題 。
“如今，大多數(shù)企業(yè)都能搭建一個智能體，但很少有企業(yè)能夠解釋、約束并協(xié)調(diào)一群智能體 ，”“如果企業(yè)沒有能夠?qū)崿F(xiàn)規(guī)?；?、安全性和治理的控制平面，就會制造更多混亂 ?！?/span>
作者：格蘭特·格羅斯
譯者：寶藍 ? 編審：@lex
