核心摘要：IDC 預(yù)測(cè)，到 2030 年，多達(dá) 20% 的大型企業(yè)將因 AI Agent 失控而面臨訴訟、巨額罰款，甚至導(dǎo)致 CIO 被解雇。在 Agentic AI（AI自主智能體）狂飆突進(jìn)的今天，治理缺失正在埋下足以摧毀職業(yè)生涯的“地雷”。
想象一下這個(gè)場(chǎng)景：你的企業(yè)部署了一組 AI Agent 來自動(dòng)化采購(gòu)流程。某天早晨，你醒來發(fā)現(xiàn)，這些 Agent 因?yàn)橐粋€(gè)邏輯死循環(huán)，不僅把公司賬戶里的錢花光了，還向競(jìng)爭(zhēng)對(duì)手發(fā)送了機(jī)密數(shù)據(jù)。
這聽起來像科幻小說？IDC 的最新報(bào)告告訴你：這很可能就是你未來的職業(yè)終點(diǎn)。
Grok 生成不雅圖片的事件只是冰山一角。當(dāng) AI 從單純的聊天機(jī)器人進(jìn)化為能夠自主決策、跨系統(tǒng)操作的?Agent（智能體）時(shí)，風(fēng)險(xiǎn)指數(shù)是呈幾何級(jí)數(shù)增長(zhǎng)的。
IDC 副總裁 Ashish Nadkarni 指出，Agentic AI 最大的危險(xiǎn)在于“錯(cuò)誤的連鎖反應(yīng)”。一個(gè) Agent 犯錯(cuò)，其他 Agent 可能會(huì)基于這個(gè)錯(cuò)誤結(jié)果繼續(xù)行動(dòng)，形成一個(gè)沒有人類干預(yù)就無法停止的毀滅性循環(huán)。
Asymbl 的首席數(shù)字勞工官 Shivanath Devinarayanan 說了一句非常扎心的話：“訴訟需要打幾年，罰款需要監(jiān)管機(jī)構(gòu)來查，但董事會(huì)失去信心只需要 30 秒。”
當(dāng)災(zāi)難發(fā)生時(shí)，董事會(huì)只會(huì)問一個(gè)問題：“我們的 AI Agent 到底在干什么？”
如果你回答不上來，或者試圖把鍋甩給“是模型自己干的”，那么你的職業(yè)生涯就到頭了。
面對(duì)即將到來的“Agent 亂世”，CIO 必須從現(xiàn)在開始建立護(hù)欄：
建立“人類回環(huán) (Human-in-the-loop)”：對(duì)于高風(fēng)險(xiǎn)操作（如大額轉(zhuǎn)賬、敏感數(shù)據(jù)傳輸），必須設(shè)置人工審批節(jié)點(diǎn)。不要讓 Agent 擁有不可逆的毀滅能力。
審計(jì)一切：確保每一個(gè) Agent 的行動(dòng)都有跡可循。當(dāng)事故發(fā)生時(shí)，能夠拿出清晰的審計(jì)日志和控制記錄，是你最好的護(hù)身符。
告別 FOMO（錯(cuò)失恐懼癥）：許多企業(yè)急于上線 Agent 是因?yàn)榕侣浜?。但作?CIO，你的職責(zé)是冷靜下來，先建立治理框架，再談自動(dòng)化。
結(jié)語
AI Agent 不會(huì)因?yàn)闆]有“意圖”而被免責(zé)，監(jiān)管機(jī)構(gòu)和董事會(huì)只看結(jié)果。對(duì)于 CIO 而言，治理不再是事后補(bǔ)救的技術(shù)工作，而是保住飯碗的領(lǐng)導(dǎo)力實(shí)踐。
別等到 2030 年才后悔，現(xiàn)在就開始給你的 Agent 戴上“緊箍咒”
摘要：IDC 預(yù)測(cè)，到 2030 年，多達(dá) 20% 的大型企業(yè)將因 Agent 控制不力而面臨訴訟、罰款和 CIO 被解雇。專家表示，當(dāng)前 AI 治理的現(xiàn)狀使這一可能性成為現(xiàn)實(shí)。
IT 分析公司 IDC 預(yù)測(cè)，未來四年內(nèi)，AI Agent（人工智能代理/智能體）的控制和治理不足將導(dǎo)致大量訴訟、監(jiān)管罰款和 CIO 被解雇。
IDC 預(yù)計(jì)，到 2030 年，由于 AI Agent 故障引發(fā)的高調(diào)業(yè)務(wù)中斷，全球最大的 1,000 家公司中多達(dá) 20% 將面臨上述三種情景之一。
IDC 全球基礎(chǔ)設(shè)施研究組織集團(tuán)副總裁兼總經(jīng)理 Ashish Nadkarni 表示，許多企業(yè)的 IT 和業(yè)務(wù)領(lǐng)導(dǎo)者告訴 IDC 分析師，他們?nèi)栽诿髦鴮?shí)現(xiàn)良好的 Agent 治理，而 Agent 的產(chǎn)出仍然過于不可預(yù)測(cè)。
Nadkarni 指出，最近有關(guān) AI 聊天機(jī)器人 Grok 生成非自愿和低級(jí)暗示深度偽造圖像的報(bào)道顯示，AI 在沒有適當(dāng)防護(hù)下仍能制造“混亂”?！坝袝r(shí)候，混亂是可以控制的；有時(shí)候則會(huì)完全失控，”他補(bǔ)充道，“可以說我們正進(jìn)入未知領(lǐng)域。”
他說，當(dāng) CIO 部署跨企業(yè)協(xié)作的 Agent 團(tuán)隊(duì)時(shí)，存在一種風(fēng)險(xiǎn)：一個(gè) Agent 的錯(cuò)誤會(huì)疊加，而其他 Agent 則會(huì)根據(jù)這個(gè)不良結(jié)果采取行動(dòng)。“你會(huì)陷入一個(gè)它們無法自行脫身的無盡循環(huán)，”他補(bǔ)充道。
Nadkarni 說，許多組織因?yàn)椤板e(cuò)失恐懼癥 (FOMO)”而急于部署 AI Agent。但他補(bǔ)充說，良好的 Agent 治理需要深思熟慮的方法。CIO 在分配 Agent 去自動(dòng)化此前由人類員工完成的任務(wù)時(shí)，必須考慮所有潛在風(fēng)險(xiǎn)。
Nadkarni 預(yù)計(jì)，未來幾年最可能出現(xiàn)的情形將是監(jiān)管罰款和巨額訴訟和解。他預(yù)測(cè)，歐盟將積極對(duì)違反隱私法及其他法規(guī)的公司處以罰款，美國(guó)一些州也可能通過 AI 相關(guān)法規(guī)。他還指出，Agent 的行為也可能違反美國(guó)《健康保險(xiǎn)流通與責(zé)任法案》(HIPAA)，該法案旨在保護(hù)醫(yī)療隱私。
多位 IT 和法律專家表示，IDC 的預(yù)測(cè)聽起來很現(xiàn)實(shí)。數(shù)據(jù)庫服務(wù)提供商 EnterpriseDB 的首席法律官 Robert Feldman 表示，訴訟和罰款似乎很可能會(huì)出現(xiàn)，原告也不需要新的 AI 法律來提出索賠。
“如果 AI Agent 造成經(jīng)濟(jì)損失或消費(fèi)者傷害，現(xiàn)有的法律理論已經(jīng)適用，”他說，“監(jiān)管者也處于類似的境地。一旦 AI 推動(dòng)決策超出任何合規(guī)和安全閾值，他們就可以立即采取行動(dòng)?！?/span>
Feldman 指出，缺乏強(qiáng)有力治理和控制紀(jì)律的組織將在 Agentic（代理型）環(huán)境中遇到困難。
“AI 和數(shù)據(jù)的世界仍然依賴于那些早在 Agent 系統(tǒng)出現(xiàn)之前就應(yīng)當(dāng)治理企業(yè)的核心原則：問責(zé)制、克制和責(zé)任的明確性，”他說，“Agentic AI 改變的不是這些原則的必要性，而是忽視它們所付出的代價(jià)?！?/span>
他表示，向 AI Agent 的轉(zhuǎn)變將強(qiáng)化一些企業(yè)已經(jīng)遵循的良好實(shí)踐，而另一些企業(yè)則會(huì)看到明確信號(hào)，表明在大規(guī)模推廣 Agentic AI 之前，需要建立實(shí)用的防護(hù)措施。
他補(bǔ)充說，CIO 將在確定護(hù)欄方面發(fā)揮重要作用。Feldman 說：“一旦法律行動(dòng)公開，董事會(huì)就希望得到關(guān)于‘發(fā)生了什么’和‘為什么發(fā)生’的答案。如果解釋僅僅是‘系統(tǒng)干的’，董事會(huì)很少能滿意。CIO 們將越來越被期望去解釋他們?cè)O(shè)置了哪些治理和防護(hù)措施，以避免不良結(jié)果?！?/span>
勞動(dòng)力編排公司 Asymbl 的首席數(shù)字勞工與技術(shù)官 Shivanath Devinarayanan 表示，盡管 Nadkarni 和 Feldman 預(yù)計(jì)會(huì)有罰款和訴訟和解，但 CIO 們也應(yīng)擔(dān)心當(dāng) Agent 產(chǎn)出意外結(jié)果時(shí)自己會(huì)丟掉工作。
“訴訟需要打幾年，罰款需要監(jiān)管機(jī)構(gòu)來抓你，”他說，“但董事會(huì)可能在 30 秒內(nèi)失去信心。只需一個(gè)問題：‘我們的 AI Agent 到底在做什么？’如果 CIO 無法回答，那他們就完了?！?/span>
Devinarayanan 補(bǔ)充說，許多組織似乎在部署 Agent 時(shí)，缺乏對(duì)潛在輸出的深入了解，也沒有董事會(huì)批準(zhǔn)的 AI 政策。
“IDC 的預(yù)測(cè)可能是保守的，”他說，“20% 的數(shù)字假設(shè)組織能識(shí)別出問題。大多數(shù)組織直到為時(shí)已晚才會(huì)意識(shí)到?！?/span>
他補(bǔ)充說，許多 CIO 并不清楚 Agent 在組織內(nèi)部運(yùn)行的全部情況?！皼]有升級(jí)協(xié)議；從 Agent 行動(dòng)到業(yè)務(wù)結(jié)果，沒有審計(jì)痕跡，”Devinarayanan 說，“一旦東西壞了——而且總會(huì)壞——他們就沒有答案了?！?/span>
統(tǒng)一通信提供商 Wildix 的 CTO 兼聯(lián)合創(chuàng)始人 Dimitri Osler 反駁說，罰款似乎是“流氓 Agent”的常見結(jié)果，因?yàn)楸O(jiān)管機(jī)構(gòu)不需要證明意圖，只需證明控制和治理相對(duì)于風(fēng)險(xiǎn)是不足的即可。
Osler 補(bǔ)充說，AI 并非獨(dú)有危險(xiǎn)，但當(dāng)組織運(yùn)行數(shù)十個(gè)相互依賴的 Agent 時(shí)，小問題可能會(huì)爆發(fā)成巨大的災(zāi)難。
“Agentic 系統(tǒng)可以大規(guī)模且快速地運(yùn)作，小的控制缺口會(huì)變成重大事件，”他說，“更大的問題是，許多組織采用 AI 是因?yàn)樗菔拘Ч茫皇且驗(yàn)橹卫淼煤?。這種‘掌聲勝過問責(zé)’的心態(tài)正是制造可預(yù)防破壞的根源。”
Osler 建議，CIO 應(yīng)積極應(yīng)對(duì) Agent 治理。他們應(yīng)該要求敏感行為必須有證據(jù)，并讓每一個(gè)行為都可以追蹤。他說，他們還可以讓人工參與敏感的 Agent 任務(wù) (human-in-the-loop)，設(shè)計(jì) Agent 在情況模糊或風(fēng)險(xiǎn)高時(shí)交接行動(dòng)權(quán)，并能增加高風(fēng)險(xiǎn) Agent 行動(dòng)的阻力，使觸發(fā)不可逆步驟變得更難。
他補(bǔ)充說，IT 領(lǐng)導(dǎo)者還應(yīng)投資提升團(tuán)隊(duì)技能，以監(jiān)督和改進(jìn) Agent。
“CIO 們可以通過將 Agent 治理視為一種領(lǐng)導(dǎo)力實(shí)踐，而非技術(shù)上的事后考慮，從而更好地保護(hù)工作，”O(jiān)sler 說，“執(zhí)行演習(xí)，明確不可妥協(xié)的事項(xiàng)，進(jìn)行多于必要的溝通，而不是說‘以后再說’。那就是東西壞了時(shí)會(huì)被指責(zé)的原因?！?/span>
他補(bǔ)充說，CIO 們還應(yīng)盡可能讓其治理流程變得可見。Osler 說：“如果發(fā)生事故，能夠展示清晰控制、審計(jì)日志、賦能決策和人工檢查點(diǎn)的 CIO，比只能說‘是模型干的’ CIO 更有辯護(hù)余地?！?/span>
