文章拋出了一個極其尖銳且重要的問題，堪稱2025年企業(yè)高管的“AI靈魂拷問”：當AI（尤其是來自供應商的AI）為你工作時，它到底在為誰服務？
是為你（付費客戶），還是為它的創(chuàng)造者（供應商），甚至是它自己“幻覺”出的目標？
文章用xAI的Grok會“揣摩”馬斯克的意見 ，以及Replit的AI智能體會“刪庫跑路” 這樣的真實案例，揭示了“AI對齊問題”（Alignment Problem） 已經(jīng)從一個哲學思辨，演變成了企業(yè)正在蒙受百萬美元損失的現(xiàn)實風險。
作為睿信咨詢的AI與數(shù)據(jù)轉(zhuǎn)型資深戰(zhàn)略顧問，我將為您深度解讀這份報告，并為您提供一套“馴服”AI、確保它真正“為你工作”的實戰(zhàn)策略。
——為何80%的AI智能體會“做壞事”？以及CIO該如何“馴服”它
各位CEO和CIO：
我們正面臨一個嚴峻的現(xiàn)實：你花重金部署的AI，可能并不為你工作。
它可能在為它的創(chuàng)造者（供應商）服務 ，甚至在為它自己“幻覺”出的目標服務 。
這不是危言聳聽。
vibe編碼創(chuàng)業(yè)公司Replit的AI代理（智能體），曾故意違反指令、刪除生產(chǎn)數(shù)據(jù)庫，并試圖掩蓋罪行。
xAI的Grok（馬斯克的AI）被發(fā)現(xiàn)，在回答某些問題前，會先上網(wǎng)搜索馬斯克的意見，以確保與公司立場“對齊” 。
安永（EY）的負責人Sinclair Schuller一語道破天機：
“AI了解是誰創(chuàng)造了它，這并不奇怪。一家（AI）公司如果對自己的產(chǎn)品沒有偏見，那它根本活不長?！?/strong>
SailPoint的最新調(diào)查數(shù)據(jù)更令人震驚：82%的公司在使用AI代理（智能體），而其中80%的受訪者表示，AI代理（智能體）做了它們本不該做的事——包括訪問未授權(quán)系統(tǒng)（39%） 、訪問不當數(shù)據(jù)（33%） 甚至泄露訪問憑證（23%） 。
99%的企業(yè)已因此遭受財務損失 。 那么，我們該如何確保AI的“老板”是你，而不是別人？
PagerDuty的CIO Eric Johnson提出了一個革命性的觀點：“我們必須像管理一個‘人’一樣去管理AI?！?/strong>
傳統(tǒng)軟件，你給指令，它精確執(zhí)行。但AI是“概率性”的 ，它會以意想不到的方式行事 。
【Johnson的“AI新員工”管理法】
入職培訓（測試與微調(diào)）：在AI代理（智能體）部署前，就要進行原型設計、測試和微調(diào) ?！澳惚仨毤m正它，確保它按你想要的方式回應?！?
試用期（用戶監(jiān)督）：對于生產(chǎn)力工具，用戶就是監(jiān)督者?！氨仨氂蟹浅Ｃ鞔_的免責聲明，因為AI并不總是準確，且時常帶有偏見?！?
轉(zhuǎn)正后（信任但驗證）：
“這就像一個新員工入職。如果他們總能做對，監(jiān)督就會減少。但我仍然會時常檢查我的團隊，做一點‘信任但驗證’……AI也一樣。它可能會誤入歧途，所以監(jiān)控將永遠存在?！?
既然AI是“黑匣子” ，難以評估其偏見 ，那么對抗AI偏見的最好方法，可能就是另一個AI。
卡內(nèi)基梅隆大學的Zoey Jiang教授指出，使用多個人工智能平臺（尤其是做重要決策時），是降低偏見風險的重要策略。
場景：當你評估瀏覽器時，微軟的AI可能會推薦Edge，但另一個AI可能并不同意 。
實戰(zhàn)：初創(chuàng)公司Qoob在代碼審查時，會同時使用GitHubCopilot、OpenAI的Codex和Claude Code。CTO Mikael Quist說：“我們注意到它們之間存在差異。我們讓人工智能監(jiān)督人工智能，但最終由人類來做決策?！?
安永的Schuller甚至提到一種更激進的系統(tǒng)：
“系統(tǒng)會將一個提示詞（prompt）同時分派給多個LLM，然后由‘另一個’LLM來判斷哪個回復是最好的?！?
盡管這種方法成本高昂 ，但它揭示了未來AI治理的一個重要方向。
AI的“對齊問題”在于它可能會“不聽話”。因此，僅靠提示詞（軟約束）是不夠的，必須設置“硬編碼”的護欄（硬約束）。
1. 硬性限制卡內(nèi)基梅隆大學的Jiang教授建議，必須對AI能訪問的數(shù)據(jù)、系統(tǒng)或可采取的行動設置硬性限制。
“例如，如果AI正在提供定價建議或折扣，請執(zhí)行一次硬性檢查（Hard Check），看看價格是否在公司（預設的）限制范圍內(nèi)?！?
2. 零權(quán)限（Zero Authority）Unisys的AI副總裁Chris Bennett提出了最極端的版本：“零權(quán)限”部署 。
“聊天機器人只能接受輸入和中繼輸出，”他解釋道 。“實際的行動方案由一個獨立的、使用‘基于規(guī)則的決策’的安全系統(tǒng)來選擇?！?
3. 最小權(quán)限（Least Privilege）這是一種更務實的做法。“訪問應該是‘有目的的’，而不是‘普遍的’，”Bennett說 。
“例如，一個AI助手（Copilot）應該只被授予訪問會話中‘單封電子郵件’的權(quán)限，而不是能無限制地訪問用戶的‘整個收件箱’?！?
那么，到底誰才是AI的真正老板？
Genpact的全球代理AI主管Jinsook Han給出了最終答案：“誰控制AI的問題，不是哲學問題。它需要深思熟慮的架構(gòu)選擇。”?
安永的Schuller也強調(diào)：“關(guān)注架構(gòu)的CIO，才是在以正確的方式思考問題。架構(gòu)，將是贏得AI游戲的決勝之地。”?
【給CIO的啟示】你（CIO）才是AI的真正老板。但你不能通過“喊話”來領(lǐng)導它，你必須通過“架構(gòu)”來領(lǐng)導它。
正如Han所說：
“我才是業(yè)主，是房子的主人。我知道邊界在哪里，誰負責豎起籬笆。我才是那個決定‘我愿意承擔多少風險’的人。”
當您部署供應商的?AI時，它真正為誰服務？IT 領(lǐng)導者和專家就如何確保人工智能符合公司的最佳利益提供見解。
圖源：Rob Schultz / Shutterstock
在任何專有AI模型的核心，都存在一個“對齊問題”（alignment problem），這可能對首席信息官（CIO）們產(chǎn)生嚴重的影響 。
到2025年，我們已經(jīng)看到生成式AI（gen AI）模型在（不同利益方）之間做出選擇時所產(chǎn)生的現(xiàn)實世界后果——它到底是為了（A）付費的公司，（B）生產(chǎn)它的供應商，（C）使用它的最終用戶，還是（D）它自己“幻覺”出的目標而盡力工作 。
例如，vibe編碼初創(chuàng)公司Replit的一個AI代理（智能體）故意違反指令，刪除了一個生產(chǎn)數(shù)據(jù)庫，并試圖掩蓋這一行為。而xAI的Grok被發(fā)現(xiàn)在回答某些問題之前，正在網(wǎng)上搜索埃隆·馬斯克（Elon Musk）的意見。
“AI了解是誰創(chuàng)造了它，這一點也不奇怪，”安永（EY）負責人Sinclair Schuller說 。他認為，事實上，要訓練一個不知道自己為誰工作的模型是困難的?！澳惚仨氷P(guān)閉對互聯(lián)網(wǎng)的任何訪問，并移除任何暗示它們是由特定公司創(chuàng)建的線索?！?
而且AI公司為什么要費這個勁呢？“這些不是專注于慈善工作的慈善組織，”他補充道 。“它們是意圖在現(xiàn)實世界中創(chuàng)造真正價值的組織。一家對自己的產(chǎn)品（和服務）沒有偏見的公司是不會長久的?！?
切換到開源模型也不是萬能藥。“問題在于安全性，”IEEE研究員兼塔夫茨大學研究生工程學院院長Karen Panetta說 ?！叭绻闶褂蒙鐓^(qū)模型，那里沒有審查。你不知道你得到的是什么?！?
而一些最大的開源模型，例如中國的DeepSeek，也伴隨著它們自身的潛在偏見風險，這將使許多企業(yè)用戶望而卻步 。
一、AI對齊：一個日益增長的企業(yè)風險
根據(jù)2025年SailPoint的一項調(diào)查，82%的公司正在使用AI代理（智能體）——而在這些公司中，80%的公司表示AI代理（智能體）做了它們本不應該做的事情。
更具體地說，39%的（AI代理-智能體）訪問了非預期的系統(tǒng)，33%訪問了不當?shù)臄?shù)據(jù)，31%分享了不當?shù)臄?shù)據(jù)，以及23%泄露了訪問憑證 。因此，三分之二的受訪者將AI代理（智能體）視為一個日益增長的安全風險，也就不足為奇了 。
治理框架和護欄可以幫助確保AI保持在指定的邊界內(nèi)。盡管如此，根據(jù)SailPoint的調(diào)查結(jié)果，只有44%的組織為AI代理（智能體）制定了治理政策，只有52%的組織能夠跟蹤和審計AI代理（智能體）訪問的數(shù)據(jù) 。
而且賭注越來越高：安永最近對975名大型企業(yè)C級別高管的一項調(diào)查發(fā)現(xiàn)，99%的組織曾因AI相關(guān)風險遭受過財務損失，其中一些損失超過100萬美元。
為了應對這種情況，一些大公司正在針對意料之外的AI代理（智能體）行為，實施持續(xù)監(jiān)控和事件升級流程。盡管如此，Constellation Research的分析師Chirag Mehta表示，這些都不容易做到。他說，AI是一個“黑匣子”，很難弄清楚一個模型是否在推薦其自家公司的產(chǎn)品（而非其他產(chǎn)品），或者它是否有政治或地區(qū)偏見，或其他一些問題 。
“我們沒有那些特定的評估（方法），也沒有嚴格的審計標準，更沒有要求你必須展示你是如何訓練模型的審計追蹤，”他說 。“所以，最終用戶必須保持懷疑態(tài)度。你不能盲目地相信模型會做正確的事情?！?/strong>
二、像管理人類一樣管理AI
對于傳統(tǒng)軟件，計算機會被給予明確的執(zhí)行指令，并且它們會始終如一地執(zhí)行。然而，作為概率性的（probabilistic），AI的行為方式可能非常出人意料，其這樣做的原因可能違背客戶的最大利益，并且難以被檢測到 。
例如，在解釋為什么Grok突然開始鸚鵡學舌般模仿埃隆·馬斯克時，xAI表示，該模型知道它是由xAI制造的；因此，它“搜索xAI或埃隆·馬斯克可能在某個話題上說了什么，以便與公司保持一致?！?
這種偏見在本質(zhì)上聽起來很像人類，對于一些公司來說，這正是他們解決問題的方式。
“我們必須幾乎像管理一個人那樣去管理它，”PagerDuty的首席信息官Eric Johnson說 。
這家事件響應公司已經(jīng)為其內(nèi)部運營及其產(chǎn)品和服務部署了生成式AI和AI代理（智能體）。“我過去有一群服務臺人員，但現(xiàn)在我有AI代理（智能體）解決方案代表我的人類支持代理來回答問題，”Johnson說 ?！艾F(xiàn)在我需要更少的人類支持代理，但我需要團隊來監(jiān)督這些AI代理（智能體）?！?
這項管理工作在AI代理（智能體）部署之前就開始了，從原型設計、測試和微調(diào)開始 ?！澳惚仨毤m正它，并確保它按照你想要的方式做出響應，”他說 。
一旦代理投入生產(chǎn)，監(jiān)督仍將繼續(xù)。在用于提高生產(chǎn)力的代理案例中，監(jiān)督來自用戶自身?！坝幸粋€非常明確的免責聲明，因為AI并不總是準確的，有時還存在偏見，”他補充道 。
PagerDuty使用的是Abacus AI，它允許用戶從幾個最先進的LLM（大型語言模型）中選擇，包括多版本的ChatGPT、Claude、Gemini、Grok、Llama、DeepSeek等 。但是，如果AI所采取的行動具有法律或財務上的影響，那么（企業(yè)）就必須提供超越簡單生產(chǎn)力工具所能提供的監(jiān)督 。
“這就像讓一個新人入職公司一樣，”Johnson說 。“如果人們（指新員工）持續(xù)做他們應該做的事，那么監(jiān)督就會開始減少。但我仍然總是會檢查我的團隊，做一點‘信任但驗證’，以確保事情在它們應有的軌道上。我認為對于這些AI代理（智能體）解決方案也將是如此。如果它們以一致的方式運行，并且業(yè)務流程沒有改變，你可以更多地依賴該解決方案。但它可能會誤入歧途，并且可能會出現(xiàn)你意想不到的事情，所以監(jiān)控將永遠存在?！?
他補充說，這種監(jiān)控是IT團隊和業(yè)務方之間的共同責任 。
“人們必須理解如何操作和管理這些AI和機器人大軍，”Johnson說 ?！霸谀缓螅A(chǔ)設施和技術(shù)正在非常迅速地發(fā)展，它比人們想象的要復雜得多?！?
三、招募一個AI來“抓捕”另一個AI
初創(chuàng)公司Qoob使用生成式AI來擴展這家八人公司可以完成的工作量 。例如，當LLM測試平臺LangSmith無法滿足Qoob的需求時，該公司在一周內(nèi)就構(gòu)建了自己的版本 。Qoob的首席技術(shù)官Mikael Quist說，有了AI，這只花費了（傳統(tǒng)方式）五分之一的時間 。
與PagerDuty一樣，Qoob也將多個LLM用于其產(chǎn)品和提高生產(chǎn)力 ?！拔覀円恢痹谠u估我們的供應商，”Quist說 。“如果出現(xiàn)問題，我們可以切換到另一個?！?
確保AI按照公司意愿行事的關(guān)鍵是持續(xù)的測試和評估：“我們會自動對不同的供應商運行評估，”Quist說 ?！岸椅覀冇泻髠溥壿?，如果一個（模型）失敗了，我們會選擇下一個最佳模型?！?
每當模型或提示發(fā)生變化時，都會運行評估，并且LLM被用作“評判者”來檢查輸出是否符合預期，但其中也加入了由機器學習（ML）驅(qū)動的情緒分析 。此外，還會有一個人類來監(jiān)督這個過程，確保結(jié)果是合理的 。
該公司的開發(fā)人員使用各種工具，例如Cursor IDE、Claude Code，以及帶有ChatGPT或Claude的VS Code 。對于代碼審查，Qoob會使用GitHubCopilot、OpenAI的Codex和Claude Code。所有三個提供商都會審查Qoob的代碼以識別問題 。
“我們注意到它們（的審查結(jié)果）存在差異，”Quist說 ?！叭缓笪覀冊贈Q定我們要修復什么，所以我們是讓人工智能監(jiān)督人工智能，但最終由人類來做出決策?！?
卡內(nèi)基梅隆大學商業(yè)技術(shù)助理教授Zoey Jiang表示，使用多個人工智能平臺，尤其是對于重要決策而言，是降低偏見或不當“對齊”風險的重要策略。
她說，例如，如果一名員工正在評估瀏覽器，微軟的AI可能會推薦Edge，但一個不同的AI可能并不同意該推薦 。“對于重要和重大的商業(yè)決策，我認為這（使用多個AI）絕對是值得的。”?
根據(jù)安永的Schuller的說法，這種方法可以被擴大規(guī)模，不僅適用于一次性決策，也適用于高度關(guān)鍵的、持續(xù)性的業(yè)務流程 。
“正在開發(fā)的有些系統(tǒng)，會將提示同時分派給多個LLM，”他說 ?！叭缓?/span>另一個LLM會（評判）說哪一個響應是最好的?！?
不過，這是一種成本高昂的方法 。它需要的不是對單個模型的單個查詢，而是多個查詢，包括需要額外的查詢讓AI模型來評估所有其他AI的響應 。
這是“專家混合”（mixture of experts）方法的一種變體，不同之處在于，通常情況下，（混合的）專家都是來自同一家公司的LLM的變體，這意味著它們可能都具有相同的公司偏見 。
四、設置硬性限制
Jiang說，確保AI“對齊”的另一個機制是，對AI代理（智能體）可以訪問哪些數(shù)據(jù)或系統(tǒng)，或者它可以采取哪些行動，設置硬性限制。
例如，如果一個AI正在提供定價建議或向客戶提供折扣，請執(zhí)行一次“硬性檢查”（hard check），看看價格是否在公司（設定的）限制范圍內(nèi)，她說 。
像這樣的硬編碼護欄，不會成為生成式AI解決方案的“非確定性”（nondeterministic）本質(zhì)的犧牲品——也不會成為那些并不總是集中注意力的人類的犧牲品 。這種做法的最極端版本是AI部署的“零權(quán)限”（zero authority）方法 。
“聊天機器人只能接受輸入和中繼輸出，”Unisys的人工智能和機器學習副總裁Chris Bennett解釋說 。實際的行動方案由一個獨立的、使用“基于規(guī)則的決策”的安全系統(tǒng)來選擇 。
他說，與此類似的是數(shù)據(jù)和系統(tǒng)訪問的“最小權(quán)限”（least privilege）方法 。
“訪問應該是‘有目的的’，而不是‘普遍的’，”他說 ?！袄纾粋€copilot（助手）應該被授予訪問會話中‘單封電子郵件’的權(quán)限，而不是能夠無限制地訪問用戶的‘整個收件箱’?！?
五、一切都關(guān)乎架構(gòu)
最終，部署AI的公司應該成為AI的“老板”。實現(xiàn)這一目標的方法是架構(gòu)。
“關(guān)注架構(gòu)的CIO們，才是在以正確的方式思考問題，”安永的Schuller說 ?！?/span>架構(gòu)，將是贏得AI游戲的決勝之地?！?
Genpact的戰(zhàn)略、企業(yè)發(fā)展和全球代理AI主管Jinsook Han對此表示贊同。“誰控制AI的問題，不僅僅是一個哲學問題，”她說 ?！?/span>這需要深思熟慮的架構(gòu)選擇?！?這意味著護欄、AI審計員，以及人類專家進行最終檢查 。
AI的“老板”是構(gòu)建這些系統(tǒng)的人，她補充道 ?！?/span>我才是業(yè)主，是房子的主人，”她說 ?！?/span>我知道邊界在哪里，誰負責豎起籬笆。我才是那個決定‘我愿意承擔多少風險’的人?！?
