——BCG與麥肯錫預(yù)警：自動化正在越過“效率”邊界，觸及“倫理”底線。這里有一份人機共治的實操指南。
【導(dǎo)讀】
“如果AI系統(tǒng)采取了影響合規(guī)或收入的行動，誰該負(fù)責(zé)？”
在董事會會議上，這個問題曾讓全場陷入沉默。
當(dāng)自動化工具解決問題的速度超過了開會討論的速度，傳統(tǒng)的責(zé)任模型已經(jīng)失效。作為睿信咨詢顧問，我們觀察到CIO的角色正在發(fā)生本質(zhì)性位移：從基礎(chǔ)設(shè)施的管理者，轉(zhuǎn)變?yōu)椤笆紫灾鞴佟保–hief Autonomous Officer）。
自動化不再只是效率工具，它正在重寫企業(yè)的權(quán)力結(jié)構(gòu)。
洞察一：披著“優(yōu)化”外衣的自主性
自主性很少大張旗鼓地登場，它通常隱藏在“腳本”、“工作流”和“監(jiān)控規(guī)則”中。
現(xiàn)象：工程師為了可靠性或效率，將微小的改進打包上線。
后果：單看無害，合起來卻構(gòu)成了獨立行動的系統(tǒng)。CIO常發(fā)現(xiàn)自己夾在“實驗”與“規(guī)?；敝g，治理機制尚未就位，試點已成長為自我運營的流程。
洞察二：傳統(tǒng)的“審批鏈”正在失效
傳統(tǒng)IT模型依賴“發(fā)起-審批-執(zhí)行-審計”的清晰鏈條。
變化：自主性將這幾層壓縮為一層。編寫邏輯的工程師實際上把“政策”嵌進了代碼中。
風(fēng)險：當(dāng)系統(tǒng)開始從結(jié)果中學(xué)習(xí)時，其行為將超出人類的可見范圍。
風(fēng)險一：沉默取代擁有權(quán)
系統(tǒng)關(guān)閉了工單，卻沒人知道是誰批準(zhǔn)的。一切運行正常，但“解釋”消失了。
風(fēng)險二：日志取代記憶
技術(shù)日志中只有冷冰冰的“由系統(tǒng)執(zhí)行”，沒有作者、上下文或意圖。這在技術(shù)上是正確的，但在操作上是空洞的。
風(fēng)險三：無聲的團隊抵抗
如果不能回答“我是否會被取代”或“我是否要為AI的結(jié)果負(fù)責(zé)”這兩個問題，團隊會產(chǎn)生無聲的抵抗。
為了在創(chuàng)新與控制之間取得平衡，我們建議CIO采用以下“人機共治”框架：
治理維度 | 關(guān)鍵動作 (Action Item) | 執(zhí)行細(xì)節(jié)與標(biāo)準(zhǔn) | 戰(zhàn)略價值 |
可見性管理 | 將工作流“員工化” | 把每個自動化工作流當(dāng)成“員工”建檔：記錄它能做什么、在什么條件下做、誰對結(jié)果負(fù)責(zé)。 | 強制厘清邊界，迫使工程師思考權(quán)限范圍。 |
分類治理 | 建立“交互分級” | 第一級-觀察：AI提供見解，人行動。 第二級-協(xié)作：AI建議，人確認(rèn)。 第三級-委托：AI執(zhí)行，人審查。 | 建立信任階梯，用可度量進展取代直覺。 |
組織架構(gòu) | 設(shè)立“問責(zé)評審委員會” | 由工程、風(fēng)險、合規(guī)成員組成。只批準(zhǔn)“問責(zé)”，不審批“技術(shù)”。確認(rèn)誰負(fù)責(zé)、如何回滾。 | 既能快速推進，又不會因過度監(jiān)督而凍結(jié)創(chuàng)新能力。 |
工程衛(wèi)生 | 內(nèi)置“可解釋性” | 強制記錄觸發(fā)原因、遵循規(guī)則及越閾數(shù)值。回答“為什么系統(tǒng)在特定時間行動？” | 可追溯性是允許自主性在受監(jiān)管行業(yè)繼續(xù)存在的“通行證”。 |
文化建設(shè) | 顯性化“協(xié)作標(biāo)簽” | 對工作流進行標(biāo)記：人類主導(dǎo) / AI領(lǐng)導(dǎo) / 共同管理。 | 將話題從“誰按了按鈕”轉(zhuǎn)變?yōu)椤拔覀內(nèi)绾喂餐瑳Q定”。 |
【結(jié)語】
自主性不是把人類踢出循環(huán)，而是設(shè)計一個新的循環(huán)：讓人與AI（智能體或數(shù)字員工）在其中彼此信任、彼此驗證。
CIO的新使命，是成為共享智能的架構(gòu)師。你準(zhǔn)備好接任“首席自主官”了嗎？
原文：為什么CIO（首席信息官）正在成為CAO（首席自主官）
在自操作系統(tǒng)的新時代，首席信息官將如何在創(chuàng)新與控制之間取得平衡。
圖源：Credit: SvetaZi /?Shutterstock
在上個季度的董事會審查期間，，一位董事問了我一個當(dāng)時答不上來的問題：“如果一個由AI驅(qū)動的系統(tǒng)采取了影響合規(guī)或收入的行動，誰該負(fù)責(zé)？是工程師、供應(yīng)商，還是你？”
會議室安靜了好幾秒，然后所有目光都轉(zhuǎn)向了我。
我管理預(yù)算、處理故障、主導(dǎo)轉(zhuǎn)型項目多年，但這個問題不一樣。它無關(guān)可用性也無關(guān)成本，而是關(guān)于權(quán)力。我們今天部署的系統(tǒng)能夠發(fā)現(xiàn)問題、提出修復(fù)方案，有時甚至能自動執(zhí)行。董事會真正想問的是：當(dāng)軟件自行其是時，這到底是誰的決定？
那一刻讓我耿耿于懷，因為它戳中了許多技術(shù)領(lǐng)導(dǎo)者當(dāng)下的共同感受：自動化已不只是效率工具，它開始觸及治理、信任與倫理。我們的工具可以比我們召開會議更快地解決事件，但我們的責(zé)任模型卻沒有跟上步伐。
我愈發(fā)確信，這正在重新定義首席信息官的角色。無論頭銜是否改變，我們實際上正在成為首席自主官，對企業(yè)內(nèi)部人類與機器如何共同運作負(fù)責(zé)。
波士頓咨詢集團近期的研究也指出，首席信息官的考核標(biāo)準(zhǔn)正從可用性和成本節(jié)約轉(zhuǎn)向其能否跨業(yè)務(wù)職能協(xié)調(diào)AI驅(qū)動的價值創(chuàng)造。這一轉(zhuǎn)變需要更深層的架構(gòu)思維：在創(chuàng)新速度、治理與信任之間取得平衡。
一、自主性如何悄然進入企業(yè)
自主性很少以戰(zhàn)略姿態(tài)登場，它總是披著“優(yōu)化”的外衣悄悄潛入。
一段腳本自動關(guān)閉常規(guī)工單；一個工作流在三次檢查失敗后重啟服務(wù)；一條監(jiān)控規(guī)則無需請示就重新分配流量。單看每一項改進似乎都無害，合起來卻構(gòu)成了能獨立行動的系統(tǒng)。
我在審核自動化提案時，幾乎沒人用“自主”這個詞。工程師們將其包裝為可靠性或效率提升，目標(biāo)是減少人工操作，假設(shè)“以后需要時再加監(jiān)管”。結(jié)果監(jiān)管幾乎永遠(yuǎn)缺席——一旦流程運行得順利，人工復(fù)核就逐漸淡出。
正如麥肯錫最近指出，首席信息官常常發(fā)現(xiàn)自己夾在“實驗”與“規(guī)?；敝g——早期的自動化試點悄無聲息地成長為自我運營的流程，而清晰的治理機制卻并未就位。
這種模式在各個行業(yè)都很普遍。銀行、醫(yī)療、制造業(yè)的同行都描述過同樣的演變：微小的改進最終變成獨立行為。一位首席信息官告訴我，他們的合規(guī)團隊發(fā)現(xiàn)，一個分類機器人未經(jīng)復(fù)核就修改了數(shù)千條訪問控制權(quán)限。機器人完全按設(shè)計運行，但配套的政策語言從未更新。
問題不在能力，而在治理。傳統(tǒng)IT模型把“誰發(fā)起、誰審批、誰執(zhí)行、誰審計”分得清清楚楚，自主性卻把這幾層壓縮成一層。編寫邏輯的工程師實際上把政策嵌進了代碼。當(dāng)系統(tǒng)開始從結(jié)果中學(xué)習(xí)時，其行為就可能超出人類的可見范圍。
為了讓控制權(quán)重新可見，我的團隊開始把每一個自動化工作流當(dāng)成“員工”來建檔：記錄它能做什么、在什么條件下做以及誰對結(jié)果負(fù)責(zé)。聽起來簡單，卻能強制厘清邊界。當(dāng)工程師知道自己會被列為某條工作流的經(jīng)理，他們就會認(rèn)真思考權(quán)限范圍。
自主性總是悄然生長，一旦扎根，領(lǐng)導(dǎo)層就必須決定是正式接納它，還是被它打個措手不及。
二、問責(zé)缺口出現(xiàn)在哪里
1、當(dāng)沉默取代擁有權(quán)
自主性弱化的第一個跡象往往很微妙：系統(tǒng)關(guān)了一張工單，卻沒人知道是誰批準(zhǔn)的；一次變更成功傳播，卻沒人記得編寫了規(guī)則。一切運行正常，解釋卻消失了。
2、當(dāng)日志取代記憶
在一次內(nèi)部評審中，我目睹了這一幕：一個配置調(diào)整讓所有環(huán)境性能提升，但日志條目只有冷冰冰的“由系統(tǒng)執(zhí)行”——無作者、無上下文、無意圖。技術(shù)上正確，操作上空洞無物。
這些時刻讓我明白：問責(zé)不僅是防錯，更是“保留意義”。自動化縮短了設(shè)計與行動之間的差距，創(chuàng)建工作流的人，其實制定了一條可能存續(xù)數(shù)年的“活政策”。
3、當(dāng)政策不再匹配現(xiàn)實
大多數(shù)IT政策仍假設(shè)有人工檢查點：申請、審批、交接。自主性把這些“暫停鍵”都拿掉了，我們程序里的動詞與實際工作方式不再匹配。團隊只能非正式地創(chuàng)造了“人機協(xié)作”，卻無人命名，責(zé)任也隨之漂移。
還有人員成本。當(dāng)系統(tǒng)開始自主行動時，團隊想知道他們是否會被取代，或者他們是否仍然對未親自涉及的結(jié)果負(fù)責(zé)。如果你不早些回答這個問題，就會出現(xiàn)無聲的抵抗。一旦澄清“權(quán)力仍共享”“系統(tǒng)只是延伸人類判斷而非替代”時，采納率反而提升。
4、讓協(xié)作顯性化
為了重獲可見性，我們開始按操作方式對每個關(guān)鍵工作流程進行標(biāo)記：
人類主導(dǎo)：人決策，AI輔助。
AI領(lǐng)導(dǎo)：AI行動，人監(jiān)督。
共同管理：雙方共同學(xué)習(xí)、調(diào)整。
這個小分類法改變了問責(zé)話題，從“誰按了按鈕？”轉(zhuǎn)向“我們?nèi)绾喂餐瑳Q定”。當(dāng)人類參與由設(shè)計定義而不是事后恢復(fù)時，自主性變得更加安全。
三、如何在規(guī)?；敖ㄗo欄
設(shè)計“人機共治”不能僅靠謹(jǐn)慎，必須有架構(gòu)。目標(biāo)不是拖慢自動化，而是保護它繼續(xù)運行的“許可證”。
1、定義交互層級
我們將每個自主工作流程按其所需的人類參與程度進行分類：
第一級-觀察：AI提供見解，人采取行動。
第二級-協(xié)作：AI建議，人確認(rèn)。
第三級-委托：AI在既定邊界內(nèi)執(zhí)行，人審查結(jié)果。
這三級構(gòu)成我們的信任階梯。系統(tǒng)證明穩(wěn)定后逐級上升，框架用可度量進展取代直覺，也避免日后被法務(wù)或?qū)徲嫼巴！?/span>
2、設(shè)立問責(zé)評審委員會
我們從工程、風(fēng)險、合規(guī)三方抽調(diào)成員組成委員會，其職責(zé)是在上線前“批準(zhǔn)問責(zé)”，而非審批技術(shù)本身。對于每條二級或三級工作流程，委員會確認(rèn)三件事：誰對結(jié)果負(fù)責(zé)、回滾方案是什么、可解釋性如何實現(xiàn)。這一步讓我們既能快速推進，又不會在上線后因監(jiān)督而凍結(jié)快速行動的能力。
3、把可解釋性內(nèi)置到系統(tǒng)中
每條自主流必須記錄觸發(fā)原因、遵循規(guī)則以及越閾數(shù)值。這不僅是良好的工程衛(wèi)生，在受監(jiān)管行業(yè)，遲早有人會問“為什么系統(tǒng)在特定時間行動？”若無法用通俗語言回答，自主就會被暫停，可追溯性是允許自主繼續(xù)存在的通行證。
久而久之，這些實踐重塑了團隊思維，我們把自主視為“伙伴”而非“替代”。人提供情境與倫理，AI提供速度與精度，彼此向?qū)Ψ截?fù)責(zé)。
在組織內(nèi)部，我們稱其為“人類+AI”模型。每條工作流程都聲明是由人類主導(dǎo)、AI主導(dǎo)還是共同管理的，這單一的歸屬聲明就能消除猶豫與混淆。
自主不再只是技術(shù)里程碑，而是組織成熟度的一次大考——它檢驗一家企業(yè)能夠多么清晰地定義信任。
四、首席信息官的新使命
我相信，這正是首席信息官角色正在轉(zhuǎn)向的方向。我們不再只是基礎(chǔ)設(shè)施的守護者，而是共享智能的架構(gòu)師，負(fù)責(zé)讓人類推理與機器推理在企業(yè)中安全共存。
自主不是把人類踢出循環(huán)，而是設(shè)計一個循環(huán)：讓人與AI系統(tǒng)在其中彼此信任、彼此驗證、彼此學(xué)習(xí)。如今，這個設(shè)計責(zé)任就落在首席信息官肩上。
這就是“首席自主官”真正的含義。
作者：Saurab Paruthi（薩勞布·帕魯?shù)伲?/span>
譯者：木青
