——BCG與麥肯錫預(yù)警:自動(dòng)化正在越過“效率”邊界,觸及“倫理”底線。這里有一份人機(jī)共治的實(shí)操指南。

【導(dǎo)讀】
“如果AI系統(tǒng)采取了影響合規(guī)或收入的行動(dòng),誰該負(fù)責(zé)?”
在董事會(huì)會(huì)議上,這個(gè)問題曾讓全場陷入沉默。
當(dāng)自動(dòng)化工具解決問題的速度超過了開會(huì)討論的速度,傳統(tǒng)的責(zé)任模型已經(jīng)失效。作為睿信咨詢顧問,我們觀察到CIO的角色正在發(fā)生本質(zhì)性位移:從基礎(chǔ)設(shè)施的管理者,轉(zhuǎn)變?yōu)椤笆紫灾鞴佟保–hief Autonomous Officer)。
自動(dòng)化不再只是效率工具,它正在重寫企業(yè)的權(quán)力結(jié)構(gòu)。
洞察一:披著“優(yōu)化”外衣的自主性
自主性很少大張旗鼓地登場,它通常隱藏在“腳本”、“工作流”和“監(jiān)控規(guī)則”中。
現(xiàn)象:工程師為了可靠性或效率,將微小的改進(jìn)打包上線。
后果:單看無害,合起來卻構(gòu)成了獨(dú)立行動(dòng)的系統(tǒng)。CIO常發(fā)現(xiàn)自己夾在“實(shí)驗(yàn)”與“規(guī)模化”之間,治理機(jī)制尚未就位,試點(diǎn)已成長為自我運(yùn)營的流程。
洞察二:傳統(tǒng)的“審批鏈”正在失效
傳統(tǒng)IT模型依賴“發(fā)起-審批-執(zhí)行-審計(jì)”的清晰鏈條。
變化:自主性將這幾層壓縮為一層。編寫邏輯的工程師實(shí)際上把“政策”嵌進(jìn)了代碼中。
風(fēng)險(xiǎn):當(dāng)系統(tǒng)開始從結(jié)果中學(xué)習(xí)時(shí),其行為將超出人類的可見范圍。
風(fēng)險(xiǎn)一:沉默取代擁有權(quán)
系統(tǒng)關(guān)閉了工單,卻沒人知道是誰批準(zhǔn)的。一切運(yùn)行正常,但“解釋”消失了。
風(fēng)險(xiǎn)二:日志取代記憶
技術(shù)日志中只有冷冰冰的“由系統(tǒng)執(zhí)行”,沒有作者、上下文或意圖。這在技術(shù)上是正確的,但在操作上是空洞的。
風(fēng)險(xiǎn)三:無聲的團(tuán)隊(duì)抵抗
如果不能回答“我是否會(huì)被取代”或“我是否要為AI的結(jié)果負(fù)責(zé)”這兩個(gè)問題,團(tuán)隊(duì)會(huì)產(chǎn)生無聲的抵抗。
為了在創(chuàng)新與控制之間取得平衡,我們建議CIO采用以下“人機(jī)共治”框架:
治理維度 | 關(guān)鍵動(dòng)作 (Action Item) | 執(zhí)行細(xì)節(jié)與標(biāo)準(zhǔn) | 戰(zhàn)略價(jià)值 |
可見性管理 | 將工作流“員工化” | 把每個(gè)自動(dòng)化工作流當(dāng)成“員工”建檔:記錄它能做什么、在什么條件下做、誰對結(jié)果負(fù)責(zé)。 | 強(qiáng)制厘清邊界,迫使工程師思考權(quán)限范圍。 |
分類治理 | 建立“交互分級” | 第一級-觀察:AI提供見解,人行動(dòng)。 第二級-協(xié)作:AI建議,人確認(rèn)。 第三級-委托:AI執(zhí)行,人審查。 | 建立信任階梯,用可度量進(jìn)展取代直覺。 |
組織架構(gòu) | 設(shè)立“問責(zé)評審委員會(huì)” | 由工程、風(fēng)險(xiǎn)、合規(guī)成員組成。只批準(zhǔn)“問責(zé)”,不審批“技術(shù)”。確認(rèn)誰負(fù)責(zé)、如何回滾。 | 既能快速推進(jìn),又不會(huì)因過度監(jiān)督而凍結(jié)創(chuàng)新能力。 |
工程衛(wèi)生 | 內(nèi)置“可解釋性” | 強(qiáng)制記錄觸發(fā)原因、遵循規(guī)則及越閾數(shù)值?;卮稹盀槭裁聪到y(tǒng)在特定時(shí)間行動(dòng)?” | 可追溯性是允許自主性在受監(jiān)管行業(yè)繼續(xù)存在的“通行證”。 |
文化建設(shè) | 顯性化“協(xié)作標(biāo)簽” | 對工作流進(jìn)行標(biāo)記:人類主導(dǎo) / AI領(lǐng)導(dǎo) / 共同管理。 | 將話題從“誰按了按鈕”轉(zhuǎn)變?yōu)椤拔覀內(nèi)绾喂餐瑳Q定”。 |
【結(jié)語】
自主性不是把人類踢出循環(huán),而是設(shè)計(jì)一個(gè)新的循環(huán):讓人與AI(智能體或數(shù)字員工)在其中彼此信任、彼此驗(yàn)證。
CIO的新使命,是成為共享智能的架構(gòu)師。你準(zhǔn)備好接任“首席自主官”了嗎?
原文:為什么CIO(首席信息官)正在成為CAO(首席自主官)
在自操作系統(tǒng)的新時(shí)代,首席信息官將如何在創(chuàng)新與控制之間取得平衡。
圖源:Credit: SvetaZi /?Shutterstock
在上個(gè)季度的董事會(huì)審查期間,,一位董事問了我一個(gè)當(dāng)時(shí)答不上來的問題:“如果一個(gè)由AI驅(qū)動(dòng)的系統(tǒng)采取了影響合規(guī)或收入的行動(dòng),誰該負(fù)責(zé)?是工程師、供應(yīng)商,還是你?”
會(huì)議室安靜了好幾秒,然后所有目光都轉(zhuǎn)向了我。
我管理預(yù)算、處理故障、主導(dǎo)轉(zhuǎn)型項(xiàng)目多年,但這個(gè)問題不一樣。它無關(guān)可用性也無關(guān)成本,而是關(guān)于權(quán)力。我們今天部署的系統(tǒng)能夠發(fā)現(xiàn)問題、提出修復(fù)方案,有時(shí)甚至能自動(dòng)執(zhí)行。董事會(huì)真正想問的是:當(dāng)軟件自行其是時(shí),這到底是誰的決定?
那一刻讓我耿耿于懷,因?yàn)樗林辛嗽S多技術(shù)領(lǐng)導(dǎo)者當(dāng)下的共同感受:自動(dòng)化已不只是效率工具,它開始觸及治理、信任與倫理。我們的工具可以比我們召開會(huì)議更快地解決事件,但我們的責(zé)任模型卻沒有跟上步伐。
我愈發(fā)確信,這正在重新定義首席信息官的角色。無論頭銜是否改變,我們實(shí)際上正在成為首席自主官,對企業(yè)內(nèi)部人類與機(jī)器如何共同運(yùn)作負(fù)責(zé)。
波士頓咨詢集團(tuán)近期的研究也指出,首席信息官的考核標(biāo)準(zhǔn)正從可用性和成本節(jié)約轉(zhuǎn)向其能否跨業(yè)務(wù)職能協(xié)調(diào)AI驅(qū)動(dòng)的價(jià)值創(chuàng)造。這一轉(zhuǎn)變需要更深層的架構(gòu)思維:在創(chuàng)新速度、治理與信任之間取得平衡。
一、自主性如何悄然進(jìn)入企業(yè)
自主性很少以戰(zhàn)略姿態(tài)登場,它總是披著“優(yōu)化”的外衣悄悄潛入。
一段腳本自動(dòng)關(guān)閉常規(guī)工單;一個(gè)工作流在三次檢查失敗后重啟服務(wù);一條監(jiān)控規(guī)則無需請示就重新分配流量。單看每一項(xiàng)改進(jìn)似乎都無害,合起來卻構(gòu)成了能獨(dú)立行動(dòng)的系統(tǒng)。
我在審核自動(dòng)化提案時(shí),幾乎沒人用“自主”這個(gè)詞。工程師們將其包裝為可靠性或效率提升,目標(biāo)是減少人工操作,假設(shè)“以后需要時(shí)再加監(jiān)管”。結(jié)果監(jiān)管幾乎永遠(yuǎn)缺席——一旦流程運(yùn)行得順利,人工復(fù)核就逐漸淡出。
正如麥肯錫最近指出,首席信息官常常發(fā)現(xiàn)自己夾在“實(shí)驗(yàn)”與“規(guī)?;敝g——早期的自動(dòng)化試點(diǎn)悄無聲息地成長為自我運(yùn)營的流程,而清晰的治理機(jī)制卻并未就位。
這種模式在各個(gè)行業(yè)都很普遍。銀行、醫(yī)療、制造業(yè)的同行都描述過同樣的演變:微小的改進(jìn)最終變成獨(dú)立行為。一位首席信息官告訴我,他們的合規(guī)團(tuán)隊(duì)發(fā)現(xiàn),一個(gè)分類機(jī)器人未經(jīng)復(fù)核就修改了數(shù)千條訪問控制權(quán)限。機(jī)器人完全按設(shè)計(jì)運(yùn)行,但配套的政策語言從未更新。
問題不在能力,而在治理。傳統(tǒng)IT模型把“誰發(fā)起、誰審批、誰執(zhí)行、誰審計(jì)”分得清清楚楚,自主性卻把這幾層壓縮成一層。編寫邏輯的工程師實(shí)際上把政策嵌進(jìn)了代碼。當(dāng)系統(tǒng)開始從結(jié)果中學(xué)習(xí)時(shí),其行為就可能超出人類的可見范圍。
為了讓控制權(quán)重新可見,我的團(tuán)隊(duì)開始把每一個(gè)自動(dòng)化工作流當(dāng)成“員工”來建檔:記錄它能做什么、在什么條件下做以及誰對結(jié)果負(fù)責(zé)。聽起來簡單,卻能強(qiáng)制厘清邊界。當(dāng)工程師知道自己會(huì)被列為某條工作流的經(jīng)理,他們就會(huì)認(rèn)真思考權(quán)限范圍。
自主性總是悄然生長,一旦扎根,領(lǐng)導(dǎo)層就必須決定是正式接納它,還是被它打個(gè)措手不及。
二、問責(zé)缺口出現(xiàn)在哪里
1、當(dāng)沉默取代擁有權(quán)
自主性弱化的第一個(gè)跡象往往很微妙:系統(tǒng)關(guān)了一張工單,卻沒人知道是誰批準(zhǔn)的;一次變更成功傳播,卻沒人記得編寫了規(guī)則。一切運(yùn)行正常,解釋卻消失了。
2、當(dāng)日志取代記憶
在一次內(nèi)部評審中,我目睹了這一幕:一個(gè)配置調(diào)整讓所有環(huán)境性能提升,但日志條目只有冷冰冰的“由系統(tǒng)執(zhí)行”——無作者、無上下文、無意圖。技術(shù)上正確,操作上空洞無物。
這些時(shí)刻讓我明白:問責(zé)不僅是防錯(cuò),更是“保留意義”。自動(dòng)化縮短了設(shè)計(jì)與行動(dòng)之間的差距,創(chuàng)建工作流的人,其實(shí)制定了一條可能存續(xù)數(shù)年的“活政策”。
3、當(dāng)政策不再匹配現(xiàn)實(shí)
大多數(shù)IT政策仍假設(shè)有人工檢查點(diǎn):申請、審批、交接。自主性把這些“暫停鍵”都拿掉了,我們程序里的動(dòng)詞與實(shí)際工作方式不再匹配。團(tuán)隊(duì)只能非正式地創(chuàng)造了“人機(jī)協(xié)作”,卻無人命名,責(zé)任也隨之漂移。
還有人員成本。當(dāng)系統(tǒng)開始自主行動(dòng)時(shí),團(tuán)隊(duì)想知道他們是否會(huì)被取代,或者他們是否仍然對未親自涉及的結(jié)果負(fù)責(zé)。如果你不早些回答這個(gè)問題,就會(huì)出現(xiàn)無聲的抵抗。一旦澄清“權(quán)力仍共享”“系統(tǒng)只是延伸人類判斷而非替代”時(shí),采納率反而提升。
4、讓協(xié)作顯性化
為了重獲可見性,我們開始按操作方式對每個(gè)關(guān)鍵工作流程進(jìn)行標(biāo)記:
人類主導(dǎo):人決策,AI輔助。
AI領(lǐng)導(dǎo):AI行動(dòng),人監(jiān)督。
共同管理:雙方共同學(xué)習(xí)、調(diào)整。
這個(gè)小分類法改變了問責(zé)話題,從“誰按了按鈕?”轉(zhuǎn)向“我們?nèi)绾喂餐瑳Q定”。當(dāng)人類參與由設(shè)計(jì)定義而不是事后恢復(fù)時(shí),自主性變得更加安全。
三、如何在規(guī)模化之前建護(hù)欄
設(shè)計(jì)“人機(jī)共治”不能僅靠謹(jǐn)慎,必須有架構(gòu)。目標(biāo)不是拖慢自動(dòng)化,而是保護(hù)它繼續(xù)運(yùn)行的“許可證”。
1、定義交互層級
我們將每個(gè)自主工作流程按其所需的人類參與程度進(jìn)行分類:
第一級-觀察:AI提供見解,人采取行動(dòng)。
第二級-協(xié)作:AI建議,人確認(rèn)。
第三級-委托:AI在既定邊界內(nèi)執(zhí)行,人審查結(jié)果。
這三級構(gòu)成我們的信任階梯。系統(tǒng)證明穩(wěn)定后逐級上升,框架用可度量進(jìn)展取代直覺,也避免日后被法務(wù)或?qū)徲?jì)喊停。
2、設(shè)立問責(zé)評審委員會(huì)
我們從工程、風(fēng)險(xiǎn)、合規(guī)三方抽調(diào)成員組成委員會(huì),其職責(zé)是在上線前“批準(zhǔn)問責(zé)”,而非審批技術(shù)本身。對于每條二級或三級工作流程,委員會(huì)確認(rèn)三件事:誰對結(jié)果負(fù)責(zé)、回滾方案是什么、可解釋性如何實(shí)現(xiàn)。這一步讓我們既能快速推進(jìn),又不會(huì)在上線后因監(jiān)督而凍結(jié)快速行動(dòng)的能力。
3、把可解釋性內(nèi)置到系統(tǒng)中
每條自主流必須記錄觸發(fā)原因、遵循規(guī)則以及越閾數(shù)值。這不僅是良好的工程衛(wèi)生,在受監(jiān)管行業(yè),遲早有人會(huì)問“為什么系統(tǒng)在特定時(shí)間行動(dòng)?”若無法用通俗語言回答,自主就會(huì)被暫停,可追溯性是允許自主繼續(xù)存在的通行證。
久而久之,這些實(shí)踐重塑了團(tuán)隊(duì)思維,我們把自主視為“伙伴”而非“替代”。人提供情境與倫理,AI提供速度與精度,彼此向?qū)Ψ截?fù)責(zé)。
在組織內(nèi)部,我們稱其為“人類+AI”模型。每條工作流程都聲明是由人類主導(dǎo)、AI主導(dǎo)還是共同管理的,這單一的歸屬聲明就能消除猶豫與混淆。
自主不再只是技術(shù)里程碑,而是組織成熟度的一次大考——它檢驗(yàn)一家企業(yè)能夠多么清晰地定義信任。
四、首席信息官的新使命
我相信,這正是首席信息官角色正在轉(zhuǎn)向的方向。我們不再只是基礎(chǔ)設(shè)施的守護(hù)者,而是共享智能的架構(gòu)師,負(fù)責(zé)讓人類推理與機(jī)器推理在企業(yè)中安全共存。
自主不是把人類踢出循環(huán),而是設(shè)計(jì)一個(gè)循環(huán):讓人與AI系統(tǒng)在其中彼此信任、彼此驗(yàn)證、彼此學(xué)習(xí)。如今,這個(gè)設(shè)計(jì)責(zé)任就落在首席信息官肩上。
這就是“首席自主官”真正的含義。
作者:Saurab Paruthi(薩勞布·帕魯?shù)伲?/span>
譯者:木青