導(dǎo)語：
試想這樣一個(gè)場景：在一個(gè)無人的假期周末，你公司的一項(xiàng)關(guān)鍵 AI 業(yè)務(wù)流突然“脫韁”——它可能批量做出了錯(cuò)誤的定價(jià)決策，也可能剛剛泄露了一批敏感的客戶數(shù)據(jù)。
當(dāng)警報(bào)拉響的那一刻，平時(shí)掛在嘴邊的“敏捷組織”和“跨部門協(xié)同”都不再重要，所有人腦海里只會(huì)浮現(xiàn)出一個(gè)極其尖銳的問題：這事兒，到底該誰負(fù)責(zé)？
隨著 AI 從實(shí)驗(yàn)室的“玩具”全面進(jìn)入企業(yè)生產(chǎn)環(huán)境，問責(zé)制已經(jīng)不再是一個(gè)單純的技術(shù)Bug，而是一場直逼高管層的生存考驗(yàn)。
很多企業(yè)在引入 AI 時(shí)，心里都打著如意算盤：“這系統(tǒng)是供應(yīng)商開發(fā)的，出了事自然找他們?！被蛘哒J(rèn)為“這是算法黑盒的錯(cuò)，非人力所能控”。
但在法律面前，這種辯護(hù)極其蒼白。正如 AI 和知識(shí)產(chǎn)權(quán)律師 Jessica Eaves Mathews 所言：“當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，出現(xiàn)在法庭上的絕不會(huì)是算法，而是開發(fā)、部署或使用它的人類?！?/strong>法律的底層邏輯從未改變：誰最有能力防止損害，誰就承擔(dān)責(zé)任。作為將 AI 整合到現(xiàn)實(shí)商業(yè)決策中的企業(yè)（部署方），你無法將法律責(zé)任“外包”給供應(yīng)商或算法。在不遠(yuǎn)的將來，必將有幾家企業(yè)因?yàn)樘幚聿划?dāng)而淪為全行業(yè)的“反面典型”。
如果說對外的法律責(zé)任由企業(yè)主體承擔(dān)，那么對內(nèi)的運(yùn)營問責(zé)，往往會(huì)無情地砸向 CIO（首席信息官）。
現(xiàn)在的業(yè)務(wù)團(tuán)隊(duì)太喜歡繞過 IT 部門去“嘗鮮”了。他們用幾分鐘就能跑通一個(gè) AI 概念驗(yàn)證，早期結(jié)果往往令人驚艷。但隨著這些“影子 AI”在企業(yè)內(nèi)野蠻生長，控制措施卻遠(yuǎn)遠(yuǎn)滯后。
前 GE 全球 CIO Chris Drumgoole 一針見血地指出：“當(dāng)問題爆發(fā)的那一刻，所有人都會(huì)第一時(shí)間看向 CIO，指望他們來解決問題，并解釋到底發(fā)生了什么。”這造成了一種極其扭曲的“權(quán)責(zé)失衡”：CIO 并沒有正式被賦予擁有所有 AI 的權(quán)力，卻要為那些自己無法完全控制、甚至沒有直接授權(quán)的系統(tǒng)和決策承擔(dān)最終的風(fēng)險(xiǎn)。運(yùn)營的現(xiàn)實(shí)，硬生生地將 CIO 逼成了企業(yè)的最后一道防線。
面對 AI 的復(fù)雜性，許多企業(yè)構(gòu)建了看似完美的“分散式治理模型”：法律團(tuán)隊(duì)看合規(guī)，風(fēng)控團(tuán)隊(duì)定框架，IT 保障運(yùn)行，業(yè)務(wù)團(tuán)隊(duì)看產(chǎn)出。
但在真正的危機(jī)面前，“責(zé)任分散”往往是“無人負(fù)責(zé)”的代名詞。
當(dāng)算法偏見、數(shù)據(jù)泄露、商業(yè)秘密侵權(quán)等風(fēng)險(xiǎn)交織在一起時(shí)，職能部門的邊界就會(huì)變得模糊。支付反欺詐平臺(tái)的首席人工智能官 Simon Elcham 提醒道：“AI 并沒有取代責(zé)任，它只是增加了可能出錯(cuò)的環(huán)節(jié)數(shù)量?！?治理可以在設(shè)計(jì)上是分布式的，但最終的問責(zé)絕不可能被無限稀釋，它必然會(huì)壓縮到一個(gè)單一的責(zé)任節(jié)點(diǎn)上。
為了消除這種模糊性，一些企業(yè)開始設(shè)立 CAIO（首席人工智能官），試圖在不扼殺創(chuàng)新的前提下集中監(jiān)督權(quán)。
但這并不是為了消滅沖突，而是將“剎車”和“油門”的張力制度化——業(yè)務(wù)部門負(fù)責(zé)踩油門，合規(guī)和風(fēng)控負(fù)責(zé)踩剎車。然而，即使有了 CAIO，當(dāng)創(chuàng)新與安全發(fā)生不可調(diào)和的分歧時(shí)，最終的決定權(quán)往往還是會(huì)升級到 CEO 或 CFO 桌面。權(quán)力可以下放，但最終責(zé)任永遠(yuǎn)無法委派。
今天企業(yè)最大的危機(jī)在于：“以生產(chǎn)的速度部署 AI，卻以委員會(huì)的速度進(jìn)行治理?！?/strong>
隨著 AI 的全面鋪開，它或許去中心化了企業(yè)的決策方式，模糊了決策的生成路徑，但它絕對無法消除責(zé)任。相反，試錯(cuò)成本的急劇增加，正在以前所未有的強(qiáng)度倒逼企業(yè)強(qiáng)化問責(zé)制。
各位高管，是時(shí)候厘清你們的 AI 責(zé)任清單了。別等到法庭的傳票送到桌面上，才開始思考“誰該負(fù)責(zé)”這個(gè)問題。
全文：AI在分散決策行為，但并未分散問責(zé)
隨著AI（人工智能）投入生產(chǎn)環(huán)境，責(zé)任由多團(tuán)隊(duì)共同承擔(dān)。然而，當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，法院會(huì)將問責(zé)主體限定得更具體。
圖源：Gorodenkoff / Shutterstock
在一個(gè)假期周末，當(dāng)公司的大多數(shù)人都不在線時(shí)，一個(gè)關(guān)鍵系統(tǒng)出現(xiàn)故障。一個(gè)由AI驅(qū)動(dòng)的工作流程停滯不前，或者更糟糕的是，批量產(chǎn)生錯(cuò)誤決策，導(dǎo)致產(chǎn)品定價(jià)錯(cuò)誤或敏感數(shù)據(jù)泄露。在那一刻，組織理論不再重要，誰該負(fù)責(zé)的問題立即被提了出來。
隨著AI從實(shí)驗(yàn)階段進(jìn)入實(shí)際應(yīng)用階段，問責(zé)制不再是技術(shù)問題，而是高管層問責(zé)問題。雖然治理框架表明責(zé)任由法律、風(fēng)險(xiǎn)、IT和業(yè)務(wù)團(tuán)隊(duì)共同承擔(dān)，但當(dāng)出現(xiàn)問題時(shí)，法院最終可能會(huì)發(fā)現(xiàn)責(zé)任的分配遠(yuǎn)沒有那么平均。
畢竟，AI可能擴(kuò)散決策行為，但不會(huì)分散法律賠償責(zé)任。
一、出現(xiàn)在法庭上的不是AI，而是人
AI和知識(shí)產(chǎn)權(quán)律師、Leverage Legal Group的創(chuàng)始人Jessica Eaves Mathews（杰西卡·伊夫斯·馬修斯）明白，當(dāng)一個(gè)AI系統(tǒng)影響到一個(gè)重大決策時(shí)，出現(xiàn)在法庭上的不會(huì)是算法。她說：“會(huì)是開發(fā)、部署或使用它的人類。”然而，目前更深層次的不確定性在于，幾乎沒有判例法來指導(dǎo)這些決策。
Mathews（馬修斯）將這一時(shí)刻比作互聯(lián)網(wǎng)的早期階段，當(dāng)時(shí)法院仍在研究現(xiàn)有的法律框架如何適用于新技術(shù)。她表示：“我們?nèi)蕴幱诤芏嗲闆r都只是推測的階段?！北O(jiān)管機(jī)構(gòu)已經(jīng)表明，責(zé)任不能外包給算法。但責(zé)任將如何在供應(yīng)商、部署者和高管之間分配仍然沒有定論——這種不確定性不太可能持續(xù)太久。
她說：“將會(huì)有一些公司成為反面典型，展示不該如何處理這種情況。現(xiàn)在正在司法系統(tǒng)中審理的案件將決定事情的發(fā)展走向?！?/span>
在大多數(shù)情況下，責(zé)任將首先且主要?dú)w于部署該系統(tǒng)的組織，即選擇實(shí)施該系統(tǒng)的企業(yè)。她補(bǔ)充說：“聲稱我們是從供應(yīng)商那里購買的，這不太可能成為一種抗辯理由。”
即使技術(shù)是新的，其背后的法律原則卻是人們所熟悉的：責(zé)任由最有能力防止損害的一方承擔(dān)。在AI的背景下，這往往是將系統(tǒng)整合到現(xiàn)實(shí)世界決策中的組織，所以改變的不是誰負(fù)責(zé)，而是證明已經(jīng)采取了適當(dāng)?shù)谋Ｕ洗胧┳兊枚嗝蠢щy。
二、CIO（首席信息官）作為系統(tǒng)的最終風(fēng)控防線
如果法律賠償責(zé)任指向企業(yè)，那么運(yùn)營問責(zé)往往集中在CIO身上。雖然在大多數(shù)組織中，CIO并不正式擁有AI，但他們確實(shí)擁有AI運(yùn)行所依賴的系統(tǒng)、基礎(chǔ)設(shè)施和數(shù)據(jù)管道。
DXC Technology全球基礎(chǔ)設(shè)施服務(wù)總裁、前GE（通用電氣）全球CIO和CTO（首席技術(shù)官）Chris Drumgoole（克里斯·德拉姆古勒）表示：“無論他們愿不愿意，CIO現(xiàn)在都處于AI治理和風(fēng)險(xiǎn)監(jiān)督的業(yè)務(wù)范疇內(nèi)。”
這種模式越來越為人所熟悉，也越來越可預(yù)測。業(yè)務(wù)團(tuán)隊(duì)經(jīng)常在正式流程之外試驗(yàn)AI工具，早期結(jié)果很有前景。采用速度加快，但控制措施卻滯后。然后就會(huì)出現(xiàn)問題。Drumgoole（德拉姆古勒）說：“在那一刻，每個(gè)人首先會(huì)指望CIO來解決問題，然后指望他們解釋問題是如何發(fā)生的?！?/span>
影子AI的興起加劇了這種動(dòng)態(tài)。與早期的影子IT形式不同，這里的風(fēng)險(xiǎn)不僅限于成本或效率低下。它們還包括數(shù)據(jù)泄露、監(jiān)管風(fēng)險(xiǎn)和聲譽(yù)損害等問題。
Drumgoole（德拉姆古勒）說：“現(xiàn)在每個(gè)人都自認(rèn)為是專家。這些工具很容易獲取，概念驗(yàn)證的速度以分鐘來衡量。”對于CIO來說，這造成了一種結(jié)構(gòu)性權(quán)責(zé)失衡。他們要對自己沒有完全控制權(quán)的系統(tǒng)負(fù)責(zé)，而且越來越多地要對自己沒有直接授權(quán)的決策負(fù)責(zé)。
實(shí)際上，這使得CIO成為企業(yè)的最后一道防線，這不是因?yàn)橹卫砟Ｊ劫x予了這個(gè)角色，而是因?yàn)檫\(yùn)營現(xiàn)實(shí)如此。
三、分布式問責(zé)的錯(cuò)覺
然而，大多數(shù)組織并沒有圍繞單一的、負(fù)有責(zé)任的高管來構(gòu)建治理結(jié)構(gòu)。相反，他們正在構(gòu)建分散式模型，以反映AI的跨職能性質(zhì)。
OneTrust隱私與數(shù)據(jù)治理高級副總裁兼總經(jīng)理Ojas Rege（奧賈斯·雷格）認(rèn)為這種分散是不可避免的，但也可能具有誤導(dǎo)性。他說：“AI治理涵蓋法律、合規(guī)、風(fēng)險(xiǎn)、IT和業(yè)務(wù)領(lǐng)域。沒有單一職能部門能夠端到端地管理它?！?/span>
但這并不意味著問責(zé)制以同樣的方式被分擔(dān)。在Rege（雷格）看來，對結(jié)果的責(zé)任仍然牢牢地由業(yè)務(wù)部門承擔(dān)。他說：“你仍然要讓業(yè)務(wù)所有者對結(jié)果負(fù)責(zé)。如果這些結(jié)果依賴于AI系統(tǒng)，他們必須弄清楚如何承擔(dān)這一責(zé)任?！?/span>
然而，在實(shí)踐中，治理是分散的。法律團(tuán)隊(duì)解釋監(jiān)管風(fēng)險(xiǎn)，風(fēng)險(xiǎn)與合規(guī)部門定義框架，IT部門保障并運(yùn)行系統(tǒng)。結(jié)果是一個(gè)責(zé)任看似分散，但在接受檢驗(yàn)時(shí)問責(zé)制卻并非如此的模型——而且它常常會(huì)壓縮到一個(gè)單一責(zé)任節(jié)點(diǎn)上。支付反欺詐平臺(tái)Trustpair的聯(lián)合創(chuàng)始人兼首席人工智能官Simon Elcham（西蒙·埃爾查姆）說：“AI并沒有取代責(zé)任。它增加了可能出錯(cuò)的環(huán)節(jié)數(shù)量?！?/span>
而且這些環(huán)節(jié)正在成倍增加。除了安全和隱私等傳統(tǒng)問題之外，企業(yè)現(xiàn)在還必須管理算法偏差和歧視、知識(shí)產(chǎn)權(quán)侵權(quán)、商業(yè)秘密泄露以及模型輸出的可解釋能力有限等問題。
每個(gè)風(fēng)險(xiǎn)類別可能屬于不同的職能部門，但當(dāng)它們相交時(shí)（在AI系統(tǒng)中這種情況經(jīng)常發(fā)生），責(zé)任歸屬就變得模糊了。Mathews（馬修斯）更尖銳地指出，問責(zé)最終在于那些本可以防止損害發(fā)生的人。AI系統(tǒng)的難點(diǎn)在于，多個(gè)參與者可能看似合理地聲稱或否認(rèn)扮演了那個(gè)角色。所以結(jié)果是一個(gè)設(shè)計(jì)上分散，但在執(zhí)行中并不總是連貫一致的治理模型。
四、CAIO（首席人工智能官）的出現(xiàn)及其局限性
為了解決這種模糊性，一些組織開始通過新的領(lǐng)導(dǎo)角色來正式確定AI問責(zé)制。CAIO就是一種在不限制創(chuàng)新的情況下集中監(jiān)督的嘗試。
在面向財(cái)產(chǎn)與意外險(xiǎn)保險(xiǎn)行業(yè)的對話平臺(tái)Hi Marley，CTO Jonathan Tushman（喬納森·圖什曼）最近擴(kuò)大了他的職責(zé)范圍，將CAIO的職責(zé)納入其中，正式確立了他所描述的對AI基礎(chǔ)設(shè)施和治理的高管問責(zé)制。在他看來，有效的AI治理取決于結(jié)構(gòu)化的分離。他說：“AI運(yùn)營部門負(fù)責(zé)在內(nèi)部如何構(gòu)建和運(yùn)行人工智能，但產(chǎn)品中的AI屬于CTO和產(chǎn)品領(lǐng)導(dǎo)層，合規(guī)和法律部門則充當(dāng)獨(dú)立的制衡力量。”
這樣做的目的不是消除緊張關(guān)系，而是將其制度化。Tushman（圖什曼）說：“你需要有人推動(dòng)AI向前發(fā)展，也需要有人加以約束。價(jià)值就在于這種緊張關(guān)系之中。”
這反映了企業(yè)治理中一種更廣泛的轉(zhuǎn)變，即從集中控制轉(zhuǎn)向管理相互競爭的優(yōu)先事項(xiàng)（速度與安全、創(chuàng)新與合規(guī)）之間的摩擦。然而，即使是這種模式也有其局限性。
當(dāng)分歧不可避免地出現(xiàn)時(shí)，必須有人決定是繼續(xù)推進(jìn)、暫停還是改變方向。Tushman（圖什曼）說：“在大多數(shù)組織中，這個(gè)決定往往會(huì)升級到CEO（首席執(zhí)行官）或CFO（首席財(cái)務(wù)官）那里?！?/span>
換句話說，CAIO可能會(huì)協(xié)調(diào)問責(zé)制。但最終責(zé)任仍然落在高層，且無法被委派出去。
五、部署與治理之間日益擴(kuò)大的差距
如果AI問責(zé)制的組織模式仍在演變，那么部署與治理之間的差距已經(jīng)在日益擴(kuò)大。Mathews（馬修斯）說：“公司以生產(chǎn)速度部署AI，但治理節(jié)奏滯后于委員會(huì)決策效率。這就是風(fēng)險(xiǎn)所在。”
結(jié)果，后果開始顯現(xiàn)。許多組織甚至缺乏對整個(gè)企業(yè)中正在使用的AI系統(tǒng)的基本清單。影子AI進(jìn)一步使可見性變得復(fù)雜，因?yàn)閱T工會(huì)獨(dú)立采用工具，而且往往不了解其中的影響。
風(fēng)險(xiǎn)既是直接的，也是系統(tǒng)性的。員工可能會(huì)將敏感的公司數(shù)據(jù)輸入到公共AI平臺(tái)，無意中泄露商業(yè)秘密。AI生成的內(nèi)容可能侵犯受版權(quán)保護(hù)的材料，決策系統(tǒng)可能產(chǎn)生有偏差或歧視性的結(jié)果，從而引發(fā)監(jiān)管審查。
與此同時(shí)，即使在缺乏明確法律先例的情況下，監(jiān)管期望也在提高。正如Mathews（馬修斯）所描述的，這種快速部署、有限治理和法律不確定性的組合，使得少數(shù)備受矚目的案件很可能會(huì)塑造AI問責(zé)制的未來。
六、最終問責(zé)歸屬
盡管AI治理存在諸多復(fù)雜性，但一種模式正變得愈發(fā)清晰。責(zé)任或許會(huì)被分散，權(quán)力或許會(huì)被共享，新的角色或許會(huì)出現(xiàn)以協(xié)調(diào)監(jiān)督事宜，但問責(zé)制不會(huì)無限期地處于分散狀態(tài)。
當(dāng)系統(tǒng)出現(xiàn)故障，或者監(jiān)管機(jī)構(gòu)進(jìn)行干預(yù)時(shí)，責(zé)任往往會(huì)指向企業(yè)領(lǐng)導(dǎo)層，從運(yùn)營層面來講，則指向與相關(guān)系統(tǒng)最為密切的高管。AI或許會(huì)使決策方式去中心化，模糊決策產(chǎn)生的路徑，并對傳統(tǒng)的控制觀念發(fā)起挑戰(zhàn)，但它無法消除責(zé)任。如果說有什么影響的話，那便是它強(qiáng)化了問責(zé)要求。
AI問責(zé)制是一個(gè)人們熟悉的問題，只是通過一個(gè)更為復(fù)雜的系統(tǒng)折射了出來。不同之處在于，這個(gè)系統(tǒng)運(yùn)行得更快，犯錯(cuò)的成本也在不斷增加。
