盡管至關(guān)重要，但大多數(shù)組織仍未實(shí)施AI監(jiān)測(cè)和風(fēng)險(xiǎn)管理平臺(tái)。究竟是什么阻礙了這一進(jìn)程呢？
圖源：Rob Schultz / Shutterstock
隨著過去幾年P(guān)rincipal Financial Group（美國(guó)信安金融集團(tuán)）的AI應(yīng)用不斷增加，對(duì)全面的AI治理戰(zhàn)略以及幫助監(jiān)控和執(zhí)行該策略的工具的需求也隨之增加。
副總裁兼首席數(shù)據(jù)與分析官Rajesh Arora（拉杰什·阿羅拉）表示：“我們正在利用超過100個(gè)活躍的AI用例，包括用于欺詐檢測(cè)、理賠自動(dòng)化、投資研究、退休計(jì)劃優(yōu)化以及客服中心支持的自然語言處理、機(jī)器學(xué)習(xí)和生成式人工智能模型?！比欢?span style="font-family: 微軟雅黑, "Microsoft YaHei"; font-size: 16px; color: rgb(64, 118, 0); font-weight: bold;">每個(gè)用例都帶來了風(fēng)險(xiǎn)，例如合規(guī)性、偏見和倫理問題，這些都需要一個(gè)AI治理策略。
這家投資管理公司首先開發(fā)了符合ethical and responsible AI/ERAI（道德且負(fù)責(zé)任的AI）框架，該框架涵蓋了AI從引入、風(fēng)險(xiǎn)分類到模型驗(yàn)證和持續(xù)監(jiān)測(cè)的整個(gè)生命周期。該框架要求其所有AI應(yīng)用都具備可解釋性、人工監(jiān)督和隱私控制。隨后，Principal部署了AI治理平臺(tái)Credo AI，用于梳理所有AI應(yīng)用，并進(jìn)行風(fēng)險(xiǎn)評(píng)估、數(shù)據(jù)隱私管理、合規(guī)跟蹤，確保與AI法規(guī)和標(biāo)準(zhǔn)保持一致。他還表示：“我們還在ServiceNow中試點(diǎn)一些治理工作流程?！?/span>
Gartner（高德納咨詢公司）副總裁兼杰出分析師Avivah Litan（阿維瓦·利坦）表示，AI帶來的風(fēng)險(xiǎn)是切實(shí)存在的。她說：“主要問題包括數(shù)據(jù)泄露、信息泄露，以及返回不準(zhǔn)確、不需要的輸出結(jié)果，尤其是生成式人工智能，這些可能導(dǎo)致做出錯(cuò)誤的決策。”
EY（安永會(huì)計(jì)師事務(wù)所）負(fù)責(zé)人工智能的負(fù)責(zé)人Sinclair Schuller（辛克萊·舒勒）補(bǔ)充道，AI治理對(duì)每個(gè)企業(yè)來說都絕對(duì)至關(guān)重要。他說：“治理不善可能導(dǎo)致公司運(yùn)營(yíng)失敗?！?/span>
盡管需要解決這些問題，但實(shí)施情況并不像緊迫性所暗示的那樣廣泛。
一、緩慢的應(yīng)用曲線
Gartner已將AI治理平臺(tái)確定為2025年的第二大戰(zhàn)略趨勢(shì)。據(jù)預(yù)測(cè)，使用這些工具的組織將經(jīng)歷少40%的與AI相關(guān)的倫理事件。但這些平臺(tái)仍未得到廣泛使用——這并非因?yàn)檫@些工具不成熟。Litan（利坦）說：“CIO不想投資這些工具，因?yàn)樗麄兒茈y從這些應(yīng)用中獲得投資回報(bào)率?！钡侥壳盀橹?，安全和風(fēng)險(xiǎn)管理一直被視為事后考慮的事情。
例如，Webster Bank（韋伯斯特銀行）執(zhí)行副總裁兼首席信息官Vikram Nafde（維克拉姆·納夫德）表示，盡管該行已為各種業(yè)務(wù)流程部署了生成式人工智能解決方案，包括文檔處理、非結(jié)構(gòu)化數(shù)據(jù)處理和同行信用評(píng)估，但到目前為止，該行尚未確定應(yīng)用專門的AI治理平臺(tái)。該行還制定了內(nèi)部治理指南，創(chuàng)建了正式的AI使用政策，并成立了一個(gè)AI治理委員會(huì)，為組織內(nèi)AI的合理設(shè)計(jì)、實(shí)施和使用提供監(jiān)督、戰(zhàn)略指導(dǎo)和治理。
如今，Nafde（納夫德）表示：“我們依靠現(xiàn)有的企業(yè)工具，如Jira、SharePoint和ServiceNow，來管理AI治理的各個(gè)環(huán)節(jié)，如工作流程、控制措施和證據(jù)跟蹤?！钡惨恢痹谠u(píng)估AI治理平臺(tái)的選項(xiàng)。他說：“理想情況下，我們希望有一個(gè)單一平臺(tái)，提供全面覆蓋整個(gè)AI治理生命周期的解決方案，包括與內(nèi)部風(fēng)險(xiǎn)、法律、數(shù)據(jù)和安全領(lǐng)域的集成。”
Litan（利坦）指出，隨著代理型AI技術(shù)的擴(kuò)展，這類具有自主決策能力的AI舉措將推動(dòng)AI治理平臺(tái)的廣泛應(yīng)用。她說：“代理型AI高度不可預(yù)測(cè)且極易失控，必須通過管控措施約束其行為?！碑?dāng)前許多企業(yè)依賴人工審查和政策監(jiān)管，但未來兩年當(dāng)autonomous agents（自主代理體）爆發(fā)式發(fā)展時(shí)，其極快速度將使企業(yè)無法依靠人工手段進(jìn)行控制。她補(bǔ)充道：“市場(chǎng)炒作遠(yuǎn)超實(shí)際應(yīng)用，要達(dá)到生產(chǎn)力平穩(wěn)期還需要幾年時(shí)間?！薄贕artner的術(shù)語中，這意味著主流應(yīng)用。
二、AI治理工具的現(xiàn)狀
人工智能商業(yè)戰(zhàn)略咨詢公司Dr. Lisa AI的首席執(zhí)行官兼首席人工智能官Lisa Palmer（麗莎·帕爾默）表示，AI治理平臺(tái)可以幫助CIO監(jiān)控模型性能、檢測(cè)偏差、執(zhí)行政策以及簡(jiǎn)化合規(guī)審查。她在CIO Advisory Guide, 5 Strategic AI Governance Priorities Every CIO/CAIO Must Own（《首席信息官咨詢指南：每位首席信息官/首席人工智能官必須關(guān)注的五大人工智能治理戰(zhàn)略重點(diǎn)》）中寫道，這些平臺(tái)能夠檢測(cè)模型中的偏差和公平性問題，提供模型可解釋性（如特征歸因和熱圖），并實(shí)時(shí)監(jiān)控模型性能、漂移情況以及合規(guī)性。
她說：“像Fiddler、TruEra和Credo AI這樣的工具能夠發(fā)現(xiàn)可解釋性方面的差距，追蹤數(shù)據(jù)來源，并確保模型在實(shí)際應(yīng)用中按預(yù)期運(yùn)行。但它們無法取代人類的判斷力，無法定義商業(yè)價(jià)值，也不能自動(dòng)將AI用例與戰(zhàn)略重點(diǎn)保持一致?！?/span>
Litan（利坦）估計(jì)，AI治理平臺(tái)市場(chǎng)中有30到40家供應(yīng)商，不過，由于采用率較低，可供參考的客戶案例并不多。她說，這也是Gartner尚未發(fā)布魔力象限報(bào)告（該報(bào)告用于評(píng)選市場(chǎng)領(lǐng)先者和落后者）的原因之一。
但Litan（利坦）補(bǔ)充說，有些工具在AI治理的特定領(lǐng)域有優(yōu)勢(shì)。例如，Zenity在監(jiān)控Microsoft產(chǎn)品（如365 Copilot）方面表現(xiàn)出色，Cranium在第三方風(fēng)險(xiǎn)管理方面出類拔萃，Noma Security擅長(zhǎng)處理基礎(chǔ)設(shè)施和運(yùn)行時(shí)違規(guī)問題，Holistic在偏見測(cè)試方面表現(xiàn)上佳。
AI治理工具還可以幫助制定和執(zhí)行關(guān)于第三方AI使用（如ChatGPT或Anthropic）的政策，以及內(nèi)部設(shè)計(jì)和開發(fā)新的AI資產(chǎn)的政策。Schuller（舒勒）表示：“這些工具能夠描述使用政策，并協(xié)助執(zhí)行這些政策。”
三、采購(gòu)前的準(zhǔn)備步驟
在評(píng)估AI治理工具之前，CIO們需要采取幾個(gè)步驟，從建立AI應(yīng)用清單和創(chuàng)建政策框架開始。Palmer（帕爾默）說：“需要明確該工具需要解決什么問題，誰對(duì)治理結(jié)果負(fù)責(zé)，以及現(xiàn)有的或需要制定的政策、工作流程和閾值有哪些。如果不清楚這些，即使是最好的工具也會(huì)表現(xiàn)不佳。CIO應(yīng)該首先確定他們的用例，并評(píng)估風(fēng)險(xiǎn)等級(jí)。處于早期階段的組織會(huì)從MLOps（機(jī)器學(xué)習(xí)運(yùn)維）平臺(tái)中受益，而成熟的組織則需要政策執(zhí)行層或偏差審計(jì)自動(dòng)化工具。”
Litan（利坦）補(bǔ)充道：“首先要做好規(guī)劃。制定AI問責(zé)政策。梳理所有AI應(yīng)用。確保清楚了解情況，知道誰在使用什么，以及風(fēng)險(xiǎn)程度如何。然后整理好數(shù)據(jù)，確保數(shù)據(jù)有適當(dāng)?shù)臋?quán)限設(shè)置和分類，并做好安全保護(hù)?！?/span>
三、選擇AI治理工具時(shí)的考量因素
Palmer（帕爾默）說，在評(píng)估工具選項(xiàng)時(shí)，CIO們應(yīng)該關(guān)注以下功能：模型可解釋性、偏差檢測(cè)、政策自動(dòng)化和基于規(guī)則的合規(guī)觸發(fā)機(jī)制、實(shí)時(shí)模型性能監(jiān)控、可審計(jì)性以及便于監(jiān)管審查的文檔記錄，還有與現(xiàn)有模型開發(fā)生命周期的集成等功能。
Schuller（舒勒）補(bǔ)充說，一開始就要有一套選擇標(biāo)準(zhǔn)，并對(duì)未來的治理模式有一個(gè)清晰的構(gòu)想?！叭绻闼疾斓钠脚_(tái)無法滿足這些要求，那就應(yīng)該排除它?！彼€表示，要尋找那些具有特定功能的平臺(tái)，即能夠定義一項(xiàng)所有項(xiàng)目都必須遵循的治理政策，然后創(chuàng)建繼承這些政策的子政策。
Nafde（納夫德）對(duì)此表示認(rèn)同。他說：“這個(gè)功能非常強(qiáng)大，尤其是在跨多個(gè)業(yè)務(wù)線或領(lǐng)域大規(guī)模管理治理時(shí)。能夠在因地制宜的情況下執(zhí)行基本政策，這是在不減緩創(chuàng)新速度的前提下實(shí)現(xiàn)組織協(xié)調(diào)一致的關(guān)鍵。”
但這些政策仍需人工審批。Schuller（舒勒）說：“應(yīng)該設(shè)置一些關(guān)鍵節(jié)點(diǎn)檢查，以便決定是否批準(zhǔn)這些政策。歸根結(jié)底，治理工作還是需要人來完成?！?/span>
Palmer（帕爾默）表示，關(guān)鍵評(píng)估標(biāo)準(zhǔn)應(yīng)包括集成深度、不同角色對(duì)工具的易用性，以及隨著模型和監(jiān)管要求的演變而適應(yīng)平臺(tái)的能力。由于AI治理涉及法律、合規(guī)和業(yè)務(wù)等多方利益相關(guān)者，因此治理工具的跨職能訪問性尤為重要。
Arora（阿羅拉）說，對(duì)于信安金融集團(tuán)來說，易用性、可定制性和可擴(kuò)展性至關(guān)重要，同時(shí)還要確保工具能夠隨著治理需求的變化而不斷發(fā)展。他還關(guān)注工具的強(qiáng)大功能、性能以及TCO（總體擁有成本）。
不過，他也表示，評(píng)估結(jié)果顯示，治理工具在處理需要主觀判斷的特定組織AI應(yīng)用的復(fù)雜性方面往往存在困難。因此，培訓(xùn)和啟用這些工具可能會(huì)耗費(fèi)大量時(shí)間。此外，與現(xiàn)有系統(tǒng)的無縫集成通常并非易事，而且許多工具在解決諸如數(shù)據(jù)質(zhì)量、準(zhǔn)確性和完整性等基礎(chǔ)數(shù)據(jù)問題方面也有所欠缺。
四、未來舉措
Nafde（納夫德）表示，盡管擁有AI治理平臺(tái)是一件好事，但不要急于購(gòu)買工具?！笆紫纫_定你的治理框架和流程。了解你的AI足跡和相關(guān)風(fēng)險(xiǎn)，然后以此為依據(jù)來選擇工具?！?/span>
如果供應(yīng)商愿意降價(jià)協(xié)商，也不要感到驚訝。Litan（利坦）稱：“這是一個(gè)全新的領(lǐng)域，供應(yīng)商會(huì)給你打折，但這并非僅僅是購(gòu)買工具的成本問題?！彼€說：“這是以時(shí)間、資源以及人力成本為代價(jià)的。公司的資源本就緊張，甚至都不清楚該由誰來管理此事?！?/span>
Palmer（帕爾默）認(rèn)為，雖然AI治理工具能夠輔助監(jiān)控工作，但CIO們?nèi)孕杳鞔_對(duì)企業(yè)而言可接受的風(fēng)險(xiǎn)標(biāo)準(zhǔn)是什么將AI計(jì)劃與企業(yè)戰(zhàn)略目標(biāo)相結(jié)合，并制定一套全企業(yè)范圍的治理策略。她補(bǔ)充道：“這些平臺(tái)不會(huì)為你制定治理策略，而且大多數(shù)平臺(tái)都無法應(yīng)對(duì)外部威脅，比如AI驅(qū)動(dòng)的公眾輿論影響活動(dòng)、有組織的大規(guī)模投訴或聲譽(yù)操縱等問題。這是CIO們不能忽視的一個(gè)盲點(diǎn)。”
Schuller（舒勒）提醒道，一旦平臺(tái)投入運(yùn)行，政策制定不要過于嚴(yán)格。他說：“AI是創(chuàng)新的引擎。你的確需要對(duì)其進(jìn)行約束，但也不能限制過度，以免抑制了創(chuàng)新能力。”
Arora（阿羅拉）補(bǔ)充說，AI治理平臺(tái)的作用是有限的。他認(rèn)為，行業(yè)層面缺乏成熟且明確的負(fù)責(zé)任AI政策和安全政策，最終可能會(huì)影響AI治理工具的有效性。他表示：“沒有這個(gè)基礎(chǔ)，治理工具將難以充分發(fā)揮其全部潛力。我的建議是，將AI治理視為一種企業(yè)能力，而不僅僅是一項(xiàng)合規(guī)要求。選擇那些足夠靈活，能夠適應(yīng)你所在組織架構(gòu)，同時(shí)又足夠強(qiáng)大，能夠執(zhí)行統(tǒng)一標(biāo)準(zhǔn)的工具?！?/span>
由于AI領(lǐng)域變化迅速，所以一旦CIO們部署好了平臺(tái)，定期審查就至關(guān)重要。Schuller（舒勒）說：“我建議建立一個(gè)緊密的審查周期，比如每月或每季度審查一次，以確保無需對(duì)政策進(jìn)行調(diào)整?！?/span>
作者：Robert Mitchell（羅伯特·米切爾）
Robert Mitchell（羅伯特·米切爾）是一名自由撰稿人和編輯。此前，他曾擔(dān)任Computerworld/《計(jì)算機(jī)世界》的全國(guó)通訊員。他還曾在Network World/《網(wǎng)絡(luò)世界》和BYTE magazine/《BYTE》雜志擔(dān)任編輯，并參與了TechBeacon.com的編輯團(tuán)隊(duì)，擔(dān)任該網(wǎng)站的主編。
譯者：寶藍(lán)
睿觀：隨著AI應(yīng)用激增，數(shù)據(jù)泄露、決策偏見等風(fēng)險(xiǎn)日益凸顯，但專門的AI治理與風(fēng)險(xiǎn)管理平臺(tái)因投資回報(bào)率（ROI）難以證明、工具尚不成熟及企業(yè)認(rèn)知不足等因素尚未得到廣泛應(yīng)用（現(xiàn)狀與核心挑戰(zhàn)）。企業(yè)在考慮部署此類平臺(tái)前，需先建立清晰的AI應(yīng)用清單、風(fēng)險(xiǎn)評(píng)估框架及治理政策；選擇工具時(shí)應(yīng)關(guān)注模型可解釋性、偏見檢測(cè)、策略自動(dòng)化及與現(xiàn)有流程的集成，并始終強(qiáng)調(diào)人工監(jiān)督與判斷的關(guān)鍵作用（關(guān)鍵準(zhǔn)備與考量因素）。未來，具有自主決策能力的代理型AI的擴(kuò)展，將迫使企業(yè)加速采納治理平臺(tái)，CIO需將AI治理視為核心能力，在平衡創(chuàng)新與風(fēng)險(xiǎn)中主動(dòng)布局（未來趨勢(shì)與戰(zhàn)略對(duì)策）。
金句：在AI的狂飆突進(jìn)中，治理平臺(tái)是遲到的“剎車”與“導(dǎo)航儀”；當(dāng)自主智能體登場(chǎng)，它將從“可選項(xiàng)”變?yōu)椤氨匦杵贰薄?/span>
