基于Thinkers360 AI信任指數(shù)年度調(diào)查結(jié)果以及AI終端用戶和AI提供商的反饋,為首席信息官(CIO)提供的一些關(guān)鍵建議。

1. 利用行業(yè)研究……了解不同場景和行業(yè)中信任度的差異。
AI信任指數(shù)發(fā)現(xiàn),信任水平因場景和行業(yè)而異。在場景方面,與媒體相關(guān)的場景最為關(guān)注,其次是個人、職場和政府。AI終端用戶和提供商將網(wǎng)絡(luò)犯罪(87%)、虛假信息(87%)和偏見(80%)列為他們非?;驑O度關(guān)注的三大領(lǐng)域。關(guān)注度最低的是就業(yè)(56%)和法律(57%)。
在行業(yè)方面,AI終端用戶和提供商將國防與情報(82%)、政府(71%)和金融(55%)列為他們非常或極度關(guān)注的三大領(lǐng)域。媒體和娛樂(54%)是另一個與當前AI使用相關(guān)的關(guān)注行業(yè)。關(guān)注度最低的是農(nóng)業(yè)(13%)、零售(22%)和制造業(yè)(28%)。
CIO可以利用這些數(shù)據(jù)以及其他第三方研究,了解其所在行業(yè)在AI信任度方面的現(xiàn)狀,以及終端用戶最為關(guān)注的關(guān)鍵場景。AI在網(wǎng)絡(luò)犯罪方面的潛在脆弱性顯然是CIO在2025年需要密切關(guān)注的領(lǐng)域,同時也要關(guān)注一些關(guān)注度較低的領(lǐng)域,如就業(yè)或AI在招聘決策中的使用,這些領(lǐng)域仍有超過50%的受訪者表示關(guān)注。
2. 密切關(guān)注……AI信任的所有屬性,因為它們正在不斷演變。
AI信任指數(shù)考察了由NIST定義的AI可信度的七個屬性。研究發(fā)現(xiàn),超過65%的AI終端用戶和提供商非?;驑O度關(guān)注AI的責任性和透明度。關(guān)注度最低的是AI的可解釋性和可理解性,但仍有12%的AI終端用戶和提供商表示不關(guān)注??傮w而言,對AI的關(guān)注度在所有七個信任屬性中分布相當均勻,超過87%的受訪者表示有一定程度的關(guān)注。
CIO的關(guān)鍵在于確保解決AI信任的所有屬性。這里討論的七個屬性包括:責任性和透明度、隱私增強、有效性和可靠性、公平且有害偏見得到管理、安全性(如生命、健康、財產(chǎn))、安全性和韌性,以及可解釋性和可理解性。它們的相對重要性可能會因媒體關(guān)注點、您在AI實施旅程中的位置、您正在實施的具體用例以及終端用戶最關(guān)心的內(nèi)容而有所不同。然而,關(guān)鍵是要解決所有屬性,因為您的最薄弱環(huán)節(jié)決定了整體水平。
3. 實施AI治理框架……涵蓋從AI/ML到生成式AI再到自主AI的所有方面。
2025年,隨著組織繼續(xù)擁抱AI/ML、生成式AI以及自主AI(或用于自動化手動任務(wù)的自主代理),確保您的AI治理框架涵蓋這一快速發(fā)展的領(lǐng)域的所有方面將變得非常重要。
隨著自主AI開始滲透到核心流程和企業(yè)工作流中,如軟件編程、網(wǎng)絡(luò)安全、ERP、CRM、BI、供應(yīng)鏈、零售等領(lǐng)域,信任方程將從信息信任問題轉(zhuǎn)向交易信任問題。后者包括確保適當程度的人類監(jiān)督、責任性、決策透明度、異常處理等。盡管自主AI的無代碼/低代碼特性將簡化業(yè)務(wù)流程重新設(shè)計工作,但將節(jié)省的時間用于全面測試所有工作流和場景至關(guān)重要。即使您的AI現(xiàn)在足夠智能來處理異常情況,仔細測試這些情況也同樣重要。
4. 制定AI政策……與終端用戶保持一致并明確溝通,主動影響實施中的信任水平。
與各種國家和國際協(xié)議以及其他形式的標準、政策和協(xié)議保持一致,是向終端用戶展示對AI倫理承諾的好方法。例如,歐盟AI協(xié)議支持“行業(yè)在歐盟AI法案正式實施之前自愿承諾采用其原則”。您的AI治理實踐可以成為一個關(guān)鍵的差異化因素,因此與內(nèi)部以及客戶和合作伙伴進行溝通非常重要。
除了簽署協(xié)議和與行業(yè)最佳實踐保持一致外,您還可以在如何應(yīng)用AI方面采取直接行動,從而對各種信任屬性產(chǎn)生可量化的積極影響。“將LLM與更具確定性的ML模型結(jié)合使用可能是有意義的,”Lyzr.ai首席增長官Anirudh Narayan表示。“LLM模型本身存在一些幻覺,準確性較低,但嵌入ML模型后,您可以獲得更清晰、更具確定性的輸出。這將準確性從67%大幅提高到95%。這種雙引擎動力可能對CIO在構(gòu)建AI基礎(chǔ)設(shè)施或考慮構(gòu)建代理的代理框架時非常有幫助。”
5. 確保您的計劃涵蓋大局……包括AI治理、風險管理、倫理、溝通和變革管理。
隨著自主AI在2025年 poised 影響業(yè)務(wù)的許多領(lǐng)域,CIO需要為組織內(nèi)部的大規(guī)模變革做好準備,類似于網(wǎng)絡(luò)時代和數(shù)字化轉(zhuǎn)型時代。這需要在AI治理、風險管理、倫理、溝通(包括培訓和教育)以及變革管理方面采取計劃性方法。
“隨著公司擴展AI并整合代理,員工和客戶的信任至關(guān)重要,”KPMG人工智能和數(shù)字創(chuàng)新副主席Steve Chase表示?!癈IO必須確保AI戰(zhàn)略和治理良好一致,并基于對AI當前和新興能力的深刻理解,并得到現(xiàn)代數(shù)據(jù)基礎(chǔ)的支持。這種基礎(chǔ)對于組織引導員工應(yīng)對變革并最終以負責任和合乎倫理的方式最大化AI價值至關(guān)重要。”
CIO應(yīng)與其首席AI官(CAIO)和其他利益相關(guān)者密切合作,作為AI治理的指導燈塔,確保AI以負責任、合乎倫理的方式使用,并與組織的戰(zhàn)略目標保持一致,因為您提供了構(gòu)建AI信任并最大化其收益所需的技術(shù)專業(yè)知識、數(shù)據(jù)治理框架和風險管理監(jiān)督。
【睿觀:基于Thinkers360的AI信任指數(shù)調(diào)查,為CIO(首席信息官)在2025年如何建立和維護AI信任提供了五個關(guān)鍵建議。簡單來說,就是告訴CIO們在使用AI時,如何讓大家更信任AI。以下是五個建議的概括:
了解不同場景和行業(yè)的信任差異:?人們對AI的信任程度因其應(yīng)用場景和所屬行業(yè)而異。例如,人們更關(guān)注AI在網(wǎng)絡(luò)犯罪、虛假信息和偏見方面的問題,而對AI在農(nóng)業(yè)、零售業(yè)或制造業(yè)的應(yīng)用則不太擔心。CIO需要了解自身行業(yè)和用戶對AI的關(guān)注點,并重點解決這些問題。
關(guān)注AI信任的所有屬性:?AI的可信度由多個屬性構(gòu)成,包括責任性、透明度、隱私、有效性、公平性、安全性、韌性和可解釋性。CIO需要全面關(guān)注這些屬性,不能只關(guān)注其中一部分。任何一個屬性的缺失都可能影響整體的信任度。
建立全面的AI治理框架:?隨著AI技術(shù)的不斷發(fā)展,從簡單的AI/ML到生成式AI再到自主AI,CIO需要建立一個能夠覆蓋所有這些類型的AI的治理框架。特別是對于自主AI,需要確保適當?shù)娜斯けO(jiān)督、責任追究和透明的決策過程。
制定并清晰溝通AI政策:?CIO需要制定清晰的AI使用政策,并與用戶進行有效的溝通,以增強用戶對AI的信任。與國際標準和最佳實踐保持一致,并采取具體措施來提高AI的準確性和可靠性,例如將大型語言模型(LLM)與更精確的機器學習模型結(jié)合使用。
從全局角度進行規(guī)劃:?CIO需要從更宏觀的角度看待AI的應(yīng)用,包括AI治理、風險管理、倫理、溝通和變革管理。與首席AI官(CAIO)和其他相關(guān)人員緊密合作,確保AI的使用符合倫理規(guī)范和組織戰(zhàn)略,從而建立信任并最大化AI的收益。
總而言之,文章強調(diào)CIO需要全面考慮AI應(yīng)用帶來的信任問題,從了解用戶關(guān)注點、關(guān)注AI的各個屬性、建立完善的治理框架、制定清晰的政策并有效溝通,以及從全局角度進行規(guī)劃等方面入手,才能有效地建立和維護用戶對AI的信任,從而更好地利用AI技術(shù)?!?/span>
【睿觀:基于AI信任的多個屬性,構(gòu)建一個綜合評價指標體系,總分100分。以下是一個示例:
一級指標:AI信任度(100分)
二級指標及權(quán)重:
責任性與透明度(25分):?強調(diào)AI系統(tǒng)的行為可追溯、可解釋,以及相關(guān)責任的承擔。
隱私與安全(25分):?關(guān)注AI系統(tǒng)對個人數(shù)據(jù)和系統(tǒng)自身的保護。
有效性與可靠性(20分):?評估AI系統(tǒng)完成既定任務(wù)的準確性和穩(wěn)定性。
公平性與無偏見(15分):?衡量AI系統(tǒng)在不同群體中的表現(xiàn)是否公平,是否存在偏見。
可解釋性與可理解性(15分):?考察AI系統(tǒng)的決策過程是否易于理解和解釋。
三級指標、分值分配、說明和計算公式:
1. 責任性與透明度(25分)
1.1 可追溯性(10分):?記錄AI系統(tǒng)的所有操作和決策過程,方便事后審計和分析。(滿分10分)
說明:記錄數(shù)據(jù)來源、算法版本、模型參數(shù)、決策日志等。
計算公式:可追溯性得分 = (完整記錄的操作/總操作數(shù)) * 10
示例:一個信貸評分AI系統(tǒng),如果每次評分都記錄了使用的特征、模型版本和評分依據(jù),則可追溯性高。
1.2 決策透明度(10分):?公開AI系統(tǒng)的決策規(guī)則和算法邏輯,使用戶了解其工作原理。(滿分10分)
說明:提供算法文檔、模型解釋工具等。對于黑盒模型,可使用SHAP值或LIME等方法進行局部解釋。
計算公式:決策透明度得分 = (已公開的決策規(guī)則/總決策規(guī)則) * 10?(對于黑盒模型,可根據(jù)解釋工具的可用性和解釋質(zhì)量進行主觀評分)
示例:一個疾病診斷AI系統(tǒng),如果能提供診斷依據(jù)和相關(guān)的醫(yī)學文獻,則決策透明度高。
1.3 責任承擔機制(5分):?建立明確的責任歸屬和追責機制,當AI系統(tǒng)出現(xiàn)問題時,能夠及時有效地解決。(滿分5分)
說明:制定應(yīng)急預案、設(shè)立投訴渠道、明確責任人等。
計算公式:(采用主觀評分,根據(jù)機制的完善程度和執(zhí)行情況進行評估)
示例:一個自動駕駛系統(tǒng),如果制造商有明確的事故責任認定和賠償機制,則責任承擔機制完善。
2. 隱私與安全(25分)
2.1 數(shù)據(jù)隱私保護(15分):?采取加密、差分隱私、聯(lián)邦學習等技術(shù)手段,保護用戶數(shù)據(jù)的隱私。(滿分15分)
說明:評估數(shù)據(jù)是否經(jīng)過匿名化、脫敏處理,是否符合相關(guān)隱私法規(guī)(如GDPR)。
計算公式:(根據(jù)采用的隱私保護技術(shù)和合規(guī)程度進行主觀評分)
示例:一個人臉識別系統(tǒng),如果使用人臉特征向量而非原始圖像進行存儲和處理,則數(shù)據(jù)隱私保護較好。
2.2 系統(tǒng)安全性(10分):?防止AI系統(tǒng)遭受惡意攻擊和數(shù)據(jù)泄露,保障系統(tǒng)的穩(wěn)定運行。(滿分10分)
說明:進行安全漏洞掃描、滲透測試,建立入侵檢測和防御系統(tǒng)。
計算公式:(根據(jù)安全措施的有效性和系統(tǒng)抵御攻擊的能力進行主觀評分)
示例:一個金融交易AI系統(tǒng),如果采用了多重身份驗證、數(shù)據(jù)加密和防火墻等安全措施,則系統(tǒng)安全性較高。
3. 有效性與可靠性(20分)
3.1 準確性(10分):?評估AI系統(tǒng)輸出結(jié)果的準確程度,例如分類的準確率、回歸的均方誤差等。(滿分10分)
分類任務(wù):準確率 = (正確分類的樣本數(shù)/總樣本數(shù)) * 10
回歸任務(wù):均方誤差(MSE)得分 = (1 - MSE/最大MSE) * 10
說明:使用標準數(shù)據(jù)集進行測試,計算各項性能指標。
計算公式:根據(jù)具體任務(wù)類型使用相應(yīng)的評估指標,例如:
示例:一個垃圾郵件過濾AI系統(tǒng),如果其準確率達到95%,則準確性較高。
3.2 魯棒性(10分):?衡量AI系統(tǒng)在面對噪聲數(shù)據(jù)、對抗攻擊等干擾時的穩(wěn)定性和泛化能力。(滿分10分)
說明:使用包含噪聲的數(shù)據(jù)集進行測試,評估模型性能的下降程度。
計算公式:(根據(jù)模型在不同干擾下的性能下降程度進行主觀評分)
示例:一個圖像識別系統(tǒng),即使圖像受到輕微的模糊或遮擋,仍能正確識別,則魯棒性較好。
4. 公平性與無偏見(15分)
4.1 群體公平性(10分):?評估AI系統(tǒng)在不同人口統(tǒng)計群體(如性別、種族、年齡)中的表現(xiàn)是否存在顯著差異。(滿分10分)
說明:使用針對不同群體的數(shù)據(jù)集進行測試,計算各項公平性指標,如機會均等、統(tǒng)計均等、預測均等。
計算公式:根據(jù)具體的公平性指標進行計算。例如,機會均等要求不同群體在正例上的召回率相等。
示例:一個貸款審批AI系統(tǒng),如果對不同性別和種族的申請者的審批通過率沒有顯著差異,則群體公平性較好。
4.2 偏見檢測與緩解(5分):?采取措施檢測和緩解AI系統(tǒng)中存在的偏見,例如數(shù)據(jù)增強、對抗訓練、公平性約束等。(滿分5分)
說明:評估所采用的偏見緩解方法的有效性。
計算公式:(根據(jù)偏見緩解措施的有效性和實施情況進行主觀評分)
示例:一個招聘AI系統(tǒng),如果使用了對抗訓練來減少模型中存在的性別偏見,則偏見檢測與緩解做得較好。
5. 可解釋性與可理解性(15分)
5.1 模型可解釋性(10分):?評估AI模型的內(nèi)部工作機制是否易于理解,例如是否使用決策樹、規(guī)則列表等可解釋模型。(滿分10分)
說明:對于黑盒模型,可使用SHAP值、LIME等方法進行解釋。
計算公式:(根據(jù)模型本身的復雜度和解釋方法的有效性進行主觀評分)
示例:一個使用決策樹的風險評估模型,其決策規(guī)則清晰易懂,則模型可解釋性高。
5.2 輸出結(jié)果可理解性(5分):?評估AI系統(tǒng)輸出的結(jié)果是否易于用戶理解和接受,例如提供清晰的解釋和可視化結(jié)果。(滿分5分)
說明:提供用戶友好的界面和解釋文檔。
計算公式:(根據(jù)輸出結(jié)果的清晰度和用戶理解程度進行主觀評分)
示例:一個天氣預報AI系統(tǒng),如果以簡潔明了的圖表和文字形式展示預報結(jié)果,則輸出結(jié)果可理解性高。
使用方法:
根據(jù)具體AI系統(tǒng)的應(yīng)用場景和目標用戶,調(diào)整二級和三級指標的權(quán)重。
收集相關(guān)數(shù)據(jù)和信息,根據(jù)計算公式或主觀評分標準,對各項三級指標進行評估。
根據(jù)權(quán)重計算二級指標得分,最后加總得到一級指標“AI信任度”的總分。
這個指標體系提供了一個框架,可以根據(jù)實際情況進行調(diào)整和完善。重要的是,要綜合考慮各個屬性,并根據(jù)具體應(yīng)用場景進行權(quán)衡,以建立用戶對AI系統(tǒng)的信任。