AI讓企業(yè)高度關注自身數(shù)據(jù)，但一味追求更多數(shù)據(jù)，會分散企業(yè)在創(chuàng)建和維護高質量數(shù)據(jù)這一同樣重要工作上的精力。
圖源：Bojan Milinkov / Shutterstock
在打造最智能的LLM的競賽中，人們的口號一直是“more data!/更多數(shù)據(jù)！”。這一口號也進入了公司董事會會議室。隨著企業(yè)急于利用人工智能獲取競爭優(yōu)勢，盡可能多地查找和使用公司數(shù)據(jù)似乎成了最合理的做法。
畢竟，如果更多數(shù)據(jù)能造就更好的大語言模型，那么對于人工智能商業(yè)解決方案來說，情況難道不也應該如此嗎？
答案是否定的。盲目地將大量數(shù)據(jù)投入人工智能是短視之舉。相反，企業(yè)需要了解現(xiàn)有數(shù)據(jù)面臨的挑戰(zhàn)，以及確保擁有并使用優(yōu)質數(shù)據(jù)來推動人工智能解決方案所需采取的措施。數(shù)據(jù)評估時刻已經(jīng)到來，企業(yè)不僅要考慮使用了多少數(shù)據(jù)，還要考慮這些數(shù)據(jù)的質量。
一、當務之急
人工智能的興起迫使企業(yè)更多地思考如何存儲、維護和使用大量數(shù)據(jù)。企業(yè)在實施人工智能解決方案時很快就會面臨的一個現(xiàn)實問題是，一旦數(shù)據(jù)被用于LLM或SLM，就沒有回頭路了。
傳統(tǒng)上，處理大量數(shù)據(jù)的公司會使用數(shù)據(jù)湖來存儲和處理數(shù)據(jù)。雖然數(shù)據(jù)被存儲起來，但在數(shù)據(jù)來源、最新更新以及其他確保數(shù)據(jù)完整性的關鍵管理措施方面，往往缺乏有效管理。
這種數(shù)據(jù)存儲方式如今給企業(yè)帶來了問題，因為如果企業(yè)使用過時或不準確的數(shù)據(jù)來訓練大語言模型，這些錯誤就會融入模型之中。結果并非模型產(chǎn)生幻覺（模型本身運行正常），而是用于訓練模型的數(shù)據(jù)有誤。
同樣令人擔憂的是，由于數(shù)據(jù)存在于大語言模型的“黑箱” 之中，有誰會知道答案是錯誤的呢？如果用戶沒有其他參照，他們往往會理所當然地接受答案。這個例子充分說明，我們可能需要更多數(shù)據(jù)來驅動人工智能，但前提是這些數(shù)據(jù)必須正確。
二、當今的挑戰(zhàn)
當今企業(yè)數(shù)據(jù)存在幾個主要挑戰(zhàn)：
1.數(shù)據(jù)來源
將大量數(shù)據(jù)存儲在數(shù)據(jù)湖中，給企業(yè)數(shù)據(jù)帶來了諸多不確定性。這些數(shù)據(jù)是誰創(chuàng)建的？來自哪里？上次更新是什么時候？數(shù)據(jù)源是否可靠？了解數(shù)據(jù)集的來源是信任并放心使用數(shù)據(jù)的關鍵第一步。
2.數(shù)據(jù)分類
隨著數(shù)據(jù)存儲在數(shù)據(jù)湖中，且連接方式日益復雜，另一個挑戰(zhàn)是數(shù)據(jù)分類。誰有權查看特定數(shù)據(jù)？從政府安全級別的分類到人力資源部門的機密信息，數(shù)據(jù)不應被所有人隨意訪問。數(shù)據(jù)必須進行妥善分類，并且隨著公司以新方式整合和利用數(shù)據(jù)，這些分類及其限制必須得到維護和延續(xù)。
3.穩(wěn)定性
許多數(shù)據(jù)是動態(tài)變化的。例如，如果你從傳感器獲取數(shù)據(jù)，就需要根據(jù)傳感器的讀數(shù)了解應該多久更新一次數(shù)據(jù)。這是一個數(shù)據(jù)穩(wěn)定性問題，因為不斷變化的數(shù)據(jù)可能會導致不同的結果。
數(shù)據(jù)也會隨著時間推移而過時。例如，假設九年來你一直采用特定流程來提交新員工招聘申請，但去年對該流程進行了修訂。如果你使用這十年的數(shù)據(jù)來訓練一個模型，然后詢問如何提交招聘申請，大多數(shù)情況下，你得到的答案會是錯誤的，因為大部分數(shù)據(jù)已經(jīng)過時。
這清楚地表明，更多數(shù)據(jù)并不總是更好。涵蓋重大流程變化的十年數(shù)據(jù)，其價值可能不如一小部分準確反映現(xiàn)有流程的數(shù)據(jù)。
4.復制偏見
當你開始使用數(shù)據(jù)來訓練人工智能時，你面臨的風險是，訓練模型依據(jù)的是當下的實際情況，而非你期望達成的結果。例如，設想一下，你們公司的人力資源部門正在使用人工智能篩選求職者。如果你用公司現(xiàn)有的數(shù)據(jù)來訓練模型，設定理想候選人的標準，那么最終模型可能會復制你公司員工隊伍中現(xiàn)有的、與年齡或性別等相關的偏見。
你要訓練模型，不應基于數(shù)據(jù)集中呈現(xiàn)的現(xiàn)實情況，而應基于你期望實現(xiàn)的結果。而這首先需要你對數(shù)據(jù)及其局限性有清晰的認識。
三、問題數(shù)據(jù)的危害
使用有問題的數(shù)據(jù)訓練大語言模型可能會帶來嚴重的危害。最基本的層面上，這可能會增加模型產(chǎn)生幻覺的情況，削弱你對結果的信心。你可能會得到不準確的結果，或者系統(tǒng)無法按照你的預期運行。一旦出現(xiàn)這種情況，員工對系統(tǒng)的信任度和使用意愿可能會下降。
使用不良數(shù)據(jù)甚至可能損害公司聲譽。如果你用數(shù)據(jù)訓練一個面向客戶的工具，但該工具表現(xiàn)不佳，你可能會損害客戶對公司能力的信心。
使用有問題的數(shù)據(jù)生成有關公司或其他公開信息的報告，甚至可能引發(fā)政府監(jiān)管和合規(guī)問題。而且，如果數(shù)據(jù)分類錯誤，你就有可能泄露個人信息。所有這些情況，無論是在經(jīng)濟上還是聲譽上，都可能讓公司付出高昂代價。
四、立即行動
為了充分利用人工智能革命帶來的機遇，你的企業(yè)現(xiàn)在可以采取以下數(shù)據(jù)管理措施：
1.強化數(shù)據(jù)治理流程
每家企業(yè)都需要一套完善的數(shù)據(jù)治理流程。你必須通過回答以下問題，明確數(shù)據(jù)處理、存儲和更新的規(guī)則：
誰負責數(shù)據(jù)的分類？
誰負責審查數(shù)據(jù)訪問權限？
誰來掌控數(shù)據(jù)的管理工作？
你會任命一位首席數(shù)據(jù)官、一個分析團隊，還是其他人來負責？
數(shù)據(jù)將保留多長時間，由誰來做出這些決策？
在開始將公司數(shù)據(jù)用于人工智能解決方案之前回答這些問題，將對你的企業(yè)有益。
2.確保合規(guī)流程
企業(yè)應將完善的數(shù)據(jù)治理流程與同樣嚴格的合規(guī)流程相結合。當數(shù)據(jù)準備投入使用時，你是否有一套合規(guī)流程，來確認提交數(shù)據(jù)的人已經(jīng)通過了適當?shù)闹卫韺彶椋?/span>
在開始采用人工智能工具時，僅僅妥善存儲數(shù)據(jù)是不夠的。你必須確保圍繞數(shù)據(jù)完整性制定的政策和程序，涵蓋數(shù)據(jù)訪問和使用的各個環(huán)節(jié)。
總體而言，治理流程和合規(guī)流程對于維護數(shù)據(jù)完整性至關重要。鑒于公司積累的數(shù)據(jù)量驚人，它們的重要性只會與日俱增。
例如，正如Brian Eastwood（布萊恩·伊斯特伍德）所指出的：“普通醫(yī)院每年大約產(chǎn)生50拍字節(jié)的數(shù)據(jù)。這比美國國會圖書館存儲的數(shù)據(jù)量的兩倍還多，相當于每天產(chǎn)生137太字節(jié)的數(shù)據(jù)?！碑敂?shù)據(jù)對公司至關重要，尤其是當數(shù)據(jù)量還在迅速增長時，你需要明確的規(guī)劃和明確的職責分工，來保護、管理和利用這些數(shù)據(jù)。
五、智能體人工智能的數(shù)據(jù)評估
下一個重要領域是如何結合智能體人工智能使用數(shù)據(jù)。是讓人工智能智能體使用大語言模型更有效，還是讓一個主智能體協(xié)調多個各自擁有小語言模型的人工智能智能體更有效呢？
想想智能體人工智能可能為企業(yè)帶來的各種可能性，就讓人興奮不已。無論哪種方法最終勝出，智能體人工智能都將依賴強大的數(shù)據(jù)治理和合規(guī)流程。強大的數(shù)據(jù)完整性將使人工智能真正發(fā)揮作用。
我們不能只是一味高呼“更多數(shù)據(jù)！”相反，讓我們追求高質量的數(shù)據(jù)。要知道，現(xiàn)在設定高標準，未來才能取得優(yōu)化的成果。
作者：Dave Wright（戴夫·賴特）
十多年來，Dave（戴夫）在ServiceNow擔任過多種領導職務。自2017年起擔任首席創(chuàng)新官兼首席傳道者，Dave（戴夫）專注于如何提高工作場所的生產(chǎn)力。他與數(shù)千家組織合作，實施能夠提高效率、簡化業(yè)務流程和降低成本的技術。在2011年加入ServiceNow之前，Dave（戴夫）在VMware, Inc.工作了六年多，擔任歐洲、中東和非洲地區(qū)技術服務副總裁。2003年至2005年，Dave（戴夫）領導了Mercury Interactive在北歐和南歐的技術部門。在此之前，他在Peregrine Systems, Inc.工作了六年，擔任過多個高級技術和營銷職位。
譯者：寶藍
睿觀：企業(yè)要成功利用AI，必須將重心從追求數(shù)據(jù)數(shù)量轉向確保數(shù)據(jù)質量和實施嚴格的數(shù)據(jù)治理，這是克服盲目追求“更多數(shù)據(jù)”所帶來風險的關鍵。
主要支撐論據(jù)：
I. “數(shù)據(jù)越多越好”的觀念存在誤導，低質量數(shù)據(jù)會嚴重破壞AI價值。
急于利用AI導致企業(yè)傾向于盡可能多地收集數(shù)據(jù)，但這忽視了數(shù)據(jù)質量。?
將未經(jīng)有效管理的（如數(shù)據(jù)湖中的）過時或不準確數(shù)據(jù)用于訓練AI，會將錯誤固化在模型中，導致結果不可靠，而非模型本身的“幻覺”。?
用戶可能難以辨別AI輸出的錯誤，尤其在缺乏參照時，會盲目信任錯誤答案。
II. 企業(yè)當前面臨嚴峻的數(shù)據(jù)挑戰(zhàn)，影響AI應用。
數(shù)據(jù)來源不清：缺乏對數(shù)據(jù)創(chuàng)建者、來源、更新時間和可靠性的了解，難以信任和使用。?
數(shù)據(jù)分類混亂：難以有效管理數(shù)據(jù)訪問權限（如保密信息），在數(shù)據(jù)整合利用時風險加劇。?
數(shù)據(jù)穩(wěn)定性問題：動態(tài)數(shù)據(jù)（如傳感器數(shù)據(jù)）更新不及時導致結果不準；歷史數(shù)據(jù)會過時（如流程變更），大量過時數(shù)據(jù)價值遠低于少量準確數(shù)據(jù)。?
復制現(xiàn)有偏見：用反映現(xiàn)狀（而非期望目標）的數(shù)據(jù)訓練AI，會復制并固化現(xiàn)實中的偏見（如招聘中的年齡、性別偏見）。
III. 使用有問題的數(shù)據(jù)訓練AI會帶來嚴重危害。
損害模型表現(xiàn)與信任：增加錯誤輸出（“幻覺”），降低用戶對AI系統(tǒng)的信任度和使用意愿。?
破壞公司聲譽：面向客戶的AI工具若表現(xiàn)不佳，會損害客戶對公司能力的信心。?
引發(fā)合規(guī)與法律風險：生成錯誤的公開報告可能導致監(jiān)管問題；數(shù)據(jù)分類錯誤可能泄露個人信息。?
造成經(jīng)濟與聲譽損失：上述所有情況都可能給公司帶來巨大的財務和名譽代價。
IV. 企業(yè)必須立即采取行動，強化數(shù)據(jù)管理以迎接AI機遇。
強化數(shù)據(jù)治理流程：明確數(shù)據(jù)處理、存儲、更新規(guī)則（誰負責分類、訪問審查、管理、決策保留期等）。 在應用AI前回答這些治理問題至關重要。?
確保合規(guī)流程到位：建立流程，確保投入AI的數(shù)據(jù)已通過治理審查。 數(shù)據(jù)完整性政策需覆蓋數(shù)據(jù)訪問和使用的所有環(huán)節(jié)。 鑒于數(shù)據(jù)量激增（如醫(yī)院數(shù)據(jù)例子），明確的規(guī)劃和職責分工對保護和利用數(shù)據(jù)極為重要。
V. 數(shù)據(jù)質量和治理對新興的智能體AI同樣至關重要。
無論是采用單一LLM還是多個協(xié)調的SLM，智能體AI的成功都依賴于強大的數(shù)據(jù)治理和合規(guī)流程。?
高質量的數(shù)據(jù)是讓人工智能（包括智能體AI）真正發(fā)揮作用的基礎。?
目標應是追求“高質量數(shù)據(jù)”，而非僅僅“更多數(shù)據(jù)”，現(xiàn)在設定高標準才能獲得未來的優(yōu)化成果。
