你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
導(dǎo)語(yǔ)：2025年底的一項(xiàng)數(shù)據(jù)顯示，超過(guò)一半的生成式AI項(xiàng)目在做完精美的概念驗(yàn)證（POC）后，就悄無(wú)聲息地被放棄了。為什么在老板面前演示得驚艷無(wú)比的AI，一到真刀真槍的生產(chǎn)環(huán)境中就原形畢露？答案很簡(jiǎn)單，卻往往被忽視：你的數(shù)據(jù)底座，根本撐不起AI的野心。
在AI的浪潮中，企業(yè)很容易被各種大模型（LLM）的炫酷能力所吸引，卻往往低估了“喂養(yǎng)”這些模型所需的數(shù)據(jù)準(zhǔn)備工作。今天，我們就來(lái)深度剖析，為什么數(shù)據(jù)質(zhì)量會(huì)成為AI規(guī)?；涞氐淖畲蠼O腳石，以及CIO們?cè)撊绾纹凭帧?/span>
在概念驗(yàn)證（POC）階段，技術(shù)團(tuán)隊(duì)通常會(huì)精心挑選最干凈、結(jié)構(gòu)最完整的數(shù)據(jù)集，并在嚴(yán)格控制的環(huán)境下運(yùn)行模型。在這個(gè)“溫室”里，AI 的表現(xiàn)自然令人驚嘆。
但當(dāng)項(xiàng)目準(zhǔn)備推向全公司時(shí)，現(xiàn)實(shí)的毒打接踵而至：
結(jié)構(gòu)化數(shù)據(jù)的謊言：存在ERP或CRM里的表格數(shù)據(jù)，其實(shí)并沒(méi)有想象中那么整齊，到處是空值、亂碼和歷史遺留的錯(cuò)誤分類。
非結(jié)構(gòu)化數(shù)據(jù)的深坑：那些堆積如山的掃描件、PDF文檔和雜亂的表單，在被AI有效匹配和使用之前，需要極其繁瑣的清洗和轉(zhuǎn)換。
元數(shù)據(jù)（Metadata）的缺失：很多組織缺乏標(biāo)準(zhǔn)化的高質(zhì)量元數(shù)據(jù)。AI智能體可能有權(quán)限訪問(wèn)數(shù)據(jù)，但如果不知道某個(gè)特定字段在業(yè)務(wù)背景下到底代表什么，它依然是個(gè)“瞎子”。
這就導(dǎo)致了一個(gè)致命的翻譯鴻溝。AI無(wú)法理解你的業(yè)務(wù)邏輯，輸出的結(jié)果必然是不可靠、不完整甚至極具誤導(dǎo)性的。
既然數(shù)據(jù)是AI的命門(mén)，技術(shù)領(lǐng)導(dǎo)者該如何破局，跨越從POC到生產(chǎn)環(huán)境的“死亡之谷”？
1. 轉(zhuǎn)變思維：數(shù)據(jù)是核心產(chǎn)品，而非副產(chǎn)品
不要再把數(shù)據(jù)僅僅當(dāng)成業(yè)務(wù)系統(tǒng)運(yùn)轉(zhuǎn)后留下的“廢料”。在AI時(shí)代，數(shù)據(jù)必須被視為企業(yè)的一級(jí)資產(chǎn)和核心產(chǎn)出。CIO需要像管理任何主營(yíng)產(chǎn)品一樣，對(duì)數(shù)據(jù)的生命周期進(jìn)行精心規(guī)劃。
2. 告別“人類速度”，構(gòu)建“機(jī)器友好”的數(shù)據(jù)管道
過(guò)去的數(shù)據(jù)治理框架，大多是為“人類看報(bào)表”而設(shè)計(jì)的。但AI處理數(shù)據(jù)的速度和數(shù)量是指數(shù)級(jí)的。
未來(lái)的數(shù)據(jù)交付必須從“以人為中心”轉(zhuǎn)向“機(jī)器可操作”：數(shù)據(jù)需要被精準(zhǔn)的元數(shù)據(jù)包裹，通過(guò)現(xiàn)代協(xié)議（如MCP服務(wù)器）對(duì)外暴露，并受到嚴(yán)格的分級(jí)脫敏和訪問(wèn)控制。
3. 用例導(dǎo)向：不要試圖一次性清洗所有數(shù)據(jù)
面對(duì)堆積如山的歷史數(shù)據(jù)，企圖一次性全部清洗干凈是不現(xiàn)實(shí)的。正確的策略是：挑選5到10個(gè)高價(jià)值的核心用例，倒推這些用例需要什么樣的數(shù)據(jù)，然后集中火力去準(zhǔn)備這些特定的數(shù)據(jù)管道。
4. 用 AI 打敗 AI：讓魔法打敗魔法
既然人工清理數(shù)據(jù)太慢，為什么不用AI來(lái)幫忙？
企業(yè)可以使用受到嚴(yán)格提示限制的小型語(yǔ)言模型（SLM），專門(mén)用來(lái)清理、標(biāo)準(zhǔn)化特定領(lǐng)域的數(shù)據(jù)，甚至起草組織內(nèi)部的數(shù)據(jù)定義。當(dāng)然，這必須建立在嚴(yán)格的“人在回路（Human-in-the-loop）”機(jī)制上，由人類專家把最后一道關(guān)。
總結(jié)：
在生成式AI的競(jìng)賽中，模型的能力只是浮在水面上的冰山一角，沉在水面之下龐大且堅(jiān)固的數(shù)據(jù)基石，才是決定項(xiàng)目成敗的關(guān)鍵。為AI做好數(shù)據(jù)準(zhǔn)備，永遠(yuǎn)不是一個(gè)“畢其功于一役”的任務(wù)，而是一場(chǎng)需要隨著業(yè)務(wù)演進(jìn)不斷迭代的持久戰(zhàn)。只有把數(shù)據(jù)底座夯實(shí)，AI才能真正從實(shí)驗(yàn)室的“玩具”，變成驅(qū)動(dòng)企業(yè)增長(zhǎng)的引擎。
全文：糟糕的數(shù)據(jù)基礎(chǔ)如何阻礙AI價(jià)值落地
統(tǒng)計(jì)數(shù)據(jù)顯示，到去年年底，超過(guò)一半的生成式AI（人工智能）項(xiàng)目在POC（概念驗(yàn)證）之后被放棄，這在很大程度上是由于數(shù)據(jù)準(zhǔn)備不足。那么，IT領(lǐng)導(dǎo)者可以做些什么來(lái)更好地實(shí)現(xiàn)規(guī)?；涞啬兀?/span>
圖源：Rob Schultz / Shutterstock
AI的前景是巨大的，但質(zhì)量不佳的數(shù)據(jù)破壞了從它那里獲取任何價(jià)值的每一次嘗試。如果沒(méi)有正確的輸入，AI會(huì)產(chǎn)生不可靠、不完整甚至具有誤導(dǎo)性的結(jié)果。
Iterate.ai的CTO（首席技術(shù)官）Brian Sathianathan（布萊恩·薩蒂亞納坦）表示，對(duì)于一般企業(yè)來(lái)說(shuō)，數(shù)據(jù)以多種形式存在于多個(gè)系統(tǒng)中，整合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)比大多數(shù)AI試點(diǎn)項(xiàng)目所考慮的要困難?！皝?lái)自運(yùn)營(yíng)系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)很少像團(tuán)隊(duì)所假設(shè)的那樣整齊，而像掃描文檔和表格這樣的非結(jié)構(gòu)化數(shù)據(jù)，在能夠有效匹配和使用之前，需要不同的準(zhǔn)備過(guò)程，”他說(shuō)，并補(bǔ)充這可能解釋了為什么企業(yè)在試圖超越概念驗(yàn)證階段時(shí)會(huì)遇到障礙。
Investec的集團(tuán)技術(shù)戰(zhàn)略主管Rhian Letts（里安·萊茨）表示，擁有令人印象深刻的POC的組織通常會(huì)成功，因?yàn)樗鼈円蕾囉诰奶暨x的數(shù)據(jù)集、手動(dòng)解決方法和嚴(yán)格控制的環(huán)境。真正的挑戰(zhàn)在于將試點(diǎn)項(xiàng)目轉(zhuǎn)化為可靠的、生產(chǎn)級(jí)別的實(shí)施。她補(bǔ)充說(shuō)，擴(kuò)展需要高可用數(shù)據(jù)管道、一致的定義、運(yùn)營(yíng)支持以及與真實(shí)工作流程的集成。這也提高了對(duì)數(shù)據(jù)治理的要求。
她說(shuō)：“許多數(shù)據(jù)治理框架是為人類速度的消費(fèi)而設(shè)計(jì)的。AI顯著提高了數(shù)據(jù)需求的速度和數(shù)量，并引入了非人類消費(fèi)者。因此，治理需要發(fā)展為更加自動(dòng)化、實(shí)時(shí)化，并明確說(shuō)明數(shù)據(jù)來(lái)源和用途?！?/span>
對(duì)于技術(shù)公司ADG的首席技術(shù)官Daniel Acton（丹尼爾·阿克頓）來(lái)說(shuō)，太多的組織急于利用AI做些什么，卻沒(méi)有正確分析它們實(shí)際想用AI做什么。“AI可能很有用，但如果你給AI提供不完整和不準(zhǔn)確的數(shù)據(jù)，或者如果它沒(méi)有讓模型完成指定任務(wù)所需的數(shù)據(jù)，結(jié)果將會(huì)令人失望，”他說(shuō)。
另一個(gè)核心問(wèn)題是缺乏標(biāo)準(zhǔn)化的、高質(zhì)量元數(shù)據(jù)。UC San Diego（加州大學(xué)圣地亞哥分校）工作場(chǎng)所技術(shù)和基礎(chǔ)設(shè)施服務(wù)執(zhí)行董事Brett Pollak（布雷特·波拉克）說(shuō)：“元數(shù)據(jù)的質(zhì)量是最難克服的挑戰(zhàn)。元數(shù)據(jù)是至關(guān)重要的連接紐帶，它允許智能體解釋用戶的提示，并將其正確地映射到特定的列和行的交叉點(diǎn)上。大多數(shù)組織對(duì)數(shù)據(jù)有獨(dú)特的、特定于機(jī)構(gòu)的解釋，但很少有適當(dāng)?shù)挠涗浕虮３肿钚隆！?/span>這就產(chǎn)生了一個(gè)翻譯差距，即智能體可能有權(quán)訪問(wèn)數(shù)據(jù)，但缺乏在業(yè)務(wù)背景下理解特定字段代表什么的上下文。
一、數(shù)據(jù)分散與碎片化現(xiàn)狀
不過(guò)，僅僅因?yàn)榇嬖谡系K，并不意味著進(jìn)展需要暫停。Letts（萊茨）說(shuō)：“AI的使用應(yīng)該與當(dāng)前的成熟度保持一致。組織不應(yīng)將不完美的數(shù)據(jù)視為一種限制，而是可以問(wèn)問(wèn)AI如何幫助改進(jìn)和更好地連接他們已經(jīng)擁有的數(shù)據(jù)。”Sathianathan（薩蒂亞納坦）對(duì)此表示贊同，并補(bǔ)充說(shuō)，在新的LLM（大語(yǔ)言模型）世界中，即使是少量準(zhǔn)確的數(shù)據(jù)也可能具有重大價(jià)值。他說(shuō)：“就在幾年前，使用傳統(tǒng)的機(jī)器學(xué)習(xí)，你需要大量的數(shù)據(jù)來(lái)訓(xùn)練模型。如今，由于大多數(shù)LLM都帶有高度預(yù)打包的知識(shí)，你只需要足夠數(shù)量的正確數(shù)據(jù)，就能使其為你的領(lǐng)域做好準(zhǔn)備?！?/span>
Pollak（波拉克）說(shuō)，對(duì)于已經(jīng)部署了結(jié)構(gòu)化數(shù)據(jù)倉(cāng)儲(chǔ)的組織來(lái)說(shuō)，新的障礙是從以人類為中心的存儲(chǔ)向機(jī)器可操作的交付轉(zhuǎn)變。“現(xiàn)在，數(shù)據(jù)準(zhǔn)備意味著確保你的數(shù)據(jù)被特定的元數(shù)據(jù)所包裹，通過(guò)像MCP服務(wù)器等現(xiàn)代協(xié)議公開(kāi)，并由數(shù)據(jù)分級(jí)脫敏與選擇性開(kāi)放策略進(jìn)行治理，以確保智能體僅對(duì)已治理的數(shù)據(jù)采取行動(dòng)，”他說(shuō)。
二、轉(zhuǎn)變你對(duì)數(shù)據(jù)的思維方式
如今，許多組織希望迅速?gòu)臄?shù)據(jù)混亂轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)狀態(tài)。但如果這是最終目標(biāo)，CIO和技術(shù)領(lǐng)導(dǎo)者需要注意在組織內(nèi)將數(shù)據(jù)視為一級(jí)資產(chǎn)。作為這種轉(zhuǎn)變的一部分，數(shù)據(jù)不能再被視為業(yè)務(wù)系統(tǒng)的副產(chǎn)品，而應(yīng)被視為一種核心產(chǎn)出，需要像對(duì)待任何其他產(chǎn)品或服務(wù)一樣精心管理。當(dāng)這種情況發(fā)生時(shí)，業(yè)務(wù)領(lǐng)導(dǎo)者可以解鎖他們之前不知道存在的洞察和價(jià)值。
此外，根據(jù)Letts（萊茨）的說(shuō)法，以用例為導(dǎo)向的方法至關(guān)重要。試圖修復(fù)組織中的每個(gè)數(shù)據(jù)集既不實(shí)際也不必要。即使數(shù)據(jù)不完美，通過(guò)關(guān)注正確的用例，也可以解鎖有意義的價(jià)值。通過(guò)優(yōu)先考慮五到十個(gè)高價(jià)值用例，并在生產(chǎn)中規(guī)劃提供這些用例所需的數(shù)據(jù)，更容易集中精力。然后可以加強(qiáng)基礎(chǔ)以服務(wù)于這些優(yōu)先事項(xiàng)。
她補(bǔ)充說(shuō)，有了AI，對(duì)于許多用例來(lái)說(shuō)，可用標(biāo)準(zhǔn)已經(jīng)降低，特別是那些專注于生產(chǎn)力和知識(shí)工作的用例。AI模型可以從上下文中提取價(jià)值并建立聯(lián)系，即使數(shù)據(jù)結(jié)構(gòu)并不完美。但風(fēng)險(xiǎn)更高的用例需要更高的質(zhì)量和更強(qiáng)的控制。她說(shuō):“關(guān)鍵是要明確目的、風(fēng)險(xiǎn)和運(yùn)營(yíng)依賴關(guān)系。低風(fēng)險(xiǎn)用例在有明確描述和良好治理的背景下可以更快推進(jìn)，而高風(fēng)險(xiǎn)應(yīng)用需要更嚴(yán)格的門(mén)檻?！?/span>
三、優(yōu)先考慮所有權(quán)、治理和安全
Letts（萊茨）補(bǔ)充說(shuō)，所有治理框架、政策、標(biāo)準(zhǔn)和程序在審查時(shí)都應(yīng)考慮到AI。許多治理框架是為人類的消費(fèi)節(jié)奏設(shè)計(jì)的，而AI提高了結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的處理速度、規(guī)模和集成度。因此，驗(yàn)證關(guān)鍵數(shù)據(jù)元素的所有權(quán)并建立對(duì)其含義的共享業(yè)務(wù)理解對(duì)于取得進(jìn)展至關(guān)重要。標(biāo)準(zhǔn)化的定義和元數(shù)據(jù)也應(yīng)確保諸如 “它是什么意思”以及“它來(lái)自哪里”等問(wèn)題始終能得到解答。她補(bǔ)充說(shuō)：“默認(rèn)情況下，AI的訪問(wèn)必須是安全的。這意味著要有最小特權(quán)、審計(jì)跟蹤、敏感數(shù)據(jù)處理以及對(duì)檢索的強(qiáng)有力控制。必須始終能夠證明一個(gè)模型可以訪問(wèn)什么和不能訪問(wèn)什么。”
此外，組織在使用AI時(shí)也必須注意數(shù)據(jù)隱私。Sathianathan（薩蒂亞納坦）說(shuō)：“自主AI系統(tǒng)需要的訪問(wèn)數(shù)據(jù)的權(quán)限級(jí)別不同于傳統(tǒng)企業(yè)應(yīng)用程序。需要大規(guī)模地分析數(shù)據(jù)，而不僅僅是查詢數(shù)據(jù)。這對(duì)權(quán)限模型來(lái)說(shuō)是一個(gè)重大變化，IT和安全領(lǐng)導(dǎo)者需要仔細(xì)考慮所有這些數(shù)據(jù)將流向何處以及AI系統(tǒng)真正需要什么訪問(wèn)權(quán)限。” 他補(bǔ)充說(shuō)，如果處理數(shù)據(jù)的LLM在組織內(nèi)部或外部運(yùn)行，情況也是如此，而且這些決策應(yīng)該在部署之前考慮，而不是之后。
四、使用AI填補(bǔ)空白
Pollak（波拉克）建議，在業(yè)務(wù)可能存在不足的領(lǐng)域，可以考慮使用AI來(lái)起草和更新組織特定的數(shù)據(jù)定義。Sathianathan（薩蒂亞納坦）說(shuō)：“優(yōu)先建立一個(gè)嚴(yán)格的人在回路機(jī)制，以確保這種連接組織的要素是準(zhǔn)確和最新的?！?/span>此外，有可能使用LLM和較小的語(yǔ)言模型，通過(guò)限制性提示來(lái)清理某些領(lǐng)域的數(shù)據(jù)。這樣，你就可以高效地處理數(shù)據(jù)，避免將大量數(shù)據(jù)輸入到基于云的大型LLM中而浪費(fèi)資源。
Letts（萊茨）說(shuō)，為AI做好準(zhǔn)備不是一個(gè)一次性的里程碑。AI能力正在迅速發(fā)展，這意味著準(zhǔn)備的門(mén)檻會(huì)隨著時(shí)間推移而變化。改善端到端的數(shù)據(jù)血緣、建立共享語(yǔ)義和本體以便始終如一地理解數(shù)據(jù)、提高跨平臺(tái)和跨領(lǐng)域的互操作性，以及收緊AI系統(tǒng)訪問(wèn)數(shù)據(jù)的方式，以確保數(shù)據(jù)安全、可審計(jì)且符合目的，這些都是至關(guān)重要的。她說(shuō)：“隨著用例的發(fā)展，門(mén)檻也會(huì)發(fā)生變化。所以數(shù)據(jù)準(zhǔn)備必須被視為一項(xiàng)持續(xù)的工作，而不是一項(xiàng)已完成的任務(wù)?！?/span>
