一項(xiàng)成功的AI項(xiàng)目在很大程度上取決于底層數(shù)據(jù)的質(zhì)量。IT領(lǐng)導(dǎo)者們正在提升他們的數(shù)據(jù)湖、數(shù)據(jù)倉庫和數(shù)據(jù)湖倉策略，以提供基礎(chǔ)支持。
圖源：Rob Schultz / Shutterstock
對于任何IT項(xiàng)目而言，高質(zhì)量的數(shù)據(jù)至關(guān)重要，對于AI項(xiàng)目來說更是如此。雖然不良的數(shù)據(jù)總會導(dǎo)致糟糕的結(jié)果，但在AI領(lǐng)域，風(fēng)險尤其高，因?yàn)榱淤|(zhì)數(shù)據(jù)可能會導(dǎo)致嚴(yán)重的財(cái)務(wù)損失、監(jiān)管罰款以及聲譽(yù)損害。然而，優(yōu)質(zhì)的數(shù)據(jù)如果能推動一項(xiàng)成功的計(jì)劃，可能會帶來巨大的，甚至可能改變游戲規(guī)則的戰(zhàn)略優(yōu)勢。
“在AI的世界里，‘垃圾進(jìn)，垃圾出’這句話的影響加倍放大，”Skyworks Solutions（思佳訊解決方案公司）的副總裁兼首席信息官Satya Jayadev（薩提亞·賈亞德夫）說道，該公司為無線網(wǎng)絡(luò)制造半導(dǎo)體，“任何優(yōu)秀AI系統(tǒng)的秘訣在于你如何構(gòu)建數(shù)據(jù)層。構(gòu)建架構(gòu)和基礎(chǔ)設(shè)施至關(guān)重要——要了解數(shù)據(jù)來源、生成數(shù)據(jù)，并構(gòu)建單一數(shù)據(jù)平臺。”Jayadev（賈亞德夫）說。
對于Jayadev（賈亞德夫）和其他人來說，這意味著要加大對數(shù)據(jù)湖、數(shù)據(jù)倉庫或數(shù)據(jù)湖倉實(shí)施的投入，將其作為AI（無論是傳統(tǒng)ML/機(jī)器學(xué)習(xí)、生成式人工智能還是智能體）的唯一真實(shí)數(shù)據(jù)源。
十多年前，當(dāng)大數(shù)據(jù)嶄露頭角時，數(shù)據(jù)湖應(yīng)運(yùn)而生，用于容納非結(jié)構(gòu)化數(shù)據(jù)，作為分析洞察的來源。數(shù)據(jù)湖倉，有時被稱為查詢加速器，像數(shù)據(jù)湖一樣包含非結(jié)構(gòu)化數(shù)據(jù)，但又像數(shù)據(jù)倉庫一樣增加了結(jié)構(gòu)層，能夠更快、更經(jīng)濟(jì)地提供洞察。
CIO們正在運(yùn)用這些以及其他數(shù)據(jù)技術(shù)，以確保數(shù)據(jù)管道強(qiáng)大且質(zhì)量達(dá)標(biāo)，從而從他們的人工智能戰(zhàn)略中實(shí)現(xiàn)轉(zhuǎn)型性價值。
一、更好的數(shù)據(jù)=更好的AI
那些已采取措施更好地組織數(shù)據(jù)的組織，更有可能具備數(shù)據(jù)成熟度，這是在AI領(lǐng)域取得成功的公司的一個關(guān)鍵特質(zhì)。研究公司IDC將數(shù)據(jù)成熟度定義為對先進(jìn)數(shù)據(jù)質(zhì)量、編目和元數(shù)據(jù)以及數(shù)據(jù)治理流程的運(yùn)用。該研究公司的首席數(shù)據(jù)官辦公室調(diào)查發(fā)現(xiàn)，具備數(shù)據(jù)成熟度的公司比其他組織更有可能在生產(chǎn)中采用生成式人工智能解決方案。
圖源：IDC: Gen AI Maturity
“各組織都在優(yōu)先重視數(shù)據(jù)質(zhì)量，以提高數(shù)據(jù)工作者的生產(chǎn)力，并提高AI生成結(jié)果的準(zhǔn)確性和相關(guān)性?！?/span>IDC的數(shù)據(jù)智能和集成軟件服務(wù)副總裁Stewart Bond（斯圖爾特·邦德）說。
此外，IDC的同一項(xiàng)研究還表明，為獲得最佳AI結(jié)果而進(jìn)行的數(shù)據(jù)準(zhǔn)備工作對企業(yè)的基線（指標(biāo)）有著顯著影響，能使客戶留存率提高五倍，同時在利潤、效率和收入方面也能取得顯著增長。
圖源：Tirachard Kumtanom / Shutterstock
對于Skyworks Solutions的Jayadev（賈亞德夫）來說，使用Databricks技術(shù)構(gòu)建的數(shù)據(jù)湖倉是數(shù)據(jù)質(zhì)量工作的重點(diǎn)。
“從某種意義上說，數(shù)據(jù)湖倉就像是摩天大樓的基礎(chǔ)。我們收集每一條數(shù)據(jù)，然后進(jìn)行分類和分組，構(gòu)建青銅級、白銀級和黃金級的數(shù)據(jù)質(zhì)量層，”這位副總裁兼CIO解釋說，“我們有數(shù)PB的數(shù)據(jù)存儲在數(shù)據(jù)湖倉中，還有數(shù)TB的數(shù)據(jù)來自我們的工廠和其他來源。”
二、Gallo收獲陳年數(shù)據(jù)
并非只有Jayadev（賈亞德夫）和Skyworks Solutions在關(guān)注數(shù)據(jù)。Gallo（嘉露酒莊），這家葡萄酒和其他飲料的巨頭生產(chǎn)商，據(jù)其首席信息官Robert Barrios（羅伯特·巴里奧斯）稱，已經(jīng)實(shí)施了一個數(shù)據(jù)倉庫和一個數(shù)據(jù)湖倉，以便從中獲取人工智能洞察。該公司構(gòu)建了一個SAP S/4HANA數(shù)據(jù)倉庫，它被細(xì)分為用于消費(fèi)者、財(cái)務(wù)和采購數(shù)據(jù)的獨(dú)立數(shù)據(jù)集市。此外，嘉露酒莊還為非SAP數(shù)據(jù)實(shí)施了AWS Redshift數(shù)據(jù)湖倉，并應(yīng)用元數(shù)據(jù)來賦予數(shù)據(jù)結(jié)構(gòu)。
Reyes（雷耶斯）說：“CEDAR在數(shù)據(jù)的收集和定義方面實(shí)現(xiàn)了統(tǒng)一。它使我們整個產(chǎn)品線的數(shù)據(jù)標(biāo)準(zhǔn)保持一致?！盧eyes（雷耶斯）解釋道，CEDAR使用了數(shù)據(jù)編目工具Atlan和基于機(jī)器學(xué)習(xí)的數(shù)據(jù)質(zhì)量工具Qualytics，為數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)，以便它能成為人工智能的單一數(shù)據(jù)源，無論是財(cái)務(wù)、工程、維護(hù)還是公司的其他部門使用。
AES的Farseer為公司贏得了2024年的CIO 100大獎，這是一個基于AI的平臺，它利用CEDAR的數(shù)據(jù)，幫助AES能夠了解市場需求、預(yù)期天氣條件、能源產(chǎn)能和預(yù)期收入。Reyes（雷耶斯）表示，這些信息使AES能夠確定向市場投放多少能源以及如何定價。此外，AES正在同時使用谷歌Gemini和微軟Copilot，并且正在探索利用智能體來處理后臺辦公流程。
五、一切都依賴于數(shù)據(jù)基礎(chǔ)
盡管數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)湖倉并非新事物，但推動從AI中獲取商業(yè)價值的行動卻使它們受到了前所未有的關(guān)注——這要求具備一流的數(shù)據(jù)治理。
Skyworks Solutions的Jayadev（賈亞德夫）表示：“AI并非傳統(tǒng)的信息技術(shù)，而是一種轉(zhuǎn)型性工具——每個人都希望能夠使用它。目前面臨的挑戰(zhàn)在于建立有效的治理機(jī)制，這樣我們才能開放數(shù)據(jù)和AI平臺，讓企業(yè)基于此構(gòu)建各種應(yīng)用場景?！?/span>
據(jù)Servier的Yunger（揚(yáng)格）說，光靠空想是無法實(shí)現(xiàn)目標(biāo)的，這需要專業(yè)的IT人才。Yunger（揚(yáng)格）表示，自他啟動數(shù)據(jù)治理項(xiàng)目的18個月以來，最大的障礙就是如何填補(bǔ)人才缺口。“這涉及人才——包括能力和技能組合——以及流程等多方面因素。你需要找到合適的人才，來推動并加速這些工作的開展?！?/span>
為了實(shí)現(xiàn)他所說的“可持續(xù)AI”，AES的Reyes（雷耶斯）建議需要謹(jǐn)慎地把握好平衡：實(shí)施數(shù)據(jù)治理，但不能影響正常的工作模式。他建議要確保公司的每一個人都明白，數(shù)據(jù)必須被視為一種寶貴的資產(chǎn)：鑒于AI帶來的高風(fēng)險，數(shù)據(jù)必須得到準(zhǔn)確的編目和管理，這是非常有必要的。
嘉露的Barrios（巴里奧斯）強(qiáng)調(diào)了單一強(qiáng)大數(shù)據(jù)基礎(chǔ)的重要性。“如果你有一堆不同的基礎(chǔ)架構(gòu)，那整個體系可能就會像紙牌屋一樣不堪一擊。”但僅有一個基礎(chǔ)是不夠的。嘉露的Barrios（巴里奧斯）堅(jiān)持認(rèn)為，讓公司業(yè)務(wù)部門參與進(jìn)來至關(guān)重要。
他建議：“與業(yè)務(wù)部門合作，確保他們有衡量指標(biāo)來評估你的工作成效。即便你擁有最出色的數(shù)據(jù)湖倉，但人們得真正去使用它才行。”
作者：Stan Gibson（斯坦·吉布森）
Stan Gibson（斯坦·吉布森）是一位屢獲殊榮的技術(shù)編輯、作家和演說家，在信息技術(shù)領(lǐng)域擁有36年的經(jīng)驗(yàn)。他曾是《eWeek/電子周刊》和《PC Week/電腦周刊》的執(zhí)行編輯，目前是StanGibsonCommunications的負(fù)責(zé)人，他繼續(xù)在IT領(lǐng)域各方面鉆研并撰寫文章。
譯者：寶藍(lán)
睿觀：AI項(xiàng)目的成敗高度依賴于底層數(shù)據(jù)的質(zhì)量，即“垃圾進(jìn)，垃圾出”原則的放大（核心理念）。為支持AI戰(zhàn)略，領(lǐng)先的CIO們正加大投入構(gòu)建以數(shù)據(jù)湖倉為代表的現(xiàn)代化數(shù)據(jù)平臺，旨在打造AI的“單一事實(shí)來源”（關(guān)鍵策略）。通過實(shí)施先進(jìn)的數(shù)據(jù)治理、分類和質(zhì)量控制，并努力克服治理、人才和業(yè)務(wù)部門參與度等挑戰(zhàn)，企業(yè)才能為AI奠定堅(jiān)實(shí)基礎(chǔ)，從而安全、有效地釋放其轉(zhuǎn)型價值（實(shí)施路徑與成功要素）。
金句：
在AI的摩天大樓中，算法是閃亮的設(shè)計(jì)，應(yīng)用是華麗的樓層，而堅(jiān)實(shí)、統(tǒng)一、高質(zhì)量的數(shù)據(jù)平臺，才是決定其能否屹立不倒的唯一地基。
