你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
必要的數(shù)據(jù)集成、建模和維護(hù)為高級(jí)分析和人工智能應(yīng)用程序奠定基礎(chǔ)。如果沒(méi)有它，數(shù)據(jù)就很難訪問(wèn)，即使可以進(jìn)行分析，也會(huì)產(chǎn)生不準(zhǔn)確的結(jié)果。
圖源：RAWPIXEL（圖片上傳者，可以譯為用戶RAWPIXEL，或者RAWPIXEL）
當(dāng)全球科技公司Lenovo開(kāi)始利用數(shù)據(jù)分析，這幫助其游戲筆記本電腦確定了一個(gè)新的市場(chǎng)利基，并為遠(yuǎn)程診斷提供了動(dòng)力，使其客戶從服務(wù)器和其他設(shè)備中獲得最大收益。
Comcast（康卡斯特，是美國(guó)一家主要有線電視，寬帶網(wǎng)絡(luò)及IP電話服務(wù)供應(yīng)商，總部位于賓夕法尼亞州的費(fèi)城，擁有2460萬(wàn)有線電視用戶，1440萬(wàn)寬帶網(wǎng)絡(luò)用戶及560萬(wàn)IP電話用戶，是美國(guó)最大的有線電視公司?？悼ㄋ固匾嗍敲绹?guó)第二大互聯(lián)網(wǎng)服務(wù)供應(yīng)商，僅次于AT&T。）正在使用數(shù)據(jù)分析降低其大數(shù)據(jù)的安全成本并提高其率，以更好地了解攻擊來(lái)源，更有效地做出反應(yīng)，并提高其預(yù)測(cè)未來(lái)威脅的能力。
在第一商業(yè)銀行，執(zhí)行總裁兼首席運(yùn)營(yíng)官Gregory Garcia（格雷戈里·加西亞）希望利用統(tǒng)一的實(shí)時(shí)數(shù)據(jù)來(lái)監(jiān)測(cè)風(fēng)險(xiǎn)，例如空置率提高，這一風(fēng)險(xiǎn)可能會(huì)使商業(yè)地產(chǎn)所有者更難支付抵押貸款。
但是，要實(shí)現(xiàn)所有這些目標(biāo)，以及利用企業(yè)數(shù)據(jù)開(kāi)展生成式人工智能應(yīng)用，以簡(jiǎn)化業(yè)務(wù)和開(kāi)發(fā)新服務(wù)，需要一個(gè)適當(dāng)?shù)幕A(chǔ)。這項(xiàng)艱苦且持續(xù)的工作包括集成數(shù)據(jù)孤島、數(shù)據(jù)建模和分析，以及維護(hù)好數(shù)據(jù)。
一、集成數(shù)據(jù)孤島
在Lenovo（聯(lián)想），客戶授權(quán)使用日志顯示，相當(dāng)數(shù)量的客戶使用其消費(fèi)級(jí)IdeaPad（聯(lián)想推出的筆記本系列產(chǎn)品。）筆記本電腦打游戲，而不是高端游戲筆記本電腦。作為回應(yīng)，Lenovo（聯(lián)想）推出了一系列新的入門級(jí)游戲筆記本電腦和臺(tái)式機(jī)，現(xiàn)在被稱為L(zhǎng)enovo LOQ（新的電競(jìng)子品牌，原本應(yīng)該是IdeaPad Gaming 系列，但Lenovo 認(rèn)為一臺(tái)筆電同時(shí)掛著「IdeaPad」和「Gaming」的名稱，容易讓消費(fèi)者混淆其定位，因此將其獨(dú)立出來(lái)。雖然說(shuō)它依然是位階在Legion 系列之下的「入門」電競(jìng)系列，但聯(lián)想重新設(shè)計(jì)了其外觀，讓它更接近Legion 系列的電競(jìng)風(fēng)格。），以迎合新玩家首次進(jìn)軍游戲的需求，聯(lián)想智能設(shè)備集團(tuán)云和軟件業(yè)務(wù)全球工程主管Girish Hoogar（格力士·胡戈）說(shuō)。
它還利用設(shè)備數(shù)據(jù)開(kāi)發(fā)了聯(lián)想設(shè)備智能，該智能模型利用人工智能驅(qū)動(dòng)的預(yù)測(cè)分析，幫助客戶理解并主動(dòng)預(yù)防和解決潛在的IT問(wèn)題。Lenovo（聯(lián)想）表示，Lenovo Device Intelligence（聯(lián)想設(shè)備智能。可協(xié)助企業(yè)級(jí)IT管理員監(jiān)控、診斷和補(bǔ)救PC問(wèn)題，并幫助在潛在的系統(tǒng)故障或性能問(wèn)題發(fā)生前進(jìn)行預(yù)測(cè)。）還可以幫助優(yōu)化IT支持成本，減少員工停機(jī)時(shí)間，改善用戶體驗(yàn)。
但在整合所需的數(shù)據(jù)之前，Lenovo（聯(lián)想）必須克服人們對(duì)共享潛在敏感信息的擔(dān)憂。Hoogar（胡戈）通過(guò)員工培訓(xùn)解決方案披露相關(guān)的信息（如錯(cuò)誤修復(fù)通知或軟件更新），來(lái)緩解這種擔(dān)憂。
過(guò)去，F(xiàn)irst Service Credit Union（第一服務(wù)信用社）的首席數(shù)據(jù)主管Ty Robbins（泰·羅賓斯）很難整合許多信用合作社運(yùn)營(yíng)的數(shù)據(jù)（那些傳統(tǒng)的、非關(guān)系型、通常存在專有表格中的數(shù)據(jù)）。他說(shuō)：“你必須是數(shù)據(jù)交互的編程語(yǔ)言專家，了解每個(gè)數(shù)據(jù)源中每個(gè)數(shù)據(jù)元素的關(guān)系，更不用說(shuō)了解它與其他數(shù)據(jù)源中元素的關(guān)系了?！?/p>
他說(shuō)，使用元數(shù)據(jù)驅(qū)動(dòng)的Cinchy Data Collaboration Platform（Cinchy數(shù)據(jù)協(xié)作平臺(tái)。將數(shù)據(jù)從應(yīng)用程序中解放出來(lái)，并允許客戶將數(shù)據(jù)作為產(chǎn)品進(jìn)行管理和控制，從而消除了未來(lái)數(shù)據(jù)集成的需要。其結(jié)果是形成了一個(gè)更加靈活的數(shù)據(jù)生態(tài)系統(tǒng)，可以簡(jiǎn)化更改，快速加快業(yè)務(wù)成果，并促進(jìn)整個(gè)企業(yè)的協(xié)作智能。）可以將典型的建模和集成工作從18個(gè)月減少到6周。這也有助于他使信用合作社數(shù)據(jù)民主化，從而可以用于改善客戶服務(wù)，通過(guò)各種類型的數(shù)據(jù)自動(dòng)化的維護(hù)，讓數(shù)據(jù)更容易被找到，還提供監(jiān)管鏈和審計(jì)控制，以幫助滿足監(jiān)管需求。
在Ocean Technologies Group(OTG，海事知識(shí)和技術(shù)解決方案提供商)，首席技術(shù)官Ian Hepworth（伊恩·赫普沃斯）不僅必須整合來(lái)自由OTG平臺(tái)管理的2萬(wàn)艘船只的維護(hù)和船員數(shù)據(jù)，還必須整合來(lái)自O(shè)TG收購(gòu)的六家公司的數(shù)據(jù)。除了保持當(dāng)前數(shù)據(jù)的準(zhǔn)確性和可訪問(wèn)性外，該公司還希望利用幾十年的歷史數(shù)據(jù)來(lái)識(shí)別船舶運(yùn)營(yíng)的潛在風(fēng)險(xiǎn)和改進(jìn)的機(jī)會(huì)。
Hepworth（赫普沃斯）說(shuō)，每家被收購(gòu)的公司都有多個(gè)具有不同primary key（主鍵。也稱為主碼或主關(guān)鍵字，用于惟一地確定一個(gè)元組的屬性或?qū)傩越M/復(fù)合主碼。每個(gè)關(guān)系都有一個(gè)并且只有一個(gè)主碼。）的數(shù)據(jù)集。他補(bǔ)充說(shuō)：“我們需要一個(gè)聰明的工具，來(lái)幫助我們熟練地將這些數(shù)據(jù)放入數(shù)據(jù)倉(cāng)庫(kù)，并使我們能夠開(kāi)始構(gòu)建客戶視圖?！彼f(shuō)，使用SnapLogic（全球集成平臺(tái)服務(wù)/iPaaS市場(chǎng)的主要供應(yīng)商）的集成平臺(tái)，他的開(kāi)發(fā)人員無(wú)需為每個(gè)數(shù)據(jù)源手動(dòng)構(gòu)建API(應(yīng)用程序編程接口)，就可以協(xié)助清理數(shù)據(jù)，并將其快速、高效地存儲(chǔ)在倉(cāng)庫(kù)中。他說(shuō)，SnapLogic不僅減少了員工的工作量，而且還提供了一個(gè)API，允許OTG的客戶從那里下載數(shù)據(jù)。
二、建模、理解和轉(zhuǎn)換數(shù)據(jù)
公司執(zhí)行副總裁、CISO（Chief information security officer，首席信息安全官）兼首席產(chǎn)品隱私官Noopur Davis（努浦·戴維斯）表示，Comcast（康卡斯特）面臨著收集大量有關(guān)潛在安全和可靠性問(wèn)題的信息的挑戰(zhàn)，但沒(méi)有簡(jiǎn)單的方法來(lái)理解這一切。
在將其昂貴的內(nèi)部數(shù)據(jù)湖轉(zhuǎn)移到云端后，Comcast（康卡斯特）創(chuàng)建了一個(gè)三層架構(gòu)。第一種方法將一整年的原始數(shù)據(jù)保存在較低成本和較低速度的存儲(chǔ)中，用于低頻率的用例，如法醫(yī)分析。Davis（戴維斯）說(shuō)，第二種方法存儲(chǔ)目前需要的數(shù)據(jù)，“具有元數(shù)據(jù)，完全標(biāo)準(zhǔn)化，并按時(shí)間序列存儲(chǔ)”，分析師可以更及時(shí)的檢索。第三層，在最昂貴但性能最高的存儲(chǔ)上，包含數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)，這些倉(cāng)庫(kù)配置有最頻繁的用例和人物角色匹配的數(shù)據(jù)鏈接。
Comcast（康卡斯特）將其預(yù)測(cè)分析的重點(diǎn)放在了對(duì)業(yè)務(wù)連續(xù)性至關(guān)重要的部分安全基礎(chǔ)設(shè)施上，比如其零售店的安全WiFi。與其他企業(yè)一樣，該公司正在轉(zhuǎn)向使用數(shù)據(jù)結(jié)構(gòu)，允許多個(gè)授權(quán)用戶從單個(gè)“真實(shí)來(lái)源”訪問(wèn)數(shù)據(jù)，而不是為每個(gè)需要的新用戶制作副本。Davis（戴維斯）說(shuō)，這樣做的目的與其說(shuō)是減少削減數(shù)據(jù)傳輸或存儲(chǔ)成本，不如說(shuō)是讓數(shù)據(jù)管理員更容易管理數(shù)據(jù)。她說(shuō)，Comcast（康卡斯特）還通過(guò)退役數(shù)據(jù)管理工具，實(shí)現(xiàn)了數(shù)億美元的成本規(guī)避，這些工具的功能現(xiàn)在由數(shù)據(jù)湖提供服務(wù)。
在管理客戶忠誠(chéng)度、在線訂購(gòu)和其他系統(tǒng)的付費(fèi)電子通信公司Paytronix（為餐館和便利店提供數(shù)字客戶參與服務(wù)。），數(shù)據(jù)科學(xué)主任Jesse Marshall（杰西·馬歇爾）希望減少數(shù)據(jù)轉(zhuǎn)換的自定義編碼——將數(shù)據(jù)的轉(zhuǎn)換、清理和結(jié)構(gòu)化轉(zhuǎn)換為可用于分析和報(bào)告的形式。
他說(shuō)，為了讓他的員工擺脫維護(hù)和修復(fù)過(guò)去的轉(zhuǎn)換，以便他們能夠?qū)Ｗ⒂谛马?xiàng)目，他使用了Coalesce（是一家數(shù)據(jù)轉(zhuǎn)換公司，隨著 Coalesce 數(shù)據(jù)轉(zhuǎn)換平臺(tái)的推出，它正在從隱身狀態(tài)中脫穎而出，簡(jiǎn)化了數(shù)據(jù)的建模、清理、治理和文檔記錄。）的數(shù)據(jù)轉(zhuǎn)換工具，該工具為Paytronix提供了一個(gè)創(chuàng)建轉(zhuǎn)換的拖放界面，并使解決數(shù)據(jù)轉(zhuǎn)換問(wèn)題更容易，并在公司基礎(chǔ)設(shè)施發(fā)生變化時(shí)維護(hù)這些轉(zhuǎn)換。
輕松創(chuàng)建新轉(zhuǎn)換的能力使企業(yè)能夠嘗試更多的分析方法，找到意想不到但有價(jià)值的贏家。他說(shuō)：“在舊世界，如果我們有10個(gè)有用的分析想法，我們只有時(shí)間研究其中的四個(gè)。我們希望團(tuán)隊(duì)嘗試每一個(gè)想法，即使其中60%失敗了。”
三、長(zhǎng)期維護(hù)和保護(hù)數(shù)據(jù)
盡管企業(yè)范圍內(nèi)需要更多更好的數(shù)據(jù)，但說(shuō)服業(yè)務(wù)部門或董事會(huì)為正在進(jìn)行的數(shù)據(jù)治理工作提供資金以確保數(shù)據(jù)準(zhǔn)確、及時(shí)和安全卻很難。
商業(yè)房地產(chǎn)服務(wù)公司JLL（仲量聯(lián)行。與第一太平戴維斯、高力國(guó)際、世邦魏理仕、戴德梁行同為世界知名的五大房地產(chǎn)咨詢機(jī)構(gòu)，連續(xù)三年入選福布斯白金400強(qiáng)企業(yè)的房地產(chǎn)投資管理及服務(wù)公司。）的首席技術(shù)主管Yao Morin（姚莫林）將數(shù)據(jù)維護(hù)比作管道，在管道出現(xiàn)故障并造成混亂、緊迫的問(wèn)題之前，沒(méi)有人會(huì)想到這一點(diǎn)。她說(shuō)，為了獲得所需的資金，數(shù)據(jù)從業(yè)者必須繼續(xù)向商業(yè)領(lǐng)袖展示數(shù)據(jù)的價(jià)值，以及如果我們不維護(hù)數(shù)據(jù)，它將如何毫無(wú)用處。
在JLL（仲量聯(lián)行）的案例中，這種價(jià)值包括在新冠肺炎封鎖后工人重返辦公室時(shí)，滿足客戶（以及占用其大樓的租房者）對(duì)新型信息的需求。這包括員工是孤立地坐在辦公桌前，還是在擁擠的會(huì)議室開(kāi)會(huì)，會(huì)議室里的空氣質(zhì)量，以及辦公室附近有哪些設(shè)施（如餐廳）可以吸引他們回來(lái)。
雖然高級(jí)管理層的支持對(duì)持續(xù)的數(shù)據(jù)管理至關(guān)重要，但Lenovo（聯(lián)想）的Hoogar（胡戈）稱，做這項(xiàng)工作是集體責(zé)任。他說(shuō)，建立基礎(chǔ)水平支持的一種方法是在每個(gè)部門找到數(shù)據(jù)愛(ài)好者，并通過(guò)課程與其他數(shù)據(jù)倡導(dǎo)者或數(shù)據(jù)委員會(huì)的定期會(huì)議來(lái)培養(yǎng)他們的技能。他說(shuō)，持續(xù)的教育、培訓(xùn)和技能提升對(duì)于更好的數(shù)據(jù)管理也至關(guān)重要。
第一商業(yè)銀行的Garcia（加西亞）說(shuō)：“首席信息官們遇到的問(wèn)題是，許多董事會(huì)和銀行的首席執(zhí)行官自認(rèn)不是商業(yè)貸款機(jī)構(gòu)，而不愿雇傭數(shù)據(jù)分析師，因?yàn)樗麄儾话阉麄円暈槟墚a(chǎn)生收入的資源。但是，一家擁有十幾位數(shù)據(jù)分析師的金融機(jī)構(gòu)，如果能正確地將實(shí)時(shí)數(shù)據(jù)業(yè)務(wù)化，可能比一大批貸款人在沒(méi)有適當(dāng)分析指導(dǎo)的情況下，漫無(wú)目的地試圖擴(kuò)大投資組合更有效。”
四、提前準(zhǔn)備
從數(shù)據(jù)建模到安全，標(biāo)準(zhǔn)化是數(shù)據(jù)獲取的首要工作。Morin（莫林）說(shuō)：“我們對(duì)許多數(shù)據(jù)接收過(guò)程進(jìn)行了模板化處理，”他需要添加元數(shù)據(jù)和數(shù)據(jù)字典，以便業(yè)務(wù)領(lǐng)導(dǎo)者能夠知道他們可以從數(shù)據(jù)湖中獲得什么信息?！叭绻麤](méi)有這些模板，就很難在事后添加這些信息?！?/p>
First Service Credit Union（第一服務(wù)信用社）的Robbins（羅賓斯）敦促進(jìn)行全面、預(yù)先的數(shù)據(jù)建模，以創(chuàng)建易于理解的數(shù)據(jù)，并以新的方式進(jìn)行分析。例如，一個(gè)詢問(wèn)信用合作社每月收到多少存款的查詢，當(dāng)生成相關(guān)報(bào)告并詢問(wèn)收到存款的新賬戶數(shù)量需要從頭開(kāi)始，這浪費(fèi)了寶貴的時(shí)間。他說(shuō)：“有了元數(shù)據(jù)平臺(tái)，你可以在一個(gè)視圖中匯編所有根據(jù)這些元素調(diào)整的數(shù)據(jù)，這樣你就可以簡(jiǎn)單地對(duì)這些數(shù)據(jù)進(jìn)行任何一個(gè)報(bào)告?！?。
Comcast（康卡斯特）等公司表示，除了這些日常福利外，正確的數(shù)據(jù)架構(gòu)和基礎(chǔ)設(shè)施使公司能夠比預(yù)期更快地開(kāi)發(fā)出令人興奮的生成人工智能應(yīng)用程序。但在獲得這些好處之前，“你必須做好基礎(chǔ)設(shè)施和數(shù)據(jù)清理，”Davis（戴維斯）說(shuō)，“這需要大量繁重的工作，但完成了這些工作，人們就能做出驚人的事情。”
作者：Robert Scheier（羅伯特·謝爾）
