傳統(tǒng)應(yīng)用程序可能無法收集足夠的AI有效運(yùn)行所需的數(shù)據(jù)，而維護(hù)它們的成本可能會(huì)占用AI項(xiàng)目的資金?，F(xiàn)代化和集成可以提供幫助。
圖片來源：Pressmaster / Shutterstock
IT專家表示，過時(shí)的軟件應(yīng)用程序正在許多組織中為AI的采用制造障礙，其中有限的數(shù)據(jù)保留能力是主要原因。
托管服務(wù)提供商Ensono的首席戰(zhàn)略官Brian Klingbeil表示，幾十年前設(shè)計(jì)的應(yīng)用程序由于當(dāng)時(shí)的存儲(chǔ)成本原因，只能保留有限的數(shù)據(jù)量，它們也很難與AI工具集成。
此外，維護(hù)過時(shí)軟件的成本可能很高，因?yàn)槭煜み@些應(yīng)用程序的軟件工程師越來越少。 他說，由于傳統(tǒng)應(yīng)用程序占用了組織IT預(yù)算的很大一部分，因此可用于新計(jì)劃的資金減少，進(jìn)一步減緩了AI的采用。 根據(jù)IDC 2023年的CIO情緒調(diào)查，當(dāng)時(shí)各組織平均將其IT預(yù)算的12.8％用于技術(shù)債務(wù)。
Klingbeil說，數(shù)據(jù)保留問題是一個(gè)很大的挑戰(zhàn)，因?yàn)閮?nèi)部收集的數(shù)據(jù)驅(qū)動(dòng)著許多AI計(jì)劃。 通過更新的數(shù)據(jù)收集功能，公司可以找到“寶藏”數(shù)據(jù)，供其AI項(xiàng)目使用。
他補(bǔ)充說：“如果應(yīng)用程序本身是傳統(tǒng)的，代碼存儲(chǔ)在不同的地方，那么各種各樣的問題都可能來自應(yīng)用程序本身。 傳統(tǒng)應(yīng)用程序的共同點(diǎn)是，它們往往是在存儲(chǔ)成本很高的時(shí)候編寫的，而現(xiàn)在存儲(chǔ)基本上是免費(fèi)的?！?/span>
一、客戶對(duì)舊應(yīng)用程序的擔(dān)憂
在Ensono，Klingbeil運(yùn)營(yíng)著一個(gè)客戶顧問委員會(huì)，其中銀行業(yè)和保險(xiǎn)業(yè)的首席信息官占很大比例。 他說，傳統(tǒng)應(yīng)用程序?yàn)锳I項(xiàng)目帶來的問題是最近與這些首席信息官討論的話題。
銀行業(yè)和保險(xiǎn)業(yè)是仍然大量使用大型機(jī)（mainframes）的兩個(gè)行業(yè)，Ensono為多個(gè)客戶管理大型機(jī)。 雖然大型機(jī)及其軟件對(duì)這些組織仍然重要，并且可能在AI領(lǐng)域擁有未來，但隨著老一代IT員工的退休，依賴于大型機(jī)的公司正在失去其內(nèi)部專業(yè)知識(shí)。
Klingbeil說：“這些基于大型機(jī)構(gòu)建的舊應(yīng)用程序不一定需要更換。 可能是大型機(jī)運(yùn)行良好，或者遷移成本很高，或者遷移風(fēng)險(xiǎn)很大，或者不值得花錢。 但它們可以現(xiàn)代化?！?/span>
Klingbeil和Ensono親眼目睹了傳統(tǒng)應(yīng)用程序?yàn)锳I帶來的挑戰(zhàn)。 在構(gòu)建一種由機(jī)器學(xué)習(xí)驅(qū)動(dòng)的工具來預(yù)測(cè)客戶的維護(hù)需求時(shí)，Ensono發(fā)現(xiàn)其客戶使用多個(gè)舊應(yīng)用程序來收集事件票據(jù)，但這些應(yīng)用程序以非常不同的格式存儲(chǔ)事件數(shù)據(jù)，收集的數(shù)據(jù)類型也不一致，他說。
其他CIO和IT領(lǐng)導(dǎo)者也看到了傳統(tǒng)應(yīng)用程序?yàn)锳I帶來的相同挑戰(zhàn)。 集成平臺(tái)即服務(wù)（iPaaS）提供商SnapLogic的首席技術(shù)官Jeremiah Stone表示，一家大型企業(yè)的 ????和分析負(fù)責(zé)人最近告訴他，由于過去幾年對(duì)應(yīng)用程序的管理不善，其數(shù)據(jù)狀況無法用于AI。
Stone說：“在許多情況下，過時(shí)的應(yīng)用程序完全阻礙了AI的采用。 CIO們公開的秘密是，投入AI的大量資金都花在了與服務(wù)合作伙伴建立現(xiàn)代化戰(zhàn)略或升級(jí)過時(shí)系統(tǒng)上。”
Stone稱過時(shí)的應(yīng)用程序是一個(gè)“數(shù)萬億美元的問題”，即使各組織在過去十年中一直專注于現(xiàn)代化其基礎(chǔ)設(shè)施以應(yīng)對(duì)大數(shù)據(jù)。
Stone說：“我們正處于轉(zhuǎn)型中期。 我們還沒有真正開始更新和規(guī)范廣泛的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用程序，這些應(yīng)用程序遍布業(yè)務(wù)流程，而這些正是最能從最新一波AI創(chuàng)新中獲益的數(shù)據(jù)和業(yè)務(wù)流程?！?/span>
二、分階段現(xiàn)代化
Stone建議，要解決這個(gè)問題，首席信息官應(yīng)首先清點(diǎn)其現(xiàn)有的IT基礎(chǔ)設(shè)施，并確定最需要現(xiàn)代化的領(lǐng)域。
他說：“最終，新舊系統(tǒng)將混合存在——這種情況需要強(qiáng)大的集成策略，以避免數(shù)據(jù)混亂和孤立的解決方案。 目標(biāo)是創(chuàng)建集成管道，無縫連接不同的系統(tǒng)和數(shù)據(jù)源?！?/span>
軟件開發(fā)公司BairesDev的首席技術(shù)官Justice Erolin補(bǔ)充說，首席信息官應(yīng)專注于最重要的軟件現(xiàn)代化項(xiàng)目。 首席信息官應(yīng)確定直接影響其AI計(jì)劃的應(yīng)用程序，并首先處理這些應(yīng)用程序。
他補(bǔ)充說，在某些情況下，公司可以通過采用中間件和API將傳統(tǒng)系統(tǒng)與新技術(shù)連接起來，而不是完全重寫代碼來使其業(yè)務(wù)應(yīng)用程序現(xiàn)代化。
他補(bǔ)充說：“這允許提取數(shù)據(jù)并將其集成到AI模型中，而無需徹底改造整個(gè)平臺(tái)?！?/span>
首席信息官還應(yīng)使用數(shù)據(jù)湖來匯總來自多個(gè)來源的信息，他補(bǔ)充道。 然后，AI模型可以訪問它們所需的數(shù)據(jù)，而無需直接依賴過時(shí)的應(yīng)用程序。
三、數(shù)據(jù)工程彌合傳統(tǒng)與AI之間的差距
然而，一些IT領(lǐng)導(dǎo)者并不認(rèn)為過時(shí)的應(yīng)用程序是AI項(xiàng)目的一大障礙。
網(wǎng)絡(luò)、物聯(lián)網(wǎng)和邊緣計(jì)算解決方案提供商N(yùn)exapp的首席數(shù)據(jù)和AI工程經(jīng)理Robert Cloutier表示，雖然從傳統(tǒng)軟件中提取數(shù)據(jù)可能很棘手，但更大的問題在于下一步。 在提取數(shù)據(jù)之后，IT團(tuán)隊(duì)需要解釋提取的數(shù)據(jù)，并使其與基于AI的應(yīng)用程序的特定要求保持一致。
他說：“通往有效利用AI的旅程不僅僅是克服技術(shù)集成障礙。 它是彌合原始數(shù)據(jù)和可操作見解之間的差距?！?/span>
Cloutier補(bǔ)充說，一些較舊的業(yè)務(wù)應(yīng)用程序收集并保存的數(shù)據(jù)量有限，但其他應(yīng)用程序擁有各種各樣的信息，這些信息對(duì)組織來說很有價(jià)值。 在某些情況下，IT領(lǐng)導(dǎo)者會(huì)猶豫不決地使用這些數(shù)據(jù)，因?yàn)樗麄儾恢廊绾翁崛?shù)據(jù)，但正確的數(shù)據(jù)工程專業(yè)知識(shí)可以解決這個(gè)問題。
他說：“這些舊系統(tǒng)已經(jīng)運(yùn)行了幾十年，因此實(shí)際上有很多有價(jià)值的信息可以利用。 其中蘊(yùn)藏著他們甚至不想觸及的寶藏，因?yàn)樗麄兿敫淖兿到y(tǒng)，或者所有遺留數(shù)據(jù)，然后你必須等待多年?！?/span>
【睿觀：過時(shí)的業(yè)務(wù)應(yīng)用程序?qū)⒆璧K企業(yè)采用人工智能（AI）技術(shù)。
（一）主要觀點(diǎn)：
1.數(shù)據(jù)限制：?過時(shí)的應(yīng)用程序通常設(shè)計(jì)用于存儲(chǔ)有限的數(shù)據(jù)，這限制了AI從大量數(shù)據(jù)中學(xué)習(xí)和改進(jìn)的能力。
2.集成困難：?這些應(yīng)用程序難以與現(xiàn)代AI工具集成，使得數(shù)據(jù)提取和利用變得復(fù)雜。
3.維護(hù)成本高昂：?維護(hù)過時(shí)軟件的成本很高，占用了大量IT預(yù)算，減少了可用于AI項(xiàng)目的資金。
4.人才流失：?熟悉這些過時(shí)應(yīng)用程序的工程師越來越少，增加了維護(hù)和升級(jí)的難度。
（二）解決這些問題的方法：
? ? 1.現(xiàn)代化：?企業(yè)應(yīng)該對(duì)現(xiàn)有IT基礎(chǔ)設(shè)施進(jìn)行評(píng)估，確定需要現(xiàn)代化的領(lǐng)域，并優(yōu)先考慮那些對(duì)AI計(jì)劃影響最大的應(yīng)用程序。
? ? 2.集成：?通過使用中間件和API等技術(shù)，可以將傳統(tǒng)系統(tǒng)與新的AI工具連接起來，實(shí)現(xiàn)數(shù)據(jù)共享和集成。
? ? 3.數(shù)據(jù)湖：?構(gòu)建數(shù)據(jù)湖來匯總來自多個(gè)來源的數(shù)據(jù)，使AI模型可以訪問所需信息，而無需直接依賴過時(shí)的應(yīng)用程序。
? ? 4.數(shù)據(jù)工程：?強(qiáng)調(diào)數(shù)據(jù)工程在彌合傳統(tǒng)系統(tǒng)和AI之間的差距方面的重要性，指出專業(yè)的數(shù)據(jù)工程團(tuán)隊(duì)可以有效地從舊系統(tǒng)中提取和解釋數(shù)據(jù)，為AI應(yīng)用提供支持。
在企業(yè)擁抱人工智能（AI）的浪潮中，數(shù)據(jù)工程扮演著至關(guān)重要的角色。尤其是在面對(duì)傳統(tǒng)系統(tǒng)時(shí)，數(shù)據(jù)工程的重要性愈發(fā)凸顯。本文將深入探討數(shù)據(jù)工程在彌合傳統(tǒng)系統(tǒng)與AI之間差距的重要性，并介紹數(shù)據(jù)工程的概念及示范案例。
數(shù)據(jù)工程是構(gòu)建和維護(hù)數(shù)據(jù)基礎(chǔ)設(shè)施的學(xué)科，旨在為數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和AI應(yīng)用提供可靠、高效的數(shù)據(jù)支持。數(shù)據(jù)工程師負(fù)責(zé)收集、處理、轉(zhuǎn)換和存儲(chǔ)數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量和可用性。
在傳統(tǒng)系統(tǒng)中，數(shù)據(jù)通常以各種格式存儲(chǔ)在不同的地方，如數(shù)據(jù)庫(kù)、文件和舊系統(tǒng)中。這些數(shù)據(jù)可能存在質(zhì)量問題，如數(shù)據(jù)不一致、缺失或錯(cuò)誤。此外，傳統(tǒng)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)可能與現(xiàn)代AI應(yīng)用所需的數(shù)據(jù)結(jié)構(gòu)不兼容。
數(shù)據(jù)工程的任務(wù)就是解決這些問題。數(shù)據(jù)工程師利用各種技術(shù)和工具，從傳統(tǒng)系統(tǒng)中提取數(shù)據(jù)，并對(duì)其進(jìn)行清洗、轉(zhuǎn)換和整合，使其符合AI應(yīng)用的要求。他們還負(fù)責(zé)構(gòu)建數(shù)據(jù)管道，確保數(shù)據(jù)能夠源源不斷地流入AI系統(tǒng)。
2.數(shù)據(jù)工程的重要性
數(shù)據(jù)質(zhì)量：?數(shù)據(jù)工程的首要任務(wù)是確保數(shù)據(jù)質(zhì)量。數(shù)據(jù)工程師需要對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和驗(yàn)證，以消除數(shù)據(jù)中的錯(cuò)誤和不一致性，提高數(shù)據(jù)的準(zhǔn)確性和可靠性。
數(shù)據(jù)集成：?傳統(tǒng)系統(tǒng)的數(shù)據(jù)通常分散在不同的地方，數(shù)據(jù)工程師需要將這些數(shù)據(jù)整合起來，形成統(tǒng)一的數(shù)據(jù)視圖，為AI應(yīng)用提供全面的數(shù)據(jù)支持。
數(shù)據(jù)轉(zhuǎn)換：?傳統(tǒng)系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)可能與AI應(yīng)用所需的數(shù)據(jù)結(jié)構(gòu)不兼容，數(shù)據(jù)工程師需要對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，使其符合AI應(yīng)用的要求。
數(shù)據(jù)管道：?數(shù)據(jù)工程師需要構(gòu)建數(shù)據(jù)管道，確保數(shù)據(jù)能夠源源不斷地流入AI系統(tǒng)。數(shù)據(jù)管道需要具有高可靠性、高效率和可擴(kuò)展性，以滿足AI應(yīng)用的需求。
數(shù)據(jù)安全：?數(shù)據(jù)安全是數(shù)據(jù)工程的重要組成部分。數(shù)據(jù)工程師需要采取各種措施，保護(hù)數(shù)據(jù)免受未經(jīng)授權(quán)的訪問和泄露。
解決方案：?數(shù)據(jù)工程師首先從這些傳統(tǒng)系統(tǒng)中提取數(shù)據(jù)，并對(duì)其進(jìn)行清洗、轉(zhuǎn)換和整合。他們利用ETL（Extract, Transform, Load）工具，將數(shù)據(jù)從不同的系統(tǒng)抽取出來，并將其轉(zhuǎn)換為統(tǒng)一的格式。然后，他們對(duì)數(shù)據(jù)進(jìn)行清洗和驗(yàn)證，以消除數(shù)據(jù)中的錯(cuò)誤和不一致性。最后，他們將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中，為AI模型提供數(shù)據(jù)支持。
數(shù)據(jù)工程師還構(gòu)建了數(shù)據(jù)管道，確保數(shù)據(jù)能夠定期更新，以反映客戶信用風(fēng)險(xiǎn)的變化。他們還采取了各種措施，保護(hù)數(shù)據(jù)免受未經(jīng)授權(quán)的訪問和泄露。
通過數(shù)據(jù)工程，這家銀行成功地將傳統(tǒng)系統(tǒng)的數(shù)據(jù)整合起來，并為其AI應(yīng)用提供了高質(zhì)量的數(shù)據(jù)支持。AI模型可以利用這些數(shù)據(jù)來預(yù)測(cè)客戶的信用風(fēng)險(xiǎn)，幫助銀行做出更明智的決策。
數(shù)據(jù)工程是彌合傳統(tǒng)系統(tǒng)與AI之間差距的關(guān)鍵。數(shù)據(jù)工程師通過構(gòu)建和維護(hù)數(shù)據(jù)基礎(chǔ)設(shè)施，為AI應(yīng)用提供可靠、高效的數(shù)據(jù)支持。隨著AI技術(shù)的不斷發(fā)展，數(shù)據(jù)工程的重要性將愈發(fā)凸顯?！?/span>
