你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
數(shù)據(jù)架構(gòu)將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)和系統(tǒng)要求，并尋求管理數(shù)據(jù)及其在企業(yè)中的流動(dòng)。數(shù)據(jù)架構(gòu)在制造業(yè)中具有廣泛的應(yīng)用前景，可以幫助企業(yè)提高生產(chǎn)效率、降低成本、優(yōu)化運(yùn)營(yíng)、提升競(jìng)爭(zhēng)力。構(gòu)建合理的數(shù)據(jù)架構(gòu)是制造業(yè)企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型和智能制造的重要基礎(chǔ)。
來(lái)源：Brandon Mowinkel
一、數(shù)據(jù)架構(gòu)定義
根據(jù)開(kāi)放群組架構(gòu)框架(TOGAF)?，數(shù)據(jù)架構(gòu)描述了組織的邏輯和物理數(shù)據(jù)資產(chǎn)以及數(shù)據(jù)管理資源的結(jié)構(gòu)。它是企業(yè)架構(gòu)的一個(gè)分支，包括管理組織中數(shù)據(jù)收集、存儲(chǔ)、整理、集成和使用的模型、政策、規(guī)則和標(biāo)準(zhǔn)。組織的數(shù)據(jù)架構(gòu)是數(shù)據(jù)架構(gòu)師的職權(quán)范圍。
二、數(shù)據(jù)架構(gòu)目標(biāo)
數(shù)據(jù)架構(gòu)的目標(biāo)是將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)和系統(tǒng)要求，并管理數(shù)據(jù)及其在企業(yè)中的流動(dòng)。如今，許多組織都希望實(shí)現(xiàn)數(shù)據(jù)架構(gòu)的現(xiàn)代化，以此作為充分利用人工智能和實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型的基礎(chǔ)。咨詢公司麥肯錫數(shù)字指出，許多組織未能實(shí)現(xiàn)數(shù)字化和人工智能轉(zhuǎn)型目標(biāo)，是因?yàn)榱鞒虖?fù)雜，而不是技術(shù)復(fù)雜。
三、數(shù)據(jù)架構(gòu)原則
語(yǔ)義層平臺(tái)AtScale?創(chuàng)始人兼首席技術(shù)官David Mariani?認(rèn)為，現(xiàn)代數(shù)據(jù)架構(gòu)的基礎(chǔ)由六項(xiàng)原則組成：
1、將數(shù)據(jù)視為共享資產(chǎn)?，F(xiàn)代數(shù)據(jù)架構(gòu)需要消除部門(mén)數(shù)據(jù)孤島，讓所有利益相關(guān)者全面了解公司：全方位的客戶洞察，以及關(guān)聯(lián)來(lái)自制造和物流等所有業(yè)務(wù)職能的寶貴數(shù)據(jù)信號(hào)的能力。
2、提供使用數(shù)據(jù)的用戶界面。除了打破數(shù)據(jù)孤島之外，現(xiàn)代數(shù)據(jù)架構(gòu)還需要提供界面，讓用戶能夠使用適合其工作的工具輕松使用數(shù)據(jù)。數(shù)據(jù)必須能夠自由地在數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖和數(shù)據(jù)集市之間移動(dòng)，并且界面必須讓用戶能夠輕松地使用這些數(shù)據(jù)。
3、確保安全性和訪問(wèn)控制?，F(xiàn)代數(shù)據(jù)架構(gòu)必須以安全性為設(shè)計(jì)目標(biāo)，并且必須直接在原始數(shù)據(jù)上支持?jǐn)?shù)據(jù)策略和訪問(wèn)控制，而不是在下游數(shù)據(jù)存儲(chǔ)和應(yīng)用程序的網(wǎng)絡(luò)中。
4、建立通用詞匯表。共享數(shù)據(jù)資產(chǎn)（例如產(chǎn)品目錄、財(cái)務(wù)日歷維度和?KPI?定義）需要通用詞匯表，以幫助避免分析過(guò)程中出現(xiàn)爭(zhēng)議。
5、管理數(shù)據(jù)。投資執(zhí)行數(shù)據(jù)管理的核心功能，例如建立重要關(guān)系模型、清理原始數(shù)據(jù)以及管理關(guān)鍵維度和指標(biāo)。
6、優(yōu)化數(shù)據(jù)流以提高敏捷性。限制必須移動(dòng)數(shù)據(jù)的次數(shù)，以降低成本、提高數(shù)據(jù)新鮮度并優(yōu)化企業(yè)敏捷性。
三、數(shù)據(jù)架構(gòu)組件
根據(jù)IT?咨詢公司?BMC?的說(shuō)法，現(xiàn)代數(shù)據(jù)架構(gòu)由以下組件組成：
1、數(shù)據(jù)管道。數(shù)據(jù)管道是收集、移動(dòng)和提煉數(shù)據(jù)的過(guò)程。它包括數(shù)據(jù)收集、提煉、存儲(chǔ)、分析和交付。
2、云存儲(chǔ)。并非所有數(shù)據(jù)架構(gòu)都利用云存儲(chǔ)，但許多現(xiàn)代數(shù)據(jù)架構(gòu)都使用公共云、私有云或混合云來(lái)提供靈活性。
3、云計(jì)算。除了使用云進(jìn)行存儲(chǔ)之外，許多現(xiàn)代數(shù)據(jù)架構(gòu)還利用云計(jì)算來(lái)分析和管理數(shù)據(jù)。
4、應(yīng)用程序編程接口。現(xiàn)代數(shù)據(jù)架構(gòu)使用API?來(lái)輕松公開(kāi)和共享數(shù)據(jù)。
5、人工智能和機(jī)器學(xué)習(xí)模型。人工智能和機(jī)器學(xué)習(xí)用于自動(dòng)化系統(tǒng)，以完成數(shù)據(jù)收集和標(biāo)記等任務(wù)。同時(shí)，現(xiàn)代數(shù)據(jù)架構(gòu)可以幫助組織釋放大規(guī)模利用人工智能和機(jī)器學(xué)習(xí)的能力。
6、數(shù)據(jù)流。數(shù)據(jù)流是數(shù)據(jù)從源頭連續(xù)流向目的地，以進(jìn)行實(shí)時(shí)或近實(shí)時(shí)的處理和分析。
7、容器編排。容器編排系統(tǒng)（例如開(kāi)源?Kubernetes）通常用于自動(dòng)化軟件部署、擴(kuò)展和管理。
8、實(shí)時(shí)分析。許多現(xiàn)代數(shù)據(jù)架構(gòu)的目標(biāo)是提供實(shí)時(shí)分析，即在新數(shù)據(jù)到達(dá)環(huán)境時(shí)對(duì)其進(jìn)行分析的能力。
四、數(shù)據(jù)架構(gòu)與數(shù)據(jù)建模
根據(jù)《數(shù)據(jù)管理知識(shí)手冊(cè)》（DMBOK 2），數(shù)據(jù)架構(gòu)將管理數(shù)據(jù)資產(chǎn)的藍(lán)圖定義為與組織戰(zhàn)略保持一致，以建立戰(zhàn)略數(shù)據(jù)需求和設(shè)計(jì)來(lái)滿足這些需求。另一方面，DMBOK 2將數(shù)據(jù)建模定義為“以精確的形式（稱為數(shù)據(jù)模型）發(fā)現(xiàn)、分析、表示和傳達(dá)數(shù)據(jù)需求的過(guò)程”。
雖然數(shù)據(jù)架構(gòu)和數(shù)據(jù)建模都試圖彌合業(yè)務(wù)目標(biāo)和技術(shù)之間的差距，但數(shù)據(jù)架構(gòu)是一種宏觀視角，旨在理解和支持組織的功能、技術(shù)和數(shù)據(jù)類型之間的關(guān)系。數(shù)據(jù)建模則更側(cè)重于特定系統(tǒng)或業(yè)務(wù)案例。
五、數(shù)據(jù)架構(gòu)框架
有幾種企業(yè)架構(gòu)框架通常作為構(gòu)建組織數(shù)據(jù)架構(gòu)框架的基礎(chǔ)。
DAMA-DMBOK 2 .?DAMA International的數(shù)據(jù)管理知識(shí)體系是專門(mén)針對(duì)數(shù)據(jù)管理的框架。它為數(shù)據(jù)管理功能、可交付成果、角色和其他術(shù)語(yǔ)提供了標(biāo)準(zhǔn)定義，并提出了數(shù)據(jù)管理的指導(dǎo)原則。
Zachman企業(yè)架構(gòu)框架。Zachman框架是IBM?的?John Zachman?于?20?世紀(jì)?80?年代創(chuàng)建的企業(yè)本體。Zachman?框架的數(shù)據(jù)列包含多個(gè)層，包括對(duì)業(yè)務(wù)很重要的架構(gòu)標(biāo)準(zhǔn)、語(yǔ)義模型或概念/企業(yè)數(shù)據(jù)模型、企業(yè)/邏輯數(shù)據(jù)模型、物理數(shù)據(jù)模型和實(shí)際數(shù)據(jù)庫(kù)。
開(kāi)放群組架構(gòu)框架。TOGAF是一種企業(yè)架構(gòu)方法，為企業(yè)軟件開(kāi)發(fā)提供高級(jí)框架。TOGAF的?C?階段涵蓋開(kāi)發(fā)數(shù)據(jù)架構(gòu)和構(gòu)建數(shù)據(jù)架構(gòu)路線圖。
六、現(xiàn)代數(shù)據(jù)架構(gòu)最佳實(shí)踐
數(shù)據(jù)架構(gòu)是一個(gè)模板，它控制著數(shù)據(jù)在公司內(nèi)的流動(dòng)、存儲(chǔ)和訪問(wèn)方式?，F(xiàn)代數(shù)據(jù)架構(gòu)必須設(shè)計(jì)為利用人工智能、自動(dòng)化和物聯(lián)網(wǎng)(IoT)?等技術(shù)。根據(jù)數(shù)據(jù)平臺(tái)?Acceldata?的說(shuō)法，數(shù)據(jù)架構(gòu)有三個(gè)核心原則：
1、可擴(kuò)展性?，F(xiàn)代數(shù)據(jù)架構(gòu)必須具有可擴(kuò)展性，才能在不影響性能的情況下處理不斷增長(zhǎng)的數(shù)據(jù)量?？蓴U(kuò)展的數(shù)據(jù)架構(gòu)應(yīng)該能夠縱向擴(kuò)展（向單個(gè)機(jī)器添加更多資源或處理能力）和橫向擴(kuò)展（添加更多機(jī)器以分配數(shù)據(jù)庫(kù)負(fù)載）。
2、靈活性。靈活的數(shù)據(jù)架構(gòu)可以集成新的數(shù)據(jù)源、采用新技術(shù)并隨著業(yè)務(wù)需求而發(fā)展。
3、數(shù)據(jù)完整性?，F(xiàn)代數(shù)據(jù)架構(gòu)必須確保數(shù)據(jù)在其生命周期內(nèi)保持準(zhǔn)確、一致和不變，以保持其分析和決策的可靠性。它們必須防止數(shù)據(jù)損壞、重復(fù)或丟失等問(wèn)題。
七、現(xiàn)代數(shù)據(jù)架構(gòu)還應(yīng)遵循以下最佳實(shí)踐：
1、與業(yè)務(wù)需求保持一致。有效的企業(yè)數(shù)據(jù)架構(gòu)應(yīng)與業(yè)務(wù)目標(biāo)保持一致。為此，組織應(yīng)根據(jù)戰(zhàn)略目標(biāo)確定需要收集、分析和存儲(chǔ)的數(shù)據(jù)。
2、確保數(shù)據(jù)治理和合規(guī)性。強(qiáng)大的數(shù)據(jù)架構(gòu)需要確保數(shù)據(jù)治理和合規(guī)性，以建立明確的政策來(lái)管理整個(gè)數(shù)據(jù)生命周期內(nèi)的數(shù)據(jù)訪問(wèn)、質(zhì)量和安全。
3、選擇正確的工具和技術(shù)。選擇適合您的企業(yè)數(shù)據(jù)架構(gòu)的工具至關(guān)重要，包括關(guān)系數(shù)據(jù)庫(kù)和?NoSQL?數(shù)據(jù)庫(kù)、基于云的存儲(chǔ)解決方案和處理工具。
咨詢公司Protiviti?的技術(shù)咨詢高級(jí)總監(jiān)?Dan Sutherland為現(xiàn)代數(shù)據(jù)架構(gòu)添加了更多最佳實(shí)踐：
1、云原生。現(xiàn)代數(shù)據(jù)架構(gòu)應(yīng)設(shè)計(jì)為支持彈性擴(kuò)展、高可用性、動(dòng)態(tài)數(shù)據(jù)和靜態(tài)數(shù)據(jù)的端到端安全性以及成本和性能可擴(kuò)展性。
2、可擴(kuò)展的數(shù)據(jù)管道。為了利用新興技術(shù)，數(shù)據(jù)架構(gòu)應(yīng)該支持實(shí)時(shí)數(shù)據(jù)流和微批量數(shù)據(jù)突發(fā)。
3、無(wú)縫數(shù)據(jù)集成。數(shù)據(jù)架構(gòu)應(yīng)使用標(biāo)準(zhǔn)?API?接口與舊式應(yīng)用程序集成。它們還應(yīng)進(jìn)行優(yōu)化，以便跨系統(tǒng)、跨地區(qū)和跨組織共享數(shù)據(jù)。
4、實(shí)時(shí)數(shù)據(jù)支持?，F(xiàn)代數(shù)據(jù)架構(gòu)應(yīng)支持部署自動(dòng)化和主動(dòng)數(shù)據(jù)驗(yàn)證、分類、管理和治理的能力。
5、解耦且可擴(kuò)展?，F(xiàn)代數(shù)據(jù)架構(gòu)應(yīng)設(shè)計(jì)為松散耦合，使服務(wù)能夠獨(dú)立于其他服務(wù)執(zhí)行最少的任務(wù)。
八、數(shù)據(jù)架構(gòu)角色
根據(jù)Indeed的數(shù)據(jù)，以下是一些與數(shù)據(jù)架構(gòu)相關(guān)的最受歡迎的職位以及每個(gè)職位的平均薪資：
數(shù)據(jù)架構(gòu)師：67,000-173,000美元
項(xiàng)目經(jīng)理：57,000-142,000美元
數(shù)據(jù)工程師：83,000-195,000美元
數(shù)據(jù)分析師：50,000-128,000美元
數(shù)據(jù)科學(xué)家：76,000-195,000美元
【睿觀：制造業(yè)場(chǎng)景應(yīng)用的三個(gè)案例展示了數(shù)據(jù)架構(gòu)如何在制造業(yè)中發(fā)揮關(guān)鍵作用：
1. 智能制造和預(yù)測(cè)性維護(hù)：
業(yè)務(wù)需求：?提高設(shè)備利用率，減少意外停機(jī)時(shí)間，降低維護(hù)成本。
數(shù)據(jù)架構(gòu)應(yīng)用：?通過(guò)在生產(chǎn)設(shè)備上部署傳感器，實(shí)時(shí)采集溫度、壓力、振動(dòng)等數(shù)據(jù)。利用數(shù)據(jù)管道將數(shù)據(jù)傳輸?shù)皆破脚_(tái)進(jìn)行存儲(chǔ)和分析。構(gòu)建機(jī)器學(xué)習(xí)模型，根據(jù)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)預(yù)測(cè)設(shè)備故障，提前進(jìn)行維護(hù)，避免生產(chǎn)中斷。
關(guān)鍵組件：?數(shù)據(jù)管道、云存儲(chǔ)、云計(jì)算、人工智能和機(jī)器學(xué)習(xí)模型、數(shù)據(jù)流。
帶來(lái)的益處：?提高設(shè)備運(yùn)行效率，降低維護(hù)成本，提高產(chǎn)品質(zhì)量。
2. 供應(yīng)鏈優(yōu)化：
業(yè)務(wù)需求：?提高供應(yīng)鏈效率，降低庫(kù)存成本，優(yōu)化物流。
數(shù)據(jù)架構(gòu)應(yīng)用：?集成來(lái)自供應(yīng)商、生產(chǎn)、物流、銷售等環(huán)節(jié)的數(shù)據(jù)，構(gòu)建統(tǒng)一的數(shù)據(jù)視圖。利用數(shù)據(jù)分析工具，分析供應(yīng)鏈瓶頸，優(yōu)化庫(kù)存管理，提高物流效率，實(shí)現(xiàn)供應(yīng)鏈的協(xié)同運(yùn)作。
關(guān)鍵組件：?數(shù)據(jù)管道、API、數(shù)據(jù)流。
帶來(lái)的益處：?降低庫(kù)存積壓，縮短交貨周期，提高客戶滿意度。
3. 產(chǎn)品質(zhì)量追溯：
業(yè)務(wù)需求：?實(shí)現(xiàn)產(chǎn)品質(zhì)量的全程追溯，快速定位質(zhì)量問(wèn)題，提高產(chǎn)品質(zhì)量。
數(shù)據(jù)架構(gòu)應(yīng)用：?在生產(chǎn)過(guò)程中記錄每個(gè)產(chǎn)品的生產(chǎn)參數(shù)、原材料信息、檢驗(yàn)結(jié)果等數(shù)據(jù)。構(gòu)建數(shù)據(jù)平臺(tái)，將這些數(shù)據(jù)關(guān)聯(lián)起來(lái)，形成完整的產(chǎn)品追溯鏈。一旦出現(xiàn)質(zhì)量問(wèn)題，可以快速追溯到問(wèn)題的根源。
關(guān)鍵組件：?數(shù)據(jù)管道、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)流。
帶來(lái)的益處：?提高產(chǎn)品質(zhì)量，降低召回風(fēng)險(xiǎn)，增強(qiáng)品牌信譽(yù)。
通過(guò)以上案例可以看出，數(shù)據(jù)架構(gòu)在制造業(yè)中具有廣泛的應(yīng)用前景，可以幫助企業(yè)提高生產(chǎn)效率、降低成本、優(yōu)化運(yùn)營(yíng)、提升競(jìng)爭(zhēng)力。構(gòu)建合理的數(shù)據(jù)架構(gòu)是制造業(yè)企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型和智能制造的重要基礎(chǔ)。】
