你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
數(shù)據(jù)科學(xué)是一種將業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為資產(chǎn)的方法，可幫助組織提高收入、降低成本、抓住商機(jī)、改善客戶體驗(yàn)等。
來(lái)源：Thinkstock
一、什么是數(shù)據(jù)科學(xué)？
數(shù)據(jù)科學(xué)是一種利用統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)(ML)?等方法從結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中獲取見(jiàn)解的方法。對(duì)于大多數(shù)組織而言，它用于將數(shù)據(jù)轉(zhuǎn)化為價(jià)值，包括提高收入、降低成本、提高業(yè)務(wù)敏捷性、改善客戶體驗(yàn)、開發(fā)新產(chǎn)品等。簡(jiǎn)而言之，數(shù)據(jù)科學(xué)為組織收集的數(shù)據(jù)賦予了用途。
二、數(shù)據(jù)科學(xué)與數(shù)據(jù)分析
雖然數(shù)據(jù)分析與數(shù)據(jù)科學(xué)密切相關(guān)，但它是數(shù)據(jù)科學(xué)的一個(gè)組成部分，用于了解組織的數(shù)據(jù)是什么樣子。數(shù)據(jù)科學(xué)利用分析的輸出來(lái)解決問(wèn)題。數(shù)據(jù)科學(xué)家說(shuō)，用數(shù)據(jù)調(diào)查某事只是分析，所以數(shù)據(jù)科學(xué)將分析更進(jìn)一步來(lái)解釋和解決問(wèn)題。數(shù)據(jù)分析和數(shù)據(jù)科學(xué)之間的另一個(gè)區(qū)別是時(shí)間尺度。數(shù)據(jù)分析描述現(xiàn)實(shí)的當(dāng)前狀態(tài)，而數(shù)據(jù)科學(xué)利用這些數(shù)據(jù)來(lái)預(yù)測(cè)和理解未來(lái)。
三、數(shù)據(jù)科學(xué)的好處
數(shù)據(jù)科學(xué)的商業(yè)價(jià)值取決于組織的需求。數(shù)據(jù)科學(xué)可以幫助組織構(gòu)建工具來(lái)預(yù)測(cè)硬件故障，從而使組織能夠執(zhí)行維護(hù)并防止意外停機(jī)。它還可以根據(jù)產(chǎn)品的屬性幫助預(yù)測(cè)超市貨架上應(yīng)該放什么，或者產(chǎn)品的受歡迎程度。
四、數(shù)據(jù)科學(xué)職位
雖然數(shù)據(jù)科學(xué)學(xué)位課程的數(shù)量正在快速增長(zhǎng)，但它們不一定是組織在尋找數(shù)據(jù)科學(xué)家時(shí)所尋找的。具有統(tǒng)計(jì)學(xué)背景的候選人很受歡迎，尤其是如果他們能夠證明自己知道他們是否在關(guān)注真實(shí)的結(jié)果，擁有將結(jié)果置于上下文中的領(lǐng)域知識(shí)，并且具有使他們能夠向業(yè)務(wù)用戶傳達(dá)結(jié)果的溝通技巧。
許多組織都希望招聘具有博士學(xué)位的候選人，尤其是物理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、經(jīng)濟(jì)學(xué)甚至社會(huì)科學(xué)領(lǐng)域的候選人。博士學(xué)位證明候選人有能力對(duì)某個(gè)主題進(jìn)行深入研究并向他人傳播信息。
一些最優(yōu)秀的數(shù)據(jù)科學(xué)家或數(shù)據(jù)科學(xué)團(tuán)隊(duì)的領(lǐng)導(dǎo)者有著非傳統(tǒng)的背景，甚至沒(méi)有接受過(guò)多少正規(guī)的計(jì)算機(jī)培訓(xùn)。在許多情況下，關(guān)鍵在于能夠從非常規(guī)的角度看待并理解某件事。
有關(guān)數(shù)據(jù)科學(xué)家技能的更多信息，請(qǐng)參閱什么是數(shù)據(jù)科學(xué)家？一個(gè)關(guān)鍵的數(shù)據(jù)分析角色和一份利潤(rùn)豐厚的職業(yè)，以及精英數(shù)據(jù)科學(xué)家的基本技能和特質(zhì)。
五、數(shù)據(jù)科學(xué)薪資
根據(jù)Indeed的最新數(shù)據(jù)，以下是一些與數(shù)據(jù)科學(xué)相關(guān)的最受歡迎的職位以及每個(gè)職位的平均薪資：
分析經(jīng)理：80,000-176,000美元
商業(yè)智能分析師：56,000-147,000美元
數(shù)據(jù)分析師：50,000-128,000美元
數(shù)據(jù)架構(gòu)師：67,000-173,000美元
數(shù)據(jù)工程師：83,000-195,000美元
數(shù)據(jù)科學(xué)家：76,000-195,000美元
研究分析師：41,000-134,000美元
統(tǒng)計(jì)員：50,000-143,000美元
六、數(shù)據(jù)科學(xué)學(xué)位
據(jù)《財(cái)富》報(bào)道，以下是數(shù)據(jù)科學(xué)領(lǐng)域最頂尖的研究生學(xué)位課程：
加州大學(xué)伯克利分校
伊利諾伊大學(xué)香檳分校
馬歇爾大學(xué)
貝帕斯大學(xué)
德克薩斯大學(xué)奧斯汀分校
密蘇里大學(xué)哥倫比亞分校
德克薩斯理工大學(xué)
芝加哥大學(xué)
加州大學(xué)河濱分校
克萊姆森大學(xué)(Clemson University)
七、數(shù)據(jù)科學(xué)認(rèn)證
組織需要具備數(shù)據(jù)分析技術(shù)專業(yè)知識(shí)的數(shù)據(jù)科學(xué)家和分析師。他們還需要大數(shù)據(jù)架構(gòu)師將需求轉(zhuǎn)化為系統(tǒng)，數(shù)據(jù)工程師構(gòu)建和維護(hù)數(shù)據(jù)管道，開發(fā)人員熟悉Hadoop?集群和其他技術(shù)，系統(tǒng)管理員和經(jīng)理將所有內(nèi)容整合在一起。認(rèn)證是候選人展示其擁有合適技能的一種方式。一些頂級(jí)數(shù)據(jù)科學(xué)認(rèn)證包括：
認(rèn)證分析專家(CAP)
Cloudera數(shù)據(jù)平臺(tái)通才認(rèn)證
美國(guó)數(shù)據(jù)科學(xué)委員會(huì)(DASCA)?高級(jí)數(shù)據(jù)科學(xué)家?(SDS)
美國(guó)數(shù)據(jù)科學(xué)委員會(huì)(DASCA)?首席數(shù)據(jù)科學(xué)家?(PDS)
IBM數(shù)據(jù)科學(xué)專業(yè)證書
Microsoft認(rèn)證：Azure AI?基礎(chǔ)知識(shí)
Microsoft認(rèn)證：Azure?數(shù)據(jù)科學(xué)家助理
開放認(rèn)證數(shù)據(jù)科學(xué)家（Open CDS）
SAS認(rèn)證專家：人工智能和機(jī)器學(xué)習(xí)
SAS認(rèn)證高級(jí)分析專家
SAS認(rèn)證數(shù)據(jù)科學(xué)家
Tensorflow開發(fā)人員證書
有關(guān)大數(shù)據(jù)和數(shù)據(jù)分析認(rèn)證的更多信息，請(qǐng)參閱9大數(shù)據(jù)分析認(rèn)證和12?大值得的數(shù)據(jù)科學(xué)認(rèn)證。
九、數(shù)據(jù)科學(xué)團(tuán)隊(duì)
數(shù)據(jù)科學(xué)通常是一項(xiàng)團(tuán)隊(duì)學(xué)科，數(shù)據(jù)科學(xué)家是大多數(shù)數(shù)據(jù)科學(xué)團(tuán)隊(duì)的核心。但從數(shù)據(jù)到分析再到生產(chǎn)價(jià)值需要一系列技能和角色。例如，數(shù)據(jù)分析師應(yīng)該在向團(tuán)隊(duì)展示數(shù)據(jù)之前調(diào)查數(shù)據(jù)并維護(hù)數(shù)據(jù)模型。數(shù)據(jù)工程師對(duì)于構(gòu)建數(shù)據(jù)管道以豐富數(shù)據(jù)集并使公司其他部門可以使用數(shù)據(jù)是必不可少的。
十、數(shù)據(jù)科學(xué)目標(biāo)和成果
數(shù)據(jù)科學(xué)的目標(biāo)是構(gòu)建從數(shù)據(jù)中提取以業(yè)務(wù)為中心的見(jiàn)解的方法，并最終優(yōu)化業(yè)務(wù)流程或提供決策支持。這需要了解價(jià)值和信息在業(yè)務(wù)中的流動(dòng)方式，并能夠利用這種理解來(lái)識(shí)別商機(jī)。雖然這可能涉及一次性項(xiàng)目，但數(shù)據(jù)科學(xué)團(tuán)隊(duì)通常尋求識(shí)別可以轉(zhuǎn)化為數(shù)據(jù)管道的關(guān)鍵數(shù)據(jù)資產(chǎn)，為可維護(hù)的工具和解決方案提供數(shù)據(jù)。例子包括銀行使用的信用卡欺詐監(jiān)控解決方案，或用于優(yōu)化風(fēng)力發(fā)電場(chǎng)風(fēng)力渦輪機(jī)位置的工具。
逐步地，傳達(dá)團(tuán)隊(duì)正在做的事情的演示也是重要的可交付成果。
十一、數(shù)據(jù)科學(xué)流程
生產(chǎn)工程團(tuán)隊(duì)按照沖刺周期開展工作，并制定時(shí)間表。這對(duì)于數(shù)據(jù)科學(xué)團(tuán)隊(duì)來(lái)說(shuō)通常很難做到，因?yàn)榍捌诳赡芤ㄙM(fèi)大量時(shí)間來(lái)確定項(xiàng)目是否可行。必須收集和清理數(shù)據(jù)，然后團(tuán)隊(duì)必須確定它是否能有效地回答問(wèn)題。
理想情況下，數(shù)據(jù)科學(xué)應(yīng)該遵循科學(xué)方法，盡管情況并非總是如此，甚至不可行。真正的科學(xué)需要時(shí)間：你花一點(diǎn)時(shí)間來(lái)證實(shí)你的假設(shè)，然后花很多時(shí)間試圖反駁自己。在商業(yè)中，回答問(wèn)題的時(shí)間很重要。因此，數(shù)據(jù)科學(xué)通常意味著選擇足夠好的答案而不是最好的答案。然而，危險(xiǎn)的是，結(jié)果可能會(huì)成為確認(rèn)偏差或過(guò)度擬合的犧牲品。
根據(jù)計(jì)算機(jī)科學(xué)門戶網(wǎng)站GeeksforGeeks的說(shuō)法，典型的數(shù)據(jù)科學(xué)過(guò)程包括以下步驟：
定義問(wèn)題并創(chuàng)建項(xiàng)目章程。數(shù)據(jù)科學(xué)項(xiàng)目章程概述了目標(biāo)、資源、可交付成果和時(shí)間表，以確保所有利益相關(guān)者保持一致。
檢索數(shù)據(jù)。與項(xiàng)目相關(guān)的數(shù)據(jù)可以存儲(chǔ)在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖中。訪問(wèn)這些數(shù)據(jù)可能需要遵循組織的政策并請(qǐng)求權(quán)限。
采用數(shù)據(jù)清理、集成和轉(zhuǎn)換。數(shù)據(jù)清理可消除數(shù)據(jù)中的錯(cuò)誤、不一致和異常值。集成可組合來(lái)自各種來(lái)源的數(shù)據(jù)集。轉(zhuǎn)換可為建模準(zhǔn)備數(shù)據(jù)。
實(shí)施探索性數(shù)據(jù)分析(EDA)。此步驟使用散點(diǎn)圖、直方圖和箱線圖等圖形技術(shù)來(lái)可視化數(shù)據(jù)并識(shí)別趨勢(shì)。此步驟有助于為項(xiàng)目選擇正確的建模技術(shù)。
建立模型。此步驟涉及構(gòu)建ML?或深度學(xué)習(xí)模型，以根據(jù)數(shù)據(jù)進(jìn)行預(yù)測(cè)或分類。
展示研究結(jié)果并部署模型。完成分析后，此步驟包括向利益相關(guān)者展示結(jié)果并將模型部署到生產(chǎn)系統(tǒng)中，以自動(dòng)化決策或支持正在進(jìn)行的分析。
十二、數(shù)據(jù)科學(xué)工具
數(shù)據(jù)科學(xué)團(tuán)隊(duì)使用各種工具，包括SQL、Python、R、Java?以及大量開源項(xiàng)目，例如?Hive、oozie?和?TensorFlow。這些工具用于各種與數(shù)據(jù)相關(guān)的任務(wù)，從提取和清理數(shù)據(jù)，到通過(guò)統(tǒng)計(jì)方法或機(jī)器學(xué)習(xí)對(duì)數(shù)據(jù)進(jìn)行算法分析。根據(jù)美國(guó)數(shù)據(jù)科學(xué)委員會(huì)的說(shuō)法，一些最受歡迎的數(shù)據(jù)科學(xué)工具包括：
Python：一種多功能的編程語(yǔ)言，深受數(shù)據(jù)科學(xué)家的喜愛(ài)。它具有大量用于操作和分析數(shù)據(jù)以及實(shí)現(xiàn)ML?算法的庫(kù)，包括：NumPy、Pandas、seaborn?和?scikit-learn。
R：一種用于統(tǒng)計(jì)計(jì)算和圖形的語(yǔ)言和環(huán)境。R是數(shù)據(jù)科學(xué)工具包的一個(gè)組成部分，可用于數(shù)據(jù)探索、可視化和統(tǒng)計(jì)建模。
JupyterLab：這個(gè)基于Web?的筆記本、代碼和數(shù)據(jù)交互式開發(fā)環(huán)境提供了一個(gè)靈活的界面來(lái)配置和安排數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)中的工作流程。
Excel：微軟的電子表格軟件可能是目前使用最廣泛的BI?工具。對(duì)于處理較小數(shù)據(jù)集的數(shù)據(jù)科學(xué)家來(lái)說(shuō)，它也非常方便。
ChatGPT：這款生成式預(yù)訓(xùn)練轉(zhuǎn)換器(GPT)?已成為數(shù)據(jù)科學(xué)任務(wù)的強(qiáng)大工具，可以生成和執(zhí)行?Python?代碼并生成全面的分析報(bào)告。它還具有用于研究、數(shù)學(xué)、統(tǒng)計(jì)、自動(dòng)化和文檔審查的插件。
TensorFlow和?PyTorch：這些深度學(xué)習(xí)框架可幫助數(shù)據(jù)科學(xué)家在神經(jīng)網(wǎng)絡(luò)領(lǐng)域開發(fā)和部署?ML?模型。它們幫助數(shù)據(jù)科學(xué)家執(zhí)行包括圖像識(shí)別和自然語(yǔ)言處理?(NLP)?在內(nèi)的復(fù)雜任務(wù)。
Tableau：Tableau?現(xiàn)歸?Salesforce?所有，是一種用于創(chuàng)建交互式和可共享儀表板的數(shù)據(jù)可視化工具。
Apache Spark：這個(gè)統(tǒng)一的分析引擎旨在處理大規(guī)模數(shù)據(jù)，支持?jǐn)?shù)據(jù)清理、轉(zhuǎn)換、模型構(gòu)建和評(píng)估。
Power BI：Microsoft?的?Power BI?有助于數(shù)據(jù)收集、分析和呈現(xiàn)。
十三、數(shù)據(jù)科學(xué)培訓(xùn)和訓(xùn)練營(yíng)
鑒于目前數(shù)據(jù)科學(xué)人才的短缺，許多組織正在制定計(jì)劃來(lái)培養(yǎng)內(nèi)部數(shù)據(jù)科學(xué)人才。
訓(xùn)練營(yíng)是培訓(xùn)員工擔(dān)任數(shù)據(jù)科學(xué)角色的另一種快速增長(zhǎng)的途徑，有關(guān)數(shù)據(jù)科學(xué)訓(xùn)練營(yíng)的更多詳細(xì)信息，請(qǐng)參閱15個(gè)可助你提升職業(yè)發(fā)展的最佳數(shù)據(jù)科學(xué)訓(xùn)練營(yíng)。
