在人工智能競爭的浪潮中，我們不應(yīng)忘記，最簡單的解決方案往往是最可持續(xù)的。作為 IT 領(lǐng)導(dǎo)者，我們需要保持理性，確保技術(shù)決策由業(yè)務(wù)需求和可持續(xù)性驅(qū)動，而不是受炒作影響。LLMs（大型語言模型）是炒作還是真有幫助？它們功能強大，但對于基本的分析任務(wù)來說往往是大材小用。可持續(xù)的信息技術(shù)意味著選擇合適規(guī)模的解決方案，要有策略地將大語言模型用于處理復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，而不僅僅是因為它們很炫酷。
【注：LLMs：大型語言模型。是使用深度學(xué)習(xí)算法處理和理解自然語言的基礎(chǔ)機器學(xué)習(xí)模型。這些模型在大量文本數(shù)據(jù)上進行訓(xùn)練，以學(xué)習(xí)語言中的模式和實體關(guān)系。LLM可以執(zhí)行多種類型的語言任務(wù)，例如翻譯語言、分析情緒、聊天機器人對話等?！?/em>
作為一名深度參與為企業(yè)制定數(shù)據(jù)戰(zhàn)略、治理和分析工作的專業(yè)人士，我一直在從事從定義數(shù)據(jù)愿景到構(gòu)建高效數(shù)據(jù)團隊的各項工作。我的工作核心是幫助企業(yè)利用數(shù)據(jù)做出更好的決策并推動有影響力的轉(zhuǎn)型。最近，我參與SustainableIT.org的工作，讓我有了一個全新的視角來看待這些項目：可持續(xù)性。經(jīng)過一些發(fā)人深省的交流，我現(xiàn)在以更具環(huán)保意識的思維來看待一切。這篇文章反映了我學(xué)到的一些內(nèi)容。
【注：IASA（International Association of Software Architects，?國際架構(gòu)師協(xié)會，?是一個專注于軟件架構(gòu)領(lǐng)域的非營利性組織，致力于推動軟件架構(gòu)的最佳實踐和職業(yè)發(fā)展。IASA成立于2005年，總部位于美國加利福尼亞州。該協(xié)會通過舉辦會議、出版物、認證計劃等方式，為會員提供專業(yè)發(fā)展機會和網(wǎng)絡(luò)建設(shè)平臺?。）
SustainableIT.org（在投資者越來越關(guān)注ESG的背景下，一群首席信息官和其他頂級科技領(lǐng)袖最近在美國成立了一個新的非營利組織。該組織的目標之一是幫助闡明科技領(lǐng)導(dǎo)者在衡量各種ESG層面的進展時應(yīng)該遵循哪些基準。該非營利組織董事會主席是Lumentum公司，該公司主要生產(chǎn)高性能激光器和其他光電子產(chǎn)品，市值67億美元。）】
圍繞LLM的炒作是無可否認的。它們有望徹底改變我們與數(shù)據(jù)交互的方式，能夠生成高質(zhì)量的人類文本、理解自然語言，并以我們從未想過的方式轉(zhuǎn)換數(shù)據(jù)。從自動化繁瑣的任務(wù)到從未結(jié)構(gòu)化數(shù)據(jù)中挖掘見解，其潛力似乎無窮無盡。但我一直在問自己一個問題：對于我們大多數(shù)的分析工作，我們真的需要這么強大的功能嗎？
想一想：像GPT-3這樣的大語言模型是極其復(fù)雜的深度學(xué)習(xí)模型，是在海量數(shù)據(jù)集上進行訓(xùn)練的。我們都見過ChatGPT、Google Gemini和Microsoft Copilot的演示。它們無疑令人印象深刻。在分析領(lǐng)域，大語言模型可以創(chuàng)建自然語言查詢界面，讓我們能用簡單的自然語言提問。它們還可以自動生成報告，并解讀傳統(tǒng)方法可能忽略的數(shù)據(jù)細微差別。想象一下從數(shù)據(jù)可視化中生成復(fù)雜的敘述，或者使用能夠?qū)崟r響應(yīng)您查詢的對話式商業(yè)智能工具。在生命科學(xué)領(lǐng)域，大語言模型可以分析大量的研究論文，以加速藥物研發(fā)。在零售領(lǐng)域，它們可以實現(xiàn)個性化推薦并優(yōu)化營銷活動。這些潛在的應(yīng)用確實具有轉(zhuǎn)型性。
【注：GPT-3（是由美國OpenAI研發(fā)的人工智能語言模型。它是一個自回歸語言模型，利用深度學(xué)習(xí)生成類似人類語言的文本。GPT-3通過與生物智能截然不同的路徑，被動形成了類似人類類比推理能力的機制，盡管它并未在這方面經(jīng)過明確訓(xùn)練。）
ChatGPT（是人工智能技術(shù)驅(qū)動的自然語言處理工具，它能夠通過理解和學(xué)習(xí)人類的語言來進行對話，還能根據(jù)聊天的上下文進行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼，寫論文等任務(wù)。）
Google Gemini（是谷歌公司發(fā)布的人工智能大模型，能夠在從數(shù)據(jù)中心到移動設(shè)備等不同平臺上運行。包括一套三種不同規(guī)模的模型：Gemini Ultra是最大、功能最強大的類別，被定位為GPT-4的競爭對手；Gemini Pro是一款中端型號，能夠擊敗GPT-3.5，可擴展多種任務(wù)；Gemini Nano用于特定任務(wù)和移動設(shè)備。“雙子座”Ultra版本是首個在“MMLU/大規(guī)模多任務(wù)語言理解”領(lǐng)域超越人類專家的模型。2023年12月6日，Gemini 的初始版本已在Bard中提供，開發(fā)人員版本將于12月13日通過 Google Cloud的API提供。）
Microsoft Copilot（是微軟旗下所有GPT-4加持的Copilot功能。2023年9月26日，“Microsoft Copilot”開始通過Win11免費推送。該AI助手是一個集成了在操作系統(tǒng)中的側(cè)邊欄工具，可以幫助用戶完成各種任務(wù)。Copilot依托于底層大語言模型/LLM，用戶只需說幾句話，做出指示，它就可以創(chuàng)建類似人類撰寫的文本和其他內(nèi)容。）】
大語言模型在自然語言處理、自動化和復(fù)雜數(shù)據(jù)解讀方面具有強大的功能。
但讓我們面對現(xiàn)實吧。大多數(shù)企業(yè)從分析工作中實際需要的是什么呢？以我的經(jīng)驗來看，特別是在我在Parexel（精鼎醫(yī)藥公司，是一家全球領(lǐng)先的生物制藥服務(wù)組織，提供各種合同研究、咨詢和醫(yī)療通信服務(wù)。其致力于加快藥物上市和市場滲透速度，擁有豐富的專業(yè)知識和廣泛的全球運營網(wǎng)絡(luò)。）工作期間，甚至在與Cleartelligence（是一家通過采用現(xiàn)代數(shù)據(jù)堆棧，幫助組織做出更智能、更敏捷的業(yè)務(wù)決策的企業(yè)。其提供端到端分析服務(wù)，加快組織內(nèi)的數(shù)字化轉(zhuǎn)型。）的眾多客戶合作時，需求往往歸結(jié)為一些核心需求，比如：
1.清晰的數(shù)據(jù)可視化
2.扎實的描述性分析（趨勢、關(guān)鍵績效指標）
3.可靠的預(yù)測性分析（預(yù)測）
4.易于使用的儀表板
在Parexel工作時，重點常常是分析臨床試驗數(shù)據(jù)，以確定患者治療結(jié)果的趨勢、根據(jù)過去的表現(xiàn)選擇試驗地點，并預(yù)測未來試驗的成功率。在與Cleartelligence的客戶合作時，需求則多種多樣。例如，在一家提供制造技術(shù)服務(wù)的公司，首要任務(wù)是預(yù)測銷售機會；而在一家設(shè)計和制造automatic test equipment/ATE（自動測試設(shè)備，是指對被測對象自動進行性能驗證和故障診斷并對故障予以隔離的測試設(shè)備?。）的公司，重點是開發(fā)一個嚴重依賴預(yù)測的設(shè)備生產(chǎn)自動化平臺。盡管背景不同，但對可靠、可行的見解的根本需求始終不變。
您猜怎么著？我們已經(jīng)有用于這些任務(wù)的優(yōu)秀工具了。Tableau（?是一個強大的可視化分析平臺，旨在幫助個人和組織充分利用數(shù)據(jù)，提高數(shù)據(jù)驅(qū)動的決策能力。其通過直觀的界面和拖放功能，使得數(shù)據(jù)分析變得更加簡單和高效。）、Qlik（?Qlik是一家專注于數(shù)據(jù)分析和商業(yè)智能/BI解決方案的公司，其工具主要面向希望通過數(shù)據(jù)分析和可視化來改善業(yè)務(wù)流程和結(jié)果的企業(yè)用戶。Qlik的工具包括Qlik Sense和QlikView，這些工具提供了強大的數(shù)據(jù)可視化、自助式分析和數(shù)據(jù)整合功能，幫助用戶從多個數(shù)據(jù)源中提取、轉(zhuǎn)換和加載數(shù)據(jù)，并進行交互式的可視化分析。）和Power BI（微軟開發(fā)，是軟件服務(wù)、應(yīng)用和連接器的集合，它們協(xié)同工作以將相關(guān)數(shù)據(jù)來源轉(zhuǎn)換為連貫的視覺逼真的交互式見解。無論用戶的數(shù)據(jù)是簡單的Excel電子表格，還是基于云和本地混合數(shù)據(jù)倉庫的集合，Power BI都可讓用戶輕松地連接到數(shù)據(jù)源，直觀看到或發(fā)現(xiàn)重要內(nèi)容，與任何所希望的人進行共享。Power BI簡單且快速，能夠從Excel電子表格或本地數(shù)據(jù)庫創(chuàng)建快速見解。同時Power BI也可進行豐富的建模和實時分析，及自定義開發(fā)。因此它既是用戶的個人報表和可視化工具，還可用作組項目、部門或整個企業(yè)背后的分析和決策引擎。）可以處理交互式儀表板和可視化。SQL（數(shù)據(jù)庫語言。是具有數(shù)據(jù)操縱和數(shù)據(jù)定義等多種功能的數(shù)據(jù)庫語言，這種語言具有交互性特點，能為用戶提供極大的便利，數(shù)據(jù)庫管理系統(tǒng)應(yīng)充分利用SQL語言提高計算機應(yīng)用系統(tǒng)的工作質(zhì)量與效率。SQL語言不僅能獨立應(yīng)用于終端，還可以作為子語言為其他程序設(shè)計提供有效助力，該程序應(yīng)用中，SQL可與其他程序語言一起優(yōu)化程序功能，進而為用戶提供更多更全面的信息。）可以處理數(shù)據(jù)運算并找出暢銷產(chǎn)品。即使是基本的預(yù)測建模也可以用Python（計算機編程語言，由荷蘭數(shù)學(xué)和計算機科學(xué)研究學(xué)會的吉多·范羅蘇姆于1990年代初設(shè)計，作為一門叫做ABC語言的替代品。Python提供了高效的高級數(shù)據(jù)結(jié)構(gòu)，還能簡單有效地面向?qū)ο缶幊獭?/span>Python語法和動態(tài)類型，以及解釋型語言的本質(zhì)，使它成為多數(shù)平臺上寫腳本和快速開發(fā)應(yīng)用的編程語言，隨著版本的不斷更新和語言新功能的添加，逐漸被用于獨立的、大型項目的開發(fā)。Python解釋器易于擴展，可以使用C語言或C++，或者其他可以通過C調(diào)用的語言，擴展新的功能和數(shù)據(jù)類型。Python也可用于可定制化軟件中的擴展程序語言。Python豐富的標準庫，提供了適用于各個主要系統(tǒng)平臺的源碼或機器碼。）或R（R語言，用于統(tǒng)計分析、繪圖的語言和操作環(huán)境。R是屬于GNU系統(tǒng)的一個自由、免費、源代碼開放的軟件，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具。）中的輕量級機器學(xué)習(xí)來完成。在生命科學(xué)領(lǐng)域，簡單的統(tǒng)計軟件可以分析患者數(shù)據(jù)。在零售領(lǐng)域，基本的數(shù)據(jù)庫查詢就能跟蹤庫存。您明白了吧。這些傳統(tǒng)工具通常足以滿足大多數(shù)企業(yè)日常的分析需求。
現(xiàn)有的工具和方法通常為許多常見的分析需求提供了足夠的解決方案。
問題在于：LLMs是資源消耗大戶。訓(xùn)練和運行這些模型需要巨大的計算能力，會產(chǎn)生顯著的碳足跡?？沙掷m(xù)的信息技術(shù)旨在優(yōu)化資源利用、減少浪費并選擇合適規(guī)模的解決方案。使用LLM來計算簡單的平均值就好比用火箭筒打蒼蠅。我親眼見過這樣的例子。在一家高端家具銷售行業(yè)的客戶那里，我們最初正在探索使用LLMs來分析客戶調(diào)查，以進行情感分析并相應(yīng)調(diào)整產(chǎn)品銷售策略。使用前沿人工智能的誘惑很大，但經(jīng)過全面評估后，我們推薦了一種更實用的方法。通過利用Python環(huán)境中現(xiàn)有的自然語言處理庫，我們可以用極少的計算資源實現(xiàn)所需的情感分析，從而顯著降低成本和對環(huán)境的影響。
通常，對“最新、最先進”技術(shù)的最初興奮之情會讓我們忽視實際的考量因素。我想到的另一家客戶公司，是通過對臨床機構(gòu)的運營基準進行評估來盈利的。他們的數(shù)據(jù)主要來自大量的會員調(diào)查。當我們考慮調(diào)查分析時，可能會想到大語言模型，但我們證明了像Snowflake（是作為軟件即服務(wù)/SaaS提供的分析數(shù)據(jù)倉庫。與傳統(tǒng)的數(shù)據(jù)倉庫產(chǎn)品相比，Snowflake提供了一個更快，更易于使用且更加靈活的數(shù)據(jù)倉庫。）和?DBT（Data Build Tool，是一種開源的數(shù)據(jù)轉(zhuǎn)換工具，主要用于處理數(shù)據(jù)倉庫中的原始數(shù)據(jù)，幫助數(shù)據(jù)分析師和數(shù)據(jù)工程師將數(shù)據(jù)轉(zhuǎn)換成更有用的形式，以支持業(yè)務(wù)分析和報告。DBT通過SQL語言定義數(shù)據(jù)轉(zhuǎn)換規(guī)則，使得數(shù)據(jù)處理邏輯更加直觀和易于管理。其主要功能包括數(shù)據(jù)轉(zhuǎn)換、模型構(gòu)建、業(yè)務(wù)分析、可視化和報告等。）這樣更簡單的工具完全有能力高效分析趨勢并生成有價值的見解，而且不會像LLM那樣帶來資源負擔。這不僅為客戶節(jié)省了大量成本，還符合他們對可持續(xù)運營的承諾。這段經(jīng)歷進一步強調(diào)了在匆忙采用最復(fù)雜的解決方案之前，仔細評估項目真正需求的重要性。
由于LLMs的高能耗，它們對環(huán)境有顯著的影響。
那么，什么時候值得考慮使用LLMs呢？當您處理真正復(fù)雜、非結(jié)構(gòu)化的數(shù)據(jù)，如文本、語音和圖像時。想想客戶評論的情感分析、總結(jié)長篇文檔或從醫(yī)療記錄中提取信息。在數(shù)據(jù)和需求不斷變化的動態(tài)場景中，它們也很有用。而且別忘了自然語言查詢帶來的增強用戶體驗。
例如，一家設(shè)計和制造家居用品的客戶公司使用復(fù)雜的建模方法來預(yù)測未來銷售情況。他們使用了大約15種不同的模型。然后用一個簡單算法綜合這些模型的結(jié)果，來確定針對某一產(chǎn)品表現(xiàn)最佳的模型，進而用于預(yù)測。雖然這個過程復(fù)雜且數(shù)據(jù)量龐大，但它依賴的是結(jié)構(gòu)化數(shù)據(jù)和既定的統(tǒng)計方法。對于這類分析，LLM就有些大材小用了。然而，想象一下，如果這家家具制造商還想將客戶評論、社交媒體情感甚至房間設(shè)計的圖像納入他們的銷售預(yù)測中。這時LLM就會變得非常有價值，它能夠分析這些非結(jié)構(gòu)化數(shù)據(jù)，并將其與現(xiàn)有的結(jié)構(gòu)化數(shù)據(jù)模型相結(jié)合。這種將結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合的復(fù)雜多模態(tài)數(shù)據(jù)分析，正是LLMs能夠大放異彩的地方。
另一個引人注目的用例是在汽車行業(yè)。大約三十年前，我在American Honda Motors（是美國本田汽車公司，是本田技研工業(yè)株式會社/Honda Motor Co., Ltd.在美國的分公司?。）擔任顧問，當時的工作涉及評估制造商的工程指南（具體細節(jié)現(xiàn)在有些模糊了），但我很容易就能想象如今一個由LLM驅(qū)動的人工智能助手會如何徹底改變這個過程。想象一下這樣一個系統(tǒng)，它能處理像歷史維修記錄、技術(shù)人員筆記、缺陷報告和保修索賠等非結(jié)構(gòu)化文本數(shù)據(jù)，并將其與物聯(lián)網(wǎng)讀數(shù)和機器遙測等結(jié)構(gòu)化傳感器數(shù)據(jù)相關(guān)聯(lián)。這可以提供預(yù)測性維護見解，識別設(shè)計缺陷，并最終提高車輛的可靠性和安全性。這類結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)融合的復(fù)雜多模態(tài)數(shù)據(jù)分析，正是LLM可以大放異彩的地方。這些例子凸顯了LLM挖掘隱藏在非結(jié)構(gòu)化數(shù)據(jù)中的見解的能力，但也強調(diào)了有策略地使用它們的重要性。
LLMs最適合處理復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)、動態(tài)用例以及通過自然語言提升用戶體驗。
但即使如此，混合方法往往是最佳選擇。對于結(jié)構(gòu)化數(shù)據(jù)使用傳統(tǒng)工具，而將LLMs留給真正復(fù)雜的任務(wù)。這種方法使企業(yè)能夠充分利用傳統(tǒng)分析工具和LLMs的優(yōu)勢，最大限度提高效率并降低資源消耗。這關(guān)乎在強大功能和實用性之間找到恰當?shù)钠胶狻?/span>
實現(xiàn)可持續(xù)分析的道路在于為工作選擇合適的工具，而不僅僅是追逐最新潮流。這意味著要投資培養(yǎng)技術(shù)熟練的分析師，并建立完善的數(shù)據(jù)治理體系。這意味著要將可持續(xù)性作為核心優(yōu)先事項和培養(yǎng)數(shù)據(jù)素養(yǎng)文化，讓分析師有能力批判性地評估他們手頭可用的工具和技術(shù)，同時要建立明確的數(shù)據(jù)治理框架，以確保數(shù)據(jù)的質(zhì)量、安全和合乎道德的使用。
在人工智能競爭的浪潮中，我們不要忘記，最簡單的解決方案往往是最可持續(xù)的。Let’s not use a sledgehammer when a well-placed tap will do（當我們只需要輕輕敲打一下就能達到目的時，就不要使用大錘這樣的重型工具。這是一種比喻，用來強調(diào)在處理問題時應(yīng)該選擇適當?shù)姆椒ɑ蚴侄?，而不是過度或不必要地使用更強大或激進的方式。簡單來說，就是“不要用大炮打蚊子”，要選擇合適的方式解決問題。）。作為IT領(lǐng)導(dǎo)者，我們需要成為理性的聲音，確保技術(shù)決策是由業(yè)務(wù)需求和可持續(xù)性考量驅(qū)動的，而不僅僅是受炒作影響。通過采用務(wù)實且可持續(xù)的分析方法，我們可以在釋放數(shù)據(jù)真正潛力的同時，將對環(huán)境的影響降至最低。
Chitra Sundaram（奇塔·桑達拉姆）是Cleartelligence, Inc.,的數(shù)據(jù)管理業(yè)務(wù)總監(jiān)，在企業(yè)數(shù)據(jù)戰(zhàn)略、治理和數(shù)字轉(zhuǎn)型方面擁有超過15年的經(jīng)驗。她專長于數(shù)據(jù)驅(qū)動決策、云現(xiàn)代化以及構(gòu)建可擴展的數(shù)據(jù)治理框架，以推動業(yè)務(wù)成功。Chitra（奇塔）是IASA CAF和SustainableArchitecture.org社區(qū)的成員。她有興趣幫助擴大其成員范圍，與有興趣確保滿足ESG在IT方面的要求的IT架構(gòu)師合作。
譯者：寶藍
【睿觀：在人工智能競爭的浪潮中，我們不應(yīng)忘記，最簡單的解決方案往往是最可持續(xù)的。作為 IT 領(lǐng)導(dǎo)者，我們需要保持理性，確保技術(shù)決策由業(yè)務(wù)需求和可持續(xù)性驅(qū)動，而不是受炒作影響。通過采用務(wù)實且可持續(xù)的分析方法，我們可以在釋放數(shù)據(jù)真正潛力的同時，將對環(huán)境的影響降至最低。
LLMs 的優(yōu)勢：
LLMs 在自然語言處理、自動化和復(fù)雜數(shù)據(jù)解讀方面表現(xiàn)出色。
它們能夠處理非結(jié)構(gòu)化數(shù)據(jù)，例如文本、語音和圖像。
它們可以增強用戶體驗，例如通過自然語言查詢界面。
LLMs 的局限性：
LLMs 是資源消耗大戶，需要大量的計算能力，產(chǎn)生顯著的碳足跡。
對于簡單的分析任務(wù)，LLMs 往往大材小用。
現(xiàn)有工具（如 Tableau、SQL、Python 等）通常足以滿足大多數(shù)企業(yè)日常的分析需求。
可持續(xù)分析的重要性：
可持續(xù)分析旨在優(yōu)化資源利用、減少浪費并選擇合適規(guī)模的解決方案。
在選擇技術(shù)決策時，應(yīng)考慮業(yè)務(wù)需求和可持續(xù)性，而不僅僅是追逐炒作。
培養(yǎng)技術(shù)熟練的分析師和建立完善的數(shù)據(jù)治理體系至關(guān)重要。
LLMs 的適用場景：
LLMs 最適合處理復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)、動態(tài)用例以及通過自然語言提升用戶體驗。
例如，在分析客戶評論、總結(jié)長篇文檔或從醫(yī)療記錄中提取信息時，LLMs 能夠發(fā)揮巨大作用。
在處理多模態(tài)數(shù)據(jù)分析時，LLMs 也能大放異彩。
混合方法是最佳選擇：
對于結(jié)構(gòu)化數(shù)據(jù)，使用傳統(tǒng)工具；對于真正復(fù)雜的任務(wù)，則使用 LLMs。
這種方法可以最大限度地利用兩者的優(yōu)勢，提高效率并降低資源消耗。】
