“瘋狂”的支出、計(jì)算密集型的工作量以及由一家硬件制造商主導(dǎo)的市場，使得IT?領(lǐng)導(dǎo)者開始尋求新技術(shù)和方法來控制生成式人工智能的高成本。利用較小的、特定領(lǐng)域的模型來完成較小范圍的任務(wù)是CIO?控制生成式?AI?成本的另一種方法。
來源：PRESSMASTER / SHUTTERSTOCK
【睿觀：CIO們面臨的GenAI高成本挑戰(zhàn),并探討了多種可能的解決方案和策略,以期在享受新技術(shù)帶來的好處的同時(shí)控制成本支出。主要內(nèi)容包括：
1.GenAI實(shí)驗(yàn)的早期賬單遠(yuǎn)高于預(yù)期,一些CIO對此感到震驚。行業(yè)正經(jīng)歷類似于云計(jì)算早期"瘋狂消費(fèi)"的情況。
2.Nvidia在GPU市場占據(jù)主導(dǎo)地位,導(dǎo)致GenAI工作負(fù)載的高額成本。一些CIO正在尋求GPU即服務(wù)等替代方案來控制成本。
3.CIO們可以考慮選擇性部署GenAI、與供應(yīng)商協(xié)商基于輸出質(zhì)量的價(jià)格模式、利用開源模型等方式來降低成本。
4.使用較小的領(lǐng)域特定模型,而非大型語言模型,也有助于控制成本。
5.GenAI的高能耗也是一個(gè)需要考慮的成本因素。云服務(wù)可能是更節(jié)能的選擇。
6.一些CIO依賴現(xiàn)有的云供應(yīng)商企業(yè)許可協(xié)議來獲得GenAI產(chǎn)品的優(yōu)惠價(jià)格。】
生成式人工智能實(shí)驗(yàn)的早期賬單即將出爐，許多首席信息官發(fā)現(xiàn)這些賬單比他們預(yù)想的要高得多——有些人只能怪自己。
AWS商務(wù)平臺副總裁詹姆斯·格林菲爾德?(James Greenfield)?在?6?月份圣地亞哥舉行的?FinOps X?會議上表示：“我們正在重新回到云計(jì)算早期的瘋狂消費(fèi)模式?！?/span>
FinOps基金會執(zhí)行董事?JR Storment?也表達(dá)了同樣的擔(dān)憂。
他說：“這很讓人回想起云計(jì)算發(fā)展的早期，當(dāng)時(shí)云計(jì)算在支出方面是‘免費(fèi)武器’，每個(gè)人都試圖在各地實(shí)施云計(jì)算——現(xiàn)在是genAI——但幾乎沒有成本控制或治理?！?/span>
?
為了解決這個(gè)問題，并期待進(jìn)一步應(yīng)用該技術(shù)，一些首席信息官正在探索一系列技術(shù)和方法來降低生成式人工智能實(shí)驗(yàn)和應(yīng)用的成本。
根據(jù)IDC?的《生成式?AI?定價(jià)模型：戰(zhàn)略購買指南》，生成式?AI?的定價(jià)格局因“技術(shù)堆棧之間的相互依賴性”而變得復(fù)雜。但是，由于訓(xùn)練和調(diào)整生成式?AI?模型所需的核心基礎(chǔ)設(shè)施“主要由一家公司提供：Nvidia?” ，因此無法避免對生成式?AI?工作負(fù)載征收高額溢價(jià)，IDC?指出。
根據(jù)《IDC市場概覽：生成式?AI?基礎(chǔ)模型》，隨著客戶等待更充足的?GPU?供應(yīng)，許多客戶都在尋求?AI?專用服務(wù)提供商以及用于托管?genAI?工作負(fù)載的公有云和私有云產(chǎn)品，包括?Nvidia?的云、AWS Trainium?和?Infertia?以及?Google Tensor?處理器單元。IDC?指出，首席信息官也在向戴爾?Project Helix?或?HPE GreenLake?等?OEM?尋求?AI?支持。
AI服務(wù)提供商有時(shí)也被稱為?AI?超大規(guī)模提供商，他們提供?GPU?即服務(wù)，使企業(yè)能夠按需購買?GPU?能力以限制支出。這些?AI?服務(wù)提供商包括?CoreWeave、Equinix、Digital Realty?和?Paperspace，以及?GPU?領(lǐng)導(dǎo)者?Nvidia，以及某種程度上的云超大規(guī)模提供商?Microsoft、Google?和?AWS。
IBM、Oracle、戴爾和惠普企業(yè)也提供GPU?即服務(wù)。
鑒于Nvidia?在?GPU?市場占據(jù)壓倒性主導(dǎo)地位，CIO?們現(xiàn)在正在尋找?GPUaaS?替代方案，而不是等待其他頂級芯片公司趕上來。谷歌合作伙伴和?CIO?咨詢公司?CloudBench?的前任?CIO?兼現(xiàn)任首席執(zhí)行官?Tom Richer?指出，這種按需方法還大大降低了購買處理器的前期成本，并可以根據(jù)工作量進(jìn)行擴(kuò)展或縮減。
Richer表示：“為了滿足?CIO?的需求，供應(yīng)商將提供各種選項(xiàng)，例如具有不同?GPU?配置的虛擬機(jī)實(shí)例和折扣計(jì)算能力的現(xiàn)貨實(shí)例?！彼a(bǔ)充說，容器化的?AI?框架還可以幫助?IT?領(lǐng)導(dǎo)者確保高效的資源利用率。“通過了解他們的選擇并利用?GPU?即服務(wù)，CIO?可以優(yōu)化?genAI?硬件成本并保持創(chuàng)新的處理能力?！?/span>
Richer還認(rèn)為，基于云的?GPU?訪問將幫助企業(yè)釋放?IT?資源以用于其他關(guān)鍵任務(wù)，并“有可能簡化?genAI?項(xiàng)目的開發(fā)流程”。
一、成本方程
但FinOps的?Storment?認(rèn)為，專注于?GPUaaS?和其他基于云的生成式?AI?解決方案的?CIO在成本控制方面可能會面臨類似的問題。
“我們已經(jīng)看到人工智能的成本確實(shí)開始對云預(yù)算產(chǎn)生負(fù)面影響，”他說?！白罱K，許多CIO?仍不清楚他們從人工智能實(shí)驗(yàn)中獲得的價(jià)值，因此我們看到人工智能的成本對許多人來說呈螺旋式上升，并引發(fā)了人們對如何通過將?FinOps?中已經(jīng)普遍存在的成本可見性原則應(yīng)用于其他云成本來實(shí)現(xiàn)‘人工智能的?FinOps’ 的興趣?！?
波士頓紅襪隊(duì)和芬威體育管理公司的首席技術(shù)官布萊恩·希爾德表示，為了控制成本，首席信息官應(yīng)該有選擇地將genAI?解決方案部署到業(yè)務(wù)的關(guān)鍵領(lǐng)域，并實(shí)施周到的?genAI?評估流程，以防止重疊和擴(kuò)散。
Shield還希望根據(jù)輸出質(zhì)量協(xié)商成本?！拔姨嶙h根據(jù)用例向?genAI?供應(yīng)商付費(fèi)。換句話說，如果工具表現(xiàn)良好，也就是說值得投入生產(chǎn)，我會付給你?X。對于準(zhǔn)確率低于?90%?的解決方案，如果仍有可行的用例，我會付給你?Y，”Shield?說?！叭绻隳芨倪M(jìn)你的工具，我會把你轉(zhuǎn)到收入更高的組。所有供應(yīng)商都猶豫不決，但我仍在與其他供應(yīng)商交談?！?/span>
德勤美國常駐首席信息官、前先鋒集團(tuán)全球首席信息官John Marcante?認(rèn)為，市場創(chuàng)新也將為首席信息官提供幫助。
“生成式AI?的核心在于?GPU。這些芯片正在快速發(fā)展，以滿足實(shí)時(shí)推理和訓(xùn)練的需求。隨著我們深入研究這一創(chuàng)新周期，預(yù)計(jì)?GPU?將變得更加高效、強(qiáng)大和專業(yè)化，以應(yīng)對?AI?工作負(fù)載，”他說。
Marcante表示，GPU?即服務(wù)提供商和平臺也開始為營銷、財(cái)務(wù)、法律和客戶流程提供交鑰匙解決方案，以使企業(yè)能夠?qū)Ｗ⒂谄浜诵母偁幜Α?/span>
他指出，一些組織將構(gòu)建自己的生成式AI?平臺，并根據(jù)其獨(dú)特需求進(jìn)行量身定制?！斑@種方法確保了所有權(quán)和定制化，”他說，并指出，以當(dāng)今企業(yè)與云提供商合作的方式與AI?提供商合作是另一種方式?！斑@些模型將包括從租用?GPU?到全面的全棧?AI?服務(wù)。”
大型語言模型（LLM）的快速加速、實(shí)驗(yàn)和發(fā)展也為定制結(jié)果和降低成本提供了見解。
例如，Gartner杰出分析師?Bern Elliott?表示，預(yù)算有限的?CIO?可以通過使用開源模型（如?OpenAI?和?LLaMA）來降低生成式?AI?成本，這些模型可從各種市場訪問并提供多種優(yōu)勢。
“開源是CIO?絕對可以降低成本的一種方式，”他指出，開源模式也是透明的，可以定制?！皩υS多企業(yè)來說，這就是成本所在。如果運(yùn)營成本低，利潤就會更高?！?/span>
利用較小的、特定領(lǐng)域的模型來完成較小范圍的任務(wù)是CIO?控制生成式?AI?成本的另一種方法。
ServiceNow首席數(shù)字信息官?Chris Bedi?表示：“如果你看看?GPU，就會發(fā)現(xiàn)它們非常昂貴，尤其是當(dāng)你使用大型語言模型時(shí)。每個(gè)人都在尋找適合自己的正確答案，因?yàn)椴皇褂?genAI?的答案并不在考慮范圍內(nèi)。擁有特定領(lǐng)域的模型有助于控制我們的成本，然后我們就可以把這種好處傳遞給我們的客戶?！?/span>
RunPod是面向開發(fā)者的?GPU?即服務(wù)，對于大學(xué)和初創(chuàng)公司來說非常劃算。
OpenCV.org?首席執(zhí)行官兼博士?Satya Mallick?表示，OpenCV University?和一家?AI?咨詢公司的學(xué)生使用?RunPod?來訓(xùn)練?AI?模型。
“對于像我們這樣的小型企業(yè)來說，每次只需要使用多個(gè)高端GPU?幾天到幾周的時(shí)間，RunPod?的解決方案非常劃算，因?yàn)槲覀儾恍枰ㄙM(fèi)巨額的前期成本來購買?GPU，”Mallick?說道，并指出他的團(tuán)隊(duì)也在評估?RunPod?的無服務(wù)器產(chǎn)品。
首席信息官們還注意到生成式人工智能應(yīng)用的巨大能源消耗，這是另一項(xiàng)需要考慮的巨額成本。
“人工智能是計(jì)算密集型的，它正在影響全球的數(shù)據(jù)中心，”Vuori前首席信息官、現(xiàn)任?Schumacher Homes?首席技術(shù)官?Bryan Muehlberger?表示?！俺俏覀冊谌珖秶鷥?nèi)解決能源問題，否則這最終將成為一個(gè)更大的問題，成本將轉(zhuǎn)嫁給使用這些服務(wù)的公司。”Cloudbench?的?Richer
表示，隨著人工智能的不斷發(fā)展，管理硬件成本和最大化處理能力的創(chuàng)新解決方案可能會出現(xiàn)，并補(bǔ)充說，運(yùn)行強(qiáng)大的GPU?對環(huán)境的影響將成為一些組織關(guān)注的問題。
Richers表示：“云提供商越來越注重可持續(xù)實(shí)踐，與內(nèi)部部署硬件相比，利用基于云的?GPU?可以成為更節(jié)能的解決方案。然而，對于?CIO?來說，在選擇?GPUaaS?解決方案時(shí)，仔細(xì)評估成本、性能和數(shù)據(jù)安全之間的權(quán)衡至關(guān)重要?！?/span>
其他CIO?則享受著與微軟、谷歌和?AWS?等主要云和?AI?提供商簽訂的企業(yè)許可協(xié)議所帶來的成本節(jié)約優(yōu)勢。
“我們選擇MS Copilot?是因?yàn)樗m用范圍廣，我們相信它將滿足我們大約?80%?的使用情況，”美國本田首席信息官?Bob Brizendine?表示?！斑@是我們與微軟現(xiàn)有許可協(xié)議的一部分，使我們能夠有效精簡成本。其他人可能沒有同樣的情況?！?/span>
