——從POC到規(guī)模化，追蹤LLM（大語言模型）成本的“顆粒度治理”與財務(wù)進化論
各位CEO和CIO：
AI的支出規(guī)模正以驚人的速度膨脹。Gartner預測，2026年全球AI支出將達到2萬億美元。管理咨詢公司West Monroe的調(diào)查顯示，85%的高管計劃明年增加IT預算，其中42%認為擴大AI和數(shù)據(jù)能力是首要任務(wù)。
但“砸錢”的時代已經(jīng)結(jié)束了。西門羅的CAIO Bret Greenstein指出，我們正在告別POC（概念驗證）階段，進入第一階段、第二階段的實際項目部署。
這帶來了前所未有的壓力：CIO必須證明具體的ROI（投資回報率），才能獲得持續(xù)的資金。
睿信咨詢將為您深度解析，頂級企業(yè)如何構(gòu)建AI預算的“自負盈虧”模型，并解決AI特有的“成本波動性”難題。
傳統(tǒng)的軟件經(jīng)濟學認為：前期投入（開發(fā)、工程）是固定成本，運營成本相對可預測。
但AI打破了這個規(guī)則：
成本波動：AI的推斷（inference）成本是變量，護欄和合規(guī)檢查可能會帶來額外成本。
非線性擴展：AI項目的規(guī)模化是非線性的，技術(shù)本身在不斷變化。
遺留成本：遺留環(huán)境會增加復雜性和費用。這些“一次性成本”雖重，但對于避免長期低效至關(guān)重要。
【睿信咨詢顧問建議】你不能再用傳統(tǒng)的表格來預算AI。你必須接受“靈活”是AI預算的第一原則。
既然沒有人有“額外的錢來做這件事”，CIO必須從遺留系統(tǒng)中“挖錢”，構(gòu)建AI的自負籌資（self-funding）模型。
削減遺留，反哺AI：這是最流行的策略。財富500強保險公司正在將投資從遺留技術(shù)轉(zhuǎn)向AI。例如，通過自動化將某項技術(shù)支出從100萬美元降至90萬美元，節(jié)省的10萬美元就直接用于AI。
暫停低效投資：Principal Financial Group正在暫停低影響的投資，轉(zhuǎn)而將資金重新分配到可擴展的平臺和高價值用例上。
擠壓供應(yīng)商：企業(yè)正在向現(xiàn)有供應(yīng)商施加壓力，要求其降低成本。
【睿信咨詢顧問建議】將AI投資視為公司內(nèi)部優(yōu)先事項的轉(zhuǎn)變。如果某個遺留項目可以用AI完成或取代，就應(yīng)該立刻成為資金轉(zhuǎn)移的目標。
AI的成本波動性要求CIO必須將治理的顆粒度放得極細。
Principal Financial Group的CDAO Rajesh Arora介紹了他們的精細成本治理模型：
LLM成本預警：部署成本提醒，監(jiān)控大型語言模型（LLM）運營操作（LLM ops），以標記異常并防止超支。
特征故事版本管理：由于不同版本的模型成本和性能可能差異巨大，他們通過該工具追蹤軟件變化，以及模型、數(shù)據(jù)和提示詞，以確?？煽匦?
【睿信咨詢顧問建議】你必須將AI成本管理升級到特征（feature）、模型和提示詞級別。這是應(yīng)對LLM可變性，實現(xiàn)“以AI管理成本”的戰(zhàn)略重點。
最終，預算是為了交付價值。Arora建議，必須保持投資組合的平衡。
平衡戰(zhàn)略與戰(zhàn)術(shù)：既有短期的勝利（short-term wins）來積累勢頭，也有長期的創(chuàng)新來驅(qū)動戰(zhàn)略優(yōu)勢和增長。
holistic view（整體視角）：Principal不僅追蹤效率提升，更追蹤風險降低、客戶滿意度提升和員工體驗改善。
【最終建議】West Monroe的Greenstein總結(jié)道：那些進步的CIO們正在深思熟慮，構(gòu)建治理模型，并圍繞人工智能打造新的企業(yè)架構(gòu)。
CIO們必須對AI所做的事情和原因保持認真思考，因為擁抱這一點的CIO們正在推動未來的企業(yè)。
隨著企業(yè)逐步超越 AI 概念點，進入實際部署，CIO們被要求展示具體的投資回報率以獲得資金，要從遺留項目轉(zhuǎn)移資金，并為意外做好準備。
圖源：Rob Schultz /?Shutterstock
Gartner預測，2026年全球人工智能（AI）支出將達到2萬億美元，而今年為1.5萬億美元。管理咨詢公司W(wǎng)est Monroe Partners對300多名大型企業(yè)高管進行的調(diào)查顯示，85%表示明年計劃增加IT預算，其中很大一部分投入到人工智能。42%的高管認為，擴大人工智能和數(shù)據(jù)能力是技術(shù)投資的首要任務(wù)，91%表示人工智能導致他們的技術(shù)支出增加，近四分之三的人計劃因人工智能增加對承包商的投入。
西門羅（West Monroe）的首席人工智能官（CAIO）Bret Greenstein說：“過去幾年，許多公司都在做POC（概念驗證），只是在摸索AI能做什么?！钡F(xiàn)在一切都在改變?！拔铱吹疥P(guān)于用例和POC的討論少了很多，更多關(guān)注第一階段（概念驗證）、第二階段（開發(fā)實施）項目，”他說。
他補充說，現(xiàn)在評估人工智能是否能做某件事已經(jīng)不那么難了?！拔铱梢钥粗臣抡f，這完全可以被人工智能解決?！钡@并不意味著CIO可以自主花錢。
在全球投資與保險公司Principal Financial Group，公司的首席數(shù)據(jù)與分析官Rajesh Arora表示，目前的重點是提供可衡量的業(yè)務(wù)價值。
他說：“我們正在將預算重新分配到可擴展的平臺和高影響力的應(yīng)用場景?！贝送猓菊趯嵤﹪栏竦腞OI（投資回報率）跟蹤和成本治理。他說，這是因為公司正在超越實驗性試點階段。除了尋找可擴展的平臺外，公司還在關(guān)注生命周期管理工具、數(shù)據(jù)基礎(chǔ)和運營AI能力。
“這些解決方案將自動化流程，提升客戶體驗，構(gòu)建新能力，并加強風險管理,”他說?！拔覀兊哪繕耸亲屆恳环皱X都更努力地工作。”這意味著有些東西必須被淘汰。
例如，公司正在暫停低影響的投資，轉(zhuǎn)而專注于高價值的使用場景。他們正在收緊合同治理并重新談判條款。還有自動化?！拔覀冋跒?/strong>LLM（大型語言模型）運營和功能故事版本開發(fā)部署成本提醒，以標記異常并防止超支,”他說。
LLMs對同一輸出可能產(chǎn)生不同結(jié)果，不同版本的模型性能指標和成本也可能有很大差異。而特征故事版本管理則追蹤軟件變化，以及模型、數(shù)據(jù)和提示詞。所以歸根結(jié)底，人工智能正在成為管理成本的戰(zhàn)略重點。
Arora的經(jīng)歷并非獨特。各類企業(yè)在從POC轉(zhuǎn)向大規(guī)模部署時，都在為AI支出而苦惱，這通常意味著面臨新的投資回報需求、將資金從遺留項目轉(zhuǎn)移到AI項目，以及難以應(yīng)對技術(shù)債務(wù)。
一、推動證據(jù)呈現(xiàn)
為了證明其人工智能投資物有所值，Principal追蹤效率提升、風險降低、客戶滿意度提升以及員工體驗改善。Arora表示，這為AI創(chuàng)造的價值提供了整體的視角。
“我們的做法是保持投資組合的平衡,”他說。這意味著既有短期的勝利積累勢頭，也意味著推動戰(zhàn)略優(yōu)勢和增長的長期創(chuàng)新。他補充道：“隨著人工智能能力的成熟，我們必須更加有意識地定義成功并確保長期可持續(xù)性。”
小型公司的科技高管也不得不展示他們AI項目的成果。JBGoodwin Realtors在奧斯汀和圣安東尼奧設(shè)有四個辦事處，擁有800名經(jīng)紀人、合作伙伴和員工，所有人都全力投入人工智能，公司技術(shù)與運營副總裁Edward Tull表示。
“CEO每天都用它,”他說?！八刑毓ひ捕荚谟茫覀円才鷾驶ǜ噱X。”但他必須展示ROI。 “我必須證明這一點,”他補充道。“我花一點錢，證明用途，然后再多花一點。”例如，人工智能可能帶來更高的效率，為了證明這一點，他可能會同時運行兩個流程，一個用傳統(tǒng)方式，另一個用AI。
Gartner分析師Melanie Freeze表示，專注于能夠節(jié)省成本的AI項目是展示成果和積累動力的好方法。“我們知道這還能帶來其他非成本考慮和長期價值。”例如，在基礎(chǔ)設(shè)施和運營領(lǐng)域，她認為可能的優(yōu)勢包括云成本管理、IT服務(wù)支持以及整體員工生產(chǎn)力提升。
“你可以獲得成本優(yōu)化，同時也能獲得創(chuàng)新、效率、優(yōu)化人才管理等其他價值,”她說。
二、優(yōu)先事項的轉(zhuǎn)變
另一種為AI項目，尤其是尚未有明確投資回報的實驗性項目支付資金的方式，是從其他領(lǐng)域拿錢。JBGoodwin的Tull說他就是這么做的?！拔視p少我們花在其他東西上的錢，來抵消我在人工智能上的花費,”他說。
西門羅的Greenstein說，每個人都想成為以人工智能為中心或人工智能原生的國家?！暗沁@對公司來說是生存攸關(guān)的，否則沒人有多余的錢來做這件事,”他說。因此，將資金從遺留項目轉(zhuǎn)移到人工智能是一個流行的策略。
“這是公司內(nèi)部優(yōu)先事項的轉(zhuǎn)變,”他說?！?/span>他們會審視自己的投資，問有多少因為AI已經(jīng)不再需要，或者有多少可以用AI完成。此外，他們還在給供應(yīng)商施加壓力，要求他們降低成本。他們確實在擠壓現(xiàn)有供應(yīng)商。”
即使是大型、技術(shù)先進的公司，也可能不得不做這種平衡。
“我們并沒有為人工智能創(chuàng)造全新的配置,”一位財富500強保險公司的高級技術(shù)高管說?！拔覀冞€在研究人工智能預算的具體機制?！?/span>
相反，公司正在從其他領(lǐng)域開拓資金。
“目前人工智能處于自負籌資模型,”他說?！拔覀冋趯⑼顿Y從傳統(tǒng)技術(shù)轉(zhuǎn)向人工智能?！崩纾f，如果公司在某項技術(shù)上投入一百萬美元，并利用自動化將其降至每年90萬美元，節(jié)省的10萬美元可以用于AI。
他說，有時公司可以免費獲得新的人工智能，因為廠商會為現(xiàn)有產(chǎn)品添加人工智能功能或代理能力。但其他平臺對新功能收取額外費用?！安贿^，部分問題是解決方案本身固有的，但成本并不會真正改變,”他說。他補充說，這可能會在2026至2027年間演變?yōu)樾碌馁Y金。但他說，隨著公司人工智能的持續(xù)成熟，融資模式也將不斷演進。
“隨著我們展示能夠帶來高業(yè)務(wù)價值或效率提升的能力，我們將看到這種變化,”他說。“然后我們會轉(zhuǎn)向額外的投資注入以加快進程。”
三、為意外做準備
IT項目的預算從來都不簡單，但人工智能帶來了新的挑戰(zhàn)。前所未有的變革速度就是其中之一。
“我現(xiàn)在做的任何建模工作，六個月后都不會有效,”Publicis Sapient首席產(chǎn)品官Sheldon Monteiro說。這并不總是壞事。例如，他說，過去兩年某些模型的每代幣價格大幅下降。但另一方面，總有更新更好的型號、使用率增長以及性能的不可預測。
“傳統(tǒng)軟件經(jīng)濟學中，前期成本如開發(fā)、工程或基礎(chǔ)設(shè)施，但一旦有了固定成本，運營成本相對可預測且可控,”他說。不過，人工智能的推斷成本是可變的，他說，護欄和合規(guī)檢查可能會帶來額外成本。游戲的擴展也是非線性的，科技本身也在不斷變化。
“你需要能夠展現(xiàn)實力,”Monteiro說，“而且要認識到現(xiàn)在，勝負很難分辨?！?/span>
預算的另一個挑戰(zhàn)是人工智能對人員、系統(tǒng)和數(shù)據(jù)的要求。Principal的Arora表示，管理AI成本的最大挑戰(zhàn)之一是人才。“技能差距和跨團隊依賴會拖慢交付速度并推高成本,”他說。
此外，法規(guī)不斷演變的問題，以及不斷調(diào)整治理框架以保持韌性應(yīng)對這些變化的需求。組織也常常低估培訓員工所需的資金，以及將數(shù)據(jù)和其他基礎(chǔ)系統(tǒng)與人工智能需求保持一致。
“遺留環(huán)境會增加復雜性和成本,”他補充道?！斑@些一次性成本雖高，但對于避免長期低效至關(guān)重要?！?/span>
最后，當人工智能技術(shù)真正從概念節(jié)點（POC）轉(zhuǎn)移到生產(chǎn)環(huán)境中時，結(jié)果往往與企業(yè)預期大不相同。
“現(xiàn)在有太多未知,”IEEE會士、塔夫茨大學工程研究生院院長Karen Panetta說?！叭藗冋J為它是人類的替代品，但事實并非如此。而且你會發(fā)現(xiàn)以前不用擔心的新區(qū)域。”例如，許多公司希望利用人工智能代理替代客戶服務(wù)或支持團隊。
“真的很吸引人,”她說?！艾F(xiàn)在有10個人接電話，感覺AI會替這10個人做活。但我設(shè)計的是正常流程，那所有例外情況怎么辦？這樣你就遇到了憤怒的客戶，或者它壞了無法使用。那安全怎么辦？以前，我們有人類來偵測這些東西?！?/span>
她說，CIO們必須對他們對AI所做的事情以及原因感到認真思考。
許多CIO已經(jīng)從管理成本和風險，轉(zhuǎn)向數(shù)據(jù)管理和洞察力的推動者，并與業(yè)務(wù)單元更加緊密?，F(xiàn)在他們可以安全地且高效地成為人工智能的推動者。
“有些CIO在AI工具剛發(fā)布當天就封鎖并設(shè)置了防火墻,”西門羅的Greenstein說?！斑@阻止了公司被采納。那些進步的企業(yè)正在深思熟慮，構(gòu)建治理模型，并圍繞人工智能打造新的企業(yè)架構(gòu)。那些擁抱這一點的CIO們正在推動未來的企業(yè)。”
