——95%的AI項(xiàng)目沒賺到錢？顧問警告：別再守著“兩套AI”了，請(qǐng)立即建立“AI盈虧中心”！
各位CIO和技術(shù)領(lǐng)袖：
你的企業(yè)是否正被“兩套AI”撕裂？
第一套AI：是開發(fā)者的游樂場。光鮮、搶眼、上線快，但游離于管控之外（Shadow AI）。
第二套AI：是CIO必須捍衛(wèi)的陣地。需要治理、合規(guī)、核算成本，卻往往步履蹣跚。
May Habib曾指出，42%的《財(cái)富》500強(qiáng)高管覺得AI正在“撕裂他們的公司”。
更殘酷的數(shù)據(jù)來自MIT：95%的企業(yè)GenAI項(xiàng)目對(duì)損益表（P&L）毫無可量化的影響。原因很簡單：它們只是漂浮在表面的試點(diǎn)，從未真正嵌入工作流。
AI的“蜜月期”結(jié)束了。現(xiàn)在，CIO必須出手，將散兵游勇收編為正規(guī)軍。本文將為你拆解如何通過“平臺(tái)化”戰(zhàn)略，將AI推理轉(zhuǎn)化為企業(yè)的長期盈利引擎。
過去，我們把AI基礎(chǔ)設(shè)施當(dāng)成靜態(tài)資源，或是直接復(fù)用訓(xùn)練時(shí)的大GPU集群來做推理。這是極其昂貴的錯(cuò)誤。
訓(xùn)練是長跑，推理是百米沖刺：用巨大的訓(xùn)練集群來處理間歇式的推理請(qǐng)求，等于花兆瓦級(jí)的電費(fèi)養(yǎng)“閑人”。
成本黑洞：財(cái)務(wù)部門很快會(huì)問你艱難的問題?，F(xiàn)在重要的不是理論吞吐量，而是“美元/百萬Token”。
【戰(zhàn)略轉(zhuǎn)向】
CIO必須建立“職責(zé)分離”：
基礎(chǔ)設(shè)施團(tuán)隊(duì)：專注于平臺(tái)，把Token成本壓到極致。
數(shù)據(jù)科學(xué)團(tuán)隊(duì)：專注于模型精度與業(yè)務(wù)價(jià)值。
要將AI變成“盈虧中心”，技術(shù)戰(zhàn)略必須從單純的“擴(kuò)容”轉(zhuǎn)向“智能優(yōu)化”。這直接決定了能否支撐當(dāng)下最具變革性的兩大創(chuàng)新：
殺手锏一：SLM（小語言模型）的崛起
大模型不是萬能藥。Gartner預(yù)測，到2027年，特定任務(wù)專用SLM的使用頻率將是通用LLM的三倍。
優(yōu)勢：用企業(yè)數(shù)據(jù)精調(diào)的SLM，不僅更便宜，而且在特定任務(wù)上更準(zhǔn)確，減少了昂貴的“幻覺”錯(cuò)誤。
殺手锏二：智能體工作流（Agentic Workflows）的調(diào)度
下一代應(yīng)用是“智能體”架構(gòu)，一次查詢可能觸發(fā)多模型、多步驟。
挑戰(zhàn)：這需要一個(gè)智能平臺(tái)，能夠根據(jù)緩存距離、硬件異構(gòu)性（GPU/CPU/DPU），自動(dòng)路由請(qǐng)求。
目標(biāo)：把延遲和成本“砍到骨頭里”。
云遷移時(shí)代，擋路的是安全和網(wǎng)絡(luò)；AI時(shí)代，擋路的是“推理”。
推理帶來了業(yè)務(wù)回報(bào)，涉及私密數(shù)據(jù)，但也成為了主要的運(yùn)營成本。
【行動(dòng)指南】
統(tǒng)一打法：建立統(tǒng)一的模型暴露方式和全鏈路可觀測性。
混合部署：金融、醫(yī)療等強(qiáng)監(jiān)管場景，推理必須在本地或邊緣完成。通用云API無法滿足主權(quán)要求。
治理即服務(wù)：建立治理層，讓更廣泛的模型、智能體在安全、可管的前提下落地。
結(jié)語
CIO的選擇很明確：是繼續(xù)為分散、飆升的AI成本買單，還是立即著手打造“AI盈虧中心”？
AI的未來不取決于我們訓(xùn)練了多少模型，而取決于我們從推理中獲得了多少收益。別讓你的企業(yè)被鎖在“控不住風(fēng)險(xiǎn)”的替補(bǔ)席上。
圖源：Credit: Lightspring / Shutterstock
當(dāng)前，大多數(shù)企業(yè)其實(shí)同時(shí)運(yùn)行著“兩套AI”。
第一套AI光鮮、搶眼：由開發(fā)者主導(dǎo)的Copilot、客服場景里的RAG（檢索增強(qiáng)生成）試點(diǎn)、有人在云筆記本里快速搭建的智能體PoC，以及悄悄嵌入SaaS應(yīng)用的AI功能。它們上線快、效果炫，潛力十足，卻通常游離于正式IT管控之外。
第二套AI是CIO（首席信息官）必須捍衛(wèi)的：需要被治理、被核算成本、被安全加固，還得對(duì)齊董事會(huì)預(yù)期。這兩套AI開始正面碰撞——正如May Habib所說，42%的《財(cái)富》500強(qiáng)高管覺得AI正在“撕裂他們的公司”。
與以往的技術(shù)浪潮一樣，AI也逃不開這條路徑：新技術(shù)始于開發(fā)人員的游樂場，然后成為首席信息官的煩惱，最終成熟為一個(gè)集中管理的平臺(tái)。虛擬化、云計(jì)算、Kubernetes都走過這條路，AI不會(huì)是例外。
應(yīng)用與業(yè)務(wù)團(tuán)隊(duì)已經(jīng)可以使用強(qiáng)大的生成式AI工具，不用等12個(gè)月的IT周期就能解決真實(shí)問題——這正是生成式AI至今的最大功勞。然而，成功帶來了擴(kuò)展難題：企業(yè)現(xiàn)在需要處理多套R(shí)AG棧、不同模型廠商、SaaS里重疊的Copilot以及沒有共享的護(hù)欄。
這就是2025年企業(yè)報(bào)告里中出現(xiàn)的緊張局勢：AI價(jià)值分布不均，組織間摩擦力很大。我們已走到必須IT出手的節(jié)點(diǎn)——公司只能有一種AI打法：統(tǒng)一模型暴露方式、統(tǒng)一策略、更好經(jīng)濟(jì)學(xué)和全鏈路可觀測性。麥肯錫（McKinsey）把這一步稱為“建平臺(tái)，讓產(chǎn)品團(tuán)隊(duì)直接消費(fèi)”。
AI的不同之處在于其帶來的痛苦所在。云遷移時(shí)代，安全性和網(wǎng)絡(luò)是最初的主要障礙；AI時(shí)代，擋路的是“推理”——正是它帶來業(yè)務(wù)回報(bào)、涉及私密數(shù)據(jù)，也已成為主要運(yùn)營成本。因此麥肯錫強(qiáng)調(diào)“重寫系統(tǒng)以捕獲價(jià)值”，而非繼續(xù)增加試點(diǎn)。這與MIT（麻省理工學(xué)院）最新研究的結(jié)論一致：95%的企業(yè)生成式AI實(shí)施對(duì)P&L（損益表）毫無可量化的影響，因?yàn)樗鼈兾幢磺度氍F(xiàn)有工作流程中。
問題不是模型不靈，而是它們沒被放到統(tǒng)一、受控的軌道上。
一、 平臺(tái)化：通往治理與利潤的必經(jīng)之路
當(dāng)下最大的錯(cuò)誤是將AI基礎(chǔ)設(shè)施當(dāng)成靜態(tài)、專用的資源。大模型與小模型并存、數(shù)據(jù)主權(quán)壓力、成本削減剛需，三者交匯于一點(diǎn)：AI推理已成基礎(chǔ)設(shè)施需求。解決方案不是再買硬件，而是首席信息官主導(dǎo)的平臺(tái)化戰(zhàn)略——把AI變成可問責(zé)、可管控的戰(zhàn)略級(jí)基礎(chǔ)設(shè)施服務(wù)。這需要強(qiáng)大的職責(zé)分離和實(shí)施一種智能擴(kuò)展的理念，而不僅僅是簡單擴(kuò)容。
二、 建立職責(zé)分離，打造AI盈虧中心
我們必須把AI基礎(chǔ)設(shè)施的管理提升為財(cái)務(wù)優(yōu)先事項(xiàng)。這需要明確的分工：
基礎(chǔ)設(shè)施團(tuán)隊(duì)完全專注于平臺(tái)——確保安全性、管理分布式拓?fù)浣Y(jié)構(gòu)、把“每百萬Token成本”壓到極致；
數(shù)據(jù)科學(xué)團(tuán)隊(duì)則專注于業(yè)務(wù)價(jià)值與模型精度。
兩邊各盡其責(zé)，AI的賬才能算得清、賺得到。
我稱之為“AI盈虧中心”的這一框架，把資源選擇變成直接撬動(dòng)利潤、確保合規(guī)的財(cái)務(wù)杠桿。多項(xiàng)研究指出，首席信息官們越來越多地被要求建立強(qiáng)有力的AI治理與成本控制框架，才能交付可量化的價(jià)值。
三、 從規(guī)模擴(kuò)大轉(zhuǎn)向規(guī)模智能優(yōu)化
技術(shù)戰(zhàn)略必須落地“Scale-Smart（智能擴(kuò)展）”哲學(xué)：基于經(jīng)濟(jì)策略而非單純負(fù)載，持續(xù)監(jiān)控、分析、優(yōu)化并部署模型。這需要深度智能，把模型需求與基礎(chǔ)設(shè)施能力精準(zhǔn)映射。運(yùn)營范式之所以必須轉(zhuǎn)變，是因?yàn)樗苯記Q定了能否高效支撐當(dāng)下最具變革性的兩大創(chuàng)新落地：
SLM（小語言模型）
用企業(yè)專有數(shù)據(jù)精調(diào)的SLM，在特定任務(wù)上的準(zhǔn)確率與上下文相關(guān)性遠(yuǎn)超通用大模型。這一舉措不僅因?yàn)槟Ｐ透《″X，還因?yàn)槠涓叩木葴p少了昂貴的錯(cuò)誤。多家機(jī)構(gòu)報(bào)告顯示，部署SLM的企業(yè)模型準(zhǔn)確率更高、ROI（投資回報(bào)率）更快。Gartner預(yù)測，到2027年，特定任務(wù)專用SLM的使用頻率將是通用LLM的三倍。
智能體工作流
下一代應(yīng)用程序采用“智能體”架構(gòu)：這意味著一次用戶查詢會(huì)觸發(fā)多模型、多步驟。管理這種順序多模型流，需要一個(gè)智能平臺(tái)，該平臺(tái)可以根據(jù)KV（鍵值）緩存距離來路由請(qǐng)求，并無縫執(zhí)行自動(dòng)預(yù)填充/解碼拆分、閃存注意力、量化、推測性解碼和模型切片等優(yōu)化，這些優(yōu)化可以在異構(gòu)的GPU和CPU之間進(jìn)行。簡單來說就是：把延遲和成本砍到骨頭里。
無論上述場景還是任何推理場景，要想把“每百萬Token成本”降下兩位數(shù)，只能靠統(tǒng)一平臺(tái)：根據(jù)成本策略自動(dòng)路由請(qǐng)求，并持續(xù)針對(duì)異構(gòu)硬件調(diào)優(yōu)。沒有集中式管理（Centrally Managed）的推理?xiàng)?，這件事根本做不到。
四、 解決當(dāng)今AI推理服務(wù)的效率問題
傳統(tǒng)“堆規(guī)?！彼季S——給訓(xùn)練留的大GPU集群直接復(fù)用到推理——正在失效，原因至少兩條：
推理負(fù)載“尖峰+空閑”交替
訓(xùn)練是長跑，推理是百米沖刺兼摸魚。用巨大集群來處理間歇式的請(qǐng)求，等于花兆瓦級(jí)電費(fèi)養(yǎng)“閑人”。財(cái)務(wù)很快會(huì)提出艱難的問題：現(xiàn)在真正重要的不是理論吞吐量，而是“美元/百萬Token”。Gartner調(diào)研顯示，首席信息官們最頭疼的就是生成式AI成本失控。我們要優(yōu)化經(jīng)濟(jì)學(xué)，而不僅僅是理論性能。
部署格局“混合+邊緣”是硬要求
金融、醫(yī)療等強(qiáng)監(jiān)管場景，數(shù)據(jù)通常不能離開安全環(huán)境。推理必須在本地、數(shù)據(jù)邊緣或?qū)贆C(jī)房完成，才能滿足主權(quán)與駐留要求。試圖通過通用云API端點(diǎn)強(qiáng)制關(guān)鍵任務(wù)工作負(fù)載往往無法滿足這些嚴(yán)格的監(jiān)管和安全要求，推動(dòng)經(jīng)過驗(yàn)證的企業(yè)模式向混合和邊緣服務(wù)發(fā)展。再往下細(xì)看，硬件也是異構(gòu)的——CPU、GPU、DPU和各類加速器，平臺(tái)必須無縫統(tǒng)管。
五、 駕馭推理平臺(tái)：首席信息官的基礎(chǔ)設(shè)施級(jí)任務(wù)
統(tǒng)一平臺(tái)不是要強(qiáng)制將所有內(nèi)容都統(tǒng)一到一個(gè)模型上，而是為了建立治理層，讓更廣泛的模型、智能體、應(yīng)用都能在安全、可管、經(jīng)濟(jì)的前提下落地。
從規(guī)模擴(kuò)展到規(guī)模智能的轉(zhuǎn)變，是技術(shù)領(lǐng)導(dǎo)者唯一能把散兵游勇變成正規(guī)軍的抓手。AI的未來不取決于我們訓(xùn)了多少模型，而取決于我們從推理中獲得的收益。
每位技術(shù)領(lǐng)導(dǎo)者的戰(zhàn)略任務(wù)就是把自己升級(jí)為“平臺(tái)主”兼“AI盈虧中心”的財(cái)務(wù)架構(gòu)師。這種結(jié)構(gòu)性變化確保數(shù)據(jù)科學(xué)團(tuán)隊(duì)可以繼續(xù)以高速度創(chuàng)新，同時(shí)知道基礎(chǔ)是安全、合規(guī)和成本優(yōu)化的。
通過實(shí)施平臺(tái)化并采用規(guī)模智能的方法，我們超越了不受控制的AI支出的“西部荒野”，獲得了持久的、提高毛利率的競爭優(yōu)勢。首席信息官的選擇很明確：繼續(xù)為分散AI的飆升成本和混亂買單，或者立即著手打造AI盈虧中心，讓推理成為企業(yè)長期盈利的引擎。
作者：Dante Malagrino（但丁·馬拉格里諾）
譯者：木青 ? ?編審：@lex
