你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
依賴一個(gè)巨型AI模型處理所有任務(wù)是一種陷阱。對(duì)于簡(jiǎn)單任務(wù)而言，它過(guò)于昂貴且緩慢；而對(duì)于復(fù)雜任務(wù)，當(dāng)事情出錯(cuò)時(shí)，它存在太大的風(fēng)險(xiǎn)。
圖源：Chris J Walker
每當(dāng)我看到一個(gè)新的智能體項(xiàng)目啟動(dòng)時(shí)，我?guī)缀蹩偰茴A(yù)測(cè)到第一個(gè)架構(gòu)決策：選擇一個(gè)單一的巨型模型，將其與一些工具連接，然后不斷調(diào)整提示詞直到勉強(qiáng)可用。我自己也曾這樣做過(guò)。這看起來(lái)簡(jiǎn)潔明了，采購(gòu)流程簡(jiǎn)單，團(tuán)隊(duì)也只需關(guān)注一個(gè)基準(zhǔn)指標(biāo)。
但一旦開(kāi)始面對(duì)真實(shí)流量，這種架構(gòu)就會(huì)迅速出現(xiàn)運(yùn)行故障。
生產(chǎn)環(huán)境中的智能體失敗并不是因?yàn)槟Ｐ?不夠好"，而是因?yàn)檫\(yùn)行環(huán)境存在各類不可控的復(fù)雜因素：請(qǐng)求格式不斷變化，時(shí)延預(yù)算相互沖突，工具時(shí)好時(shí)壞，成本驟然飆升，策略約束頻繁變動(dòng)，故障模式層層疊加。單一模型架構(gòu)將所有這些問(wèn)題都集中到了一個(gè)故障點(diǎn)上。實(shí)際上，這最終會(huì)演變?yōu)榭捎眯燥L(fēng)險(xiǎn)、成本風(fēng)險(xiǎn)和治理風(fēng)險(xiǎn)。
改變我看法的是從演示成功指標(biāo)轉(zhuǎn)向運(yùn)營(yíng)成功指標(biāo)。在演示中，我只關(guān)心"模型回答是否正確"；而在生產(chǎn)環(huán)境中，我必須關(guān)心"整個(gè)系統(tǒng)是否安全、準(zhǔn)時(shí)、以可接受的單位成本完成"。這是一個(gè)截然不同的問(wèn)題，需要截然不同的設(shè)計(jì)。
一、失敗模式不是"智能不足"，而是"方差過(guò)大"
許多工程團(tuán)隊(duì)將模型選擇視為排行榜問(wèn)題：挑選質(zhì)量評(píng)分最高的模型，然后統(tǒng)一標(biāo)準(zhǔn)化。這在一定程度上是對(duì)的，但智能體工作負(fù)載并非單一狹窄的任務(wù)，而是包含復(fù)雜度分布極廣的各類任務(wù)。
針對(duì)某一具體產(chǎn)品，約70%的用戶任務(wù)屬于常規(guī)分類、檢索和轉(zhuǎn)換；另有20%需要適度的推理能力并穿插工具調(diào)用；最后10%則是棘手的邊緣案例，需要長(zhǎng)上下文、規(guī)劃和重試機(jī)制。我們最初嘗試將所有任務(wù)都路由到一個(gè)大型模型，因?yàn)樗谘菔竞蜏y(cè)試中給出了最佳的平均質(zhì)量。結(jié)果完全可預(yù)測(cè)：我們?yōu)楹?jiǎn)單任務(wù)支付了高昂的成本和延遲，而最困難的10%任務(wù)仍然表現(xiàn)出脆弱的行為。
核心問(wèn)題并非平均質(zhì)量，而是方差。生產(chǎn)流量存在峰值、工具故障和對(duì)抗性用戶。如果每個(gè)請(qǐng)求都必須依賴具有單一延遲曲線和單一價(jià)格曲線的模型，那么尾部行為將主導(dǎo)用戶體驗(yàn)。實(shí)際上，用戶記住的是你的p95和p99表現(xiàn)?！?/span>后注。】
這也是NIST的AI風(fēng)險(xiǎn)管理框架等運(yùn)營(yíng)指導(dǎo)在智能體設(shè)計(jì)中最終發(fā)揮作用的原因之一：它推動(dòng)團(tuán)隊(duì)將可靠性、監(jiān)控和治理視為首要關(guān)切，而非上線后的補(bǔ)救工作。一旦將智能體視為承擔(dān)風(fēng)險(xiǎn)的系統(tǒng)，單一模型集中化就會(huì)看起來(lái)像是故意產(chǎn)生的技術(shù)債務(wù)。
我還發(fā)現(xiàn)，單一模型設(shè)置會(huì)降低事故響應(yīng)效率。如果模型質(zhì)量下降，究竟是模型更新問(wèn)題、提示詞退化、檢索漂移、工具接口契約失效、上下文截?cái)喈惓＿€是評(píng)估盲區(qū)？在一個(gè)巨型執(zhí)行鏈路上，所有環(huán)節(jié)都緊密耦合，而耦合在事故期間代價(jià)高昂。
二、生產(chǎn)環(huán)境中的智能體是系統(tǒng)，而非提示詞
最終讓我團(tuán)隊(duì)真正轉(zhuǎn)變觀念的是這一點(diǎn)：智能體是一個(gè)受策略編排的系統(tǒng)，而非一個(gè)碰巧調(diào)用工具的提示詞。一旦接受這一點(diǎn)，多模型設(shè)計(jì)就不再顯得是為了復(fù)雜而復(fù)雜，而更像是你在任何領(lǐng)域都會(huì)期望看到的系統(tǒng)工程實(shí)踐。
對(duì)于推理流程，我經(jīng)常借鑒ReAct論文中的模式：將思考與行動(dòng)交錯(cuò)進(jìn)行，然后通過(guò)工具結(jié)果來(lái)錨定決策。在生產(chǎn)環(huán)境中，我發(fā)現(xiàn)當(dāng)你將不同角色解耦到不同模型時(shí)，這種模式表現(xiàn)更佳。例如：
小型快速模型負(fù)責(zé)意圖識(shí)別、策略檢查和工具參數(shù)規(guī)范化
中型模型處理大多數(shù)基于檢索的合成任務(wù)
高能力模型專用于升級(jí)場(chǎng)景、模糊請(qǐng)求或高影響輸出
確定性層負(fù)責(zé)防護(hù)欄、模式驗(yàn)證和脫敏處理，無(wú)論使用哪個(gè)模型
這里的核心思想是建立隔離邊界。如果高能力模型發(fā)生故障或成本激增，核心流量仍可通過(guò)較低層級(jí)繼續(xù)流動(dòng)，實(shí)現(xiàn)服務(wù)優(yōu)雅降級(jí)。如果小型模型錯(cuò)誤地路由了部分任務(wù)，回退機(jī)制和置信度閾值可以用降級(jí)行為而非完全失敗的方式進(jìn)行恢復(fù)。
可觀測(cè)性在這里同樣重要。智能體團(tuán)隊(duì)往往只記錄最終答案，并將其稱為監(jiān)控，這是對(duì)可觀測(cè)性信號(hào)的拙劣利用。你需要追蹤編排步驟、工具調(diào)用、檢索版本和策略決策的全鏈路。我個(gè)人默認(rèn)采用類似OpenTelemetry的原則，因?yàn)榉植际阶粉櫮芸焖俦┞赌Ｐ吐酚蓡?wèn)題。如果沒(méi)有這些，你就只能在傳聞?shì)W事中摸索調(diào)試。
另一個(gè)慘痛教訓(xùn)是：治理策略的變化速度比模型合同快幾個(gè)數(shù)量級(jí)。法務(wù)或安全團(tuán)隊(duì)可能在毫無(wú)預(yù)警的情況下要求新的脫敏規(guī)則、保留期限或禁止行為。如果一個(gè)模型深度嵌入每個(gè)推理流程的每個(gè)階段，策略變更就會(huì)變成大規(guī)模、痛苦的遷移。而在具有清晰接口的多模型架構(gòu)中，策略變更主要只是路由和控制平面的更新。
三、一個(gè)能在實(shí)際運(yùn)營(yíng)中存活下來(lái)的實(shí)用多模型架構(gòu)
對(duì)于詢問(wèn)如何起步并避免過(guò)度設(shè)計(jì)的團(tuán)隊(duì)，我建議采用分階段方法，讓復(fù)雜度與風(fēng)險(xiǎn)成正比。
1、第一階段：控制與生成分離。維護(hù)一個(gè)控制層，負(fù)責(zé)路由、策略、預(yù)算和重試。讓生成模型在定義良好的接口后保持無(wú)狀態(tài)，這使你能夠在不改變業(yè)務(wù)邏輯的情況下更換模型。
2、第二階段：能力分層。定義至少三個(gè)類別：快速廉價(jià)型、均衡型和高端推理型，基于任務(wù)類別、置信度和影響進(jìn)行路由。如果置信度低或操作高風(fēng)險(xiǎn)，則升級(jí)；如果請(qǐng)求是常規(guī)性的，則保持在較低層級(jí)。
3、第三階段：故障感知執(zhí)行。為每個(gè)外部依賴構(gòu)建顯式的超時(shí)、熔斷器和回退響應(yīng)：模型API、向量存儲(chǔ)、內(nèi)部工具和身份服務(wù)。如果檢索失敗，按有界規(guī)則響應(yīng)，而非假裝確定。如果高端模型不可用，則在需要時(shí)降級(jí)到人工交接路徑。
4、第四階段：生產(chǎn)級(jí)評(píng)估。離線基準(zhǔn)數(shù)字很好，但對(duì)于智能體系統(tǒng)來(lái)說(shuō)還不夠。你需要包含真實(shí)工具行為、延遲依賴和策略邊緣案例的場(chǎng)景測(cè)試套件。我個(gè)人要求每個(gè)路由都有成功率、p95延遲、token成本、升級(jí)率和策略違規(guī)的指標(biāo)。只有這種程度的可觀測(cè)性才能讓你負(fù)責(zé)任地調(diào)整路由閾值。
5、第五階段：經(jīng)濟(jì)控制。大多數(shù)智能體成本超支并非來(lái)自單個(gè)非常昂貴的調(diào)用，而是來(lái)自重試、長(zhǎng)上下文和遞歸工具循環(huán)。設(shè)置每會(huì)話和每步的token預(yù)算，按路由限制重試次數(shù)，并在規(guī)劃器中強(qiáng)制執(zhí)行停止條件。成本治理應(yīng)該是自動(dòng)的，而非每月的意外驚喜。
我經(jīng)常聽(tīng)到的反對(duì)這個(gè)觀點(diǎn)的一個(gè)主要原因是多模型設(shè)置難以管理。根據(jù)我的經(jīng)驗(yàn)，如果架構(gòu)足夠清晰，情況往往相反。當(dāng)行為表面隱藏在提示文本中時(shí)，治理是困難的；當(dāng)路由決策、策略檢查和升級(jí)標(biāo)準(zhǔn)可見(jiàn)、可版本化和可測(cè)試時(shí)，治理才是可操作的。
另一個(gè)反對(duì)意見(jiàn)是來(lái)自多個(gè)供應(yīng)商或多個(gè)模型系列會(huì)增加供應(yīng)商鎖定風(fēng)險(xiǎn)。這是一個(gè)合理的擔(dān)憂，但根據(jù)我的經(jīng)驗(yàn)，當(dāng)你維護(hù)內(nèi)部模型抽象并保持提示詞、評(píng)估框架和工具模式可移植時(shí)，鎖定風(fēng)險(xiǎn)反而更低。單一模型堆棧往往一開(kāi)始感覺(jué)更簡(jiǎn)單，但隨著時(shí)間推移會(huì)變得與提供商特定行為高度耦合。
我最后被問(wèn)到的一個(gè)問(wèn)題是：什么時(shí)候單一模型仍然可行？我認(rèn)為，對(duì)于低流量的內(nèi)部助手、非關(guān)鍵工作流或任務(wù)范圍狹窄的早期原型，單一模型是可以接受的。但對(duì)于有正常運(yùn)行時(shí)間、合規(guī)性和成本目標(biāo)的面向客戶的智能體來(lái)說(shuō)，它不是一個(gè)可持續(xù)的默認(rèn)選擇。
如果必須用一句話總結(jié)，那就是：生產(chǎn)環(huán)境中智能體的可擴(kuò)展性是一個(gè)控制平面問(wèn)題，但常被誤診為模型選擇問(wèn)題。單一模型可以非常出色，卻仍然無(wú)法滿足你的系統(tǒng)目標(biāo)。只有具備強(qiáng)大路由和策略控制的多模型架構(gòu)，才能讓你同時(shí)在質(zhì)量、可靠性和成本三個(gè)維度上實(shí)現(xiàn)規(guī)?；?。
睿觀：在真實(shí)的業(yè)務(wù)場(chǎng)景中，系統(tǒng)的穩(wěn)定性（尤其是最壞情況下的表現(xiàn)）遠(yuǎn)比平均性能更重要。簡(jiǎn)單來(lái)說(shuō)，用戶不會(huì)因?yàn)槟?99% 的請(qǐng)求都很快而原諒那 1% 讓他們苦等半分鐘的卡頓。
平均質(zhì)量 (Average Quality):
這通常指模型在基準(zhǔn)測(cè)試（如 MMLU）中的得分，或者在壓測(cè)中所有請(qǐng)求的平均響應(yīng)時(shí)間。它代表了“理想狀態(tài)”或“大多數(shù)情況”下的表現(xiàn)。
方差 (Variance):
在這里，它指的是性能的不穩(wěn)定性。具體表現(xiàn)為，大部分請(qǐng)求處理得很快，但總有少數(shù)請(qǐng)求會(huì)因?yàn)楦鞣N原因變得極慢。這種性能上的巨大差異就是“方差”。
為什么方差是核心問(wèn)題？
想象一個(gè)智能客服，它回答 100 個(gè)問(wèn)題，99 個(gè)都在 1 秒內(nèi)完成，但有 1 個(gè)問(wèn)題因?yàn)橛|發(fā)了模型的復(fù)雜推理或系統(tǒng)資源競(jìng)爭(zhēng)，導(dǎo)致用戶等了 30 秒。雖然平均響應(yīng)時(shí)間可能只有 1.3 秒，看起來(lái)很優(yōu)秀，但那 1 個(gè)等待 30 秒的用戶體驗(yàn)是災(zāi)難性的，他很可能因此放棄使用你的產(chǎn)品。
P95 和 P99 是統(tǒng)計(jì)學(xué)中的百分位數(shù)，專門用來(lái)衡量這種“方差”或“長(zhǎng)尾延遲”。
P95 (第95百分位響應(yīng)時(shí)間):
表示 95% 的請(qǐng)求響應(yīng)時(shí)間都低于這個(gè)值。換句話說(shuō)，有 5% 的請(qǐng)求比這個(gè)時(shí)間還要慢。
P99 (第99百分位響應(yīng)時(shí)間):
表示 99% 的請(qǐng)求響應(yīng)時(shí)間都低于這個(gè)值。這意味著只有 1% 的請(qǐng)求會(huì)遭遇比這更慢的響應(yīng)。
用戶記住的是 P95 和 P99 表現(xiàn)，正是因?yàn)檫@兩個(gè)指標(biāo)反映了服務(wù)在最差情況下的用戶體驗(yàn)。優(yōu)化 P99 意味著要解決那些最棘手、最偶然的性能瓶頸，這直接決定了服務(wù)的可靠性和用戶口碑。
在大模型服務(wù)中，導(dǎo)致“方差”和“長(zhǎng)尾延遲”的原因比傳統(tǒng)軟件更復(fù)雜：
請(qǐng)求負(fù)載差異巨大
與傳統(tǒng) API 處理相似工作量的請(qǐng)求不同，大模型的每個(gè)請(qǐng)求“工作量”天差地別。
簡(jiǎn)單請(qǐng)求：
用戶問(wèn)“你好”，模型只需生成幾個(gè) token，瞬間完成。
復(fù)雜請(qǐng)求：
用戶要求“寫(xiě)一份關(guān)于人工智能倫理的 2000 字報(bào)告”，模型需要處理長(zhǎng)文本輸入并生成大量輸出，耗時(shí)可能是前者的幾十倍甚至上百倍。
如果只用一個(gè)模型處理所有請(qǐng)求，簡(jiǎn)單請(qǐng)求就不得不為復(fù)雜請(qǐng)求“排隊(duì)”，導(dǎo)致 P95/P99 指標(biāo)飆升。
生產(chǎn)環(huán)境的復(fù)雜性
正如前文所述，生產(chǎn)環(huán)境充滿不確定性：
流量峰值 (Traffic Spikes):
瞬間涌入的大量請(qǐng)求會(huì)導(dǎo)致系統(tǒng)資源（如 GPU 顯存）緊張，引發(fā)排隊(duì)和延遲。
工具故障 (Tool Failures):
如果 AI 智能體需要調(diào)用外部工具（如數(shù)據(jù)庫(kù)、搜索引擎），任何一個(gè)工具的延遲或故障都會(huì)拖慢整個(gè)請(qǐng)求的處理速度。
對(duì)抗性用戶 (Adversarial Users):
惡意用戶可能發(fā)送精心設(shè)計(jì)的、旨在消耗大量計(jì)算資源的提示詞，導(dǎo)致服務(wù)變慢甚至癱瘓。
結(jié)論是，依賴“具有單一延遲曲線和單一價(jià)格曲線的模型”是危險(xiǎn)的。這引出了當(dāng)前企業(yè)級(jí) AI 應(yīng)用的一個(gè)重要設(shè)計(jì)思想：多模型架構(gòu)。
這種架構(gòu)的核心思想是“讓合適的模型做合適的事”，通過(guò)分層和路由來(lái)降低方差：
快速廉價(jià)模型：
處理 70% 的簡(jiǎn)單、常規(guī)任務(wù)（如分類、簡(jiǎn)單問(wèn)答）。它們響應(yīng)極快，成本低。
平衡模型：
處理 20% 需要一定推理能力的任務(wù)。
高能力模型：
僅用于處理 10% 最復(fù)雜、最困難的“長(zhǎng)尾”任務(wù)。
通過(guò)這種設(shè)計(jì)，絕大多數(shù)用戶的請(qǐng)求都能得到快速響應(yīng)（優(yōu)化了 P50 和 P95），而那 10% 的復(fù)雜任務(wù)雖然慢，但不會(huì)拖垮整個(gè)系統(tǒng)，從而保證了整體服務(wù)的穩(wěn)定性和可預(yù)測(cè)性。這正是從關(guān)注“平均質(zhì)量”到控制“方差”的工程化實(shí)踐。
