你好，歡迎您來(lái)到福建信息主管(CIO)網(wǎng)! 設(shè)為首頁(yè)|加入收藏|會(huì)員中心
在微軟最新的《人工智能基礎(chǔ)設(shè)施狀況》報(bào)告中，一個(gè)殘酷的現(xiàn)實(shí)被揭開(kāi)：在受訪的1500多名商業(yè)領(lǐng)袖中，超過(guò)一半的人承認(rèn)，他們沒(méi)有合適的基礎(chǔ)設(shè)施來(lái)支持想要運(yùn)行的AI工作負(fù)載。
許多企業(yè)在POC（概念驗(yàn)證）階段順風(fēng)順?biāo)?，一旦試圖擴(kuò)展到生產(chǎn)環(huán)境，項(xiàng)目便轟然倒塌。
Colt Technology Services的首席AI官Frank Miller打了一個(gè)極其形象的比喻：
“在遺留架構(gòu)上運(yùn)行AI，就像通過(guò)撥號(hào)網(wǎng)絡(luò)流式傳輸4K視頻。你可以欺騙自己它會(huì)起作用，但現(xiàn)實(shí)會(huì)給你狠狠一擊?！?
你投入了巨額資金，不能毀在基建上。以下是構(gòu)建現(xiàn)代化AI架構(gòu)的四大關(guān)鍵支柱。
對(duì)于企業(yè)IT來(lái)說(shuō)，高可用性和災(zāi)備是基本功。但AI——尤其是GPU集群訓(xùn)練和推理——對(duì)網(wǎng)絡(luò)提出了完全不同的要求。
IDC副總裁Daniel Saroff警告：“這不僅是買(mǎi)幾塊顯卡的問(wèn)題。你必須綜合考慮GPU基礎(chǔ)設(shè)施、帶寬、網(wǎng)絡(luò)可用性以及應(yīng)用間的連接性?！?/span>
你需要關(guān)注的硬核技術(shù)：
低延遲、高帶寬：AI流量具有突發(fā)性和大規(guī)模并行的特點(diǎn)。
新型網(wǎng)絡(luò)硬件：SmartNICs（智能網(wǎng)卡）、InfiniBand或RoCE（融合以太網(wǎng)RDMA）。
智能路由：采用智能、自適應(yīng)路由和動(dòng)態(tài)多路徑I/O，確保一條擁塞路徑不會(huì)中斷整個(gè)AI管道。
VAST Data的Jason Hammons指出，隨著AI智能體（Agents）的興起，其復(fù)雜的I/O模式會(huì)讓系統(tǒng)更加脆弱，對(duì)存儲(chǔ)和網(wǎng)絡(luò)的要求甚至比單純的模型訓(xùn)練更高。?
云服務(wù)商Leaseweb的CEO Richard Copeland指出，很多企業(yè)的AI架構(gòu)就像“魯布·戈德堡機(jī)械”——設(shè)計(jì)得過(guò)度復(fù)雜，迂回曲折。?
工具、代理、隊(duì)列、存儲(chǔ)層……每一層都在增加延遲和脆弱性。數(shù)據(jù)在到達(dá)模型前必須在這些堆棧中上下移動(dòng)，每一次跳轉(zhuǎn)都是成本。
如何簡(jiǎn)化？
扁平化架構(gòu)：去除冗余的中間件。
計(jì)算靠近數(shù)據(jù)：將工作負(fù)載轉(zhuǎn)移到數(shù)據(jù)已經(jīng)存在的環(huán)境中，解決“數(shù)據(jù)引力”問(wèn)題。
彈性設(shè)計(jì)：將彈性視為設(shè)計(jì)原則，而不是保險(xiǎn)策略。
傳統(tǒng)的數(shù)據(jù)庫(kù)拼湊已經(jīng)跟不上AI對(duì)延遲和治理的要求。SingleStore的CTO Nadeem Asghar認(rèn)為，統(tǒng)一的智能平面將取代碎片化的堆棧。
圖數(shù)據(jù)庫(kù)提供商Memgraph的CEO Dominik Tomicevic則提出了一個(gè)極具參考價(jià)值的架構(gòu)思路：
將“智能層”（模型和代理）與“知識(shí)層”（事實(shí)和數(shù)據(jù)）分開(kāi)。
知識(shí)圖譜/GraphRAG：建立一個(gè)強(qiáng)類(lèi)型的知識(shí)存儲(chǔ)，像關(guān)鍵任務(wù)數(shù)據(jù)庫(kù)一樣進(jìn)行備份和監(jiān)控。
細(xì)粒度訪問(wèn)控制：在圖級(jí)別進(jìn)行控制，確保存儲(chǔ)層永遠(yuǎn)不會(huì)泄露底層不允許的數(shù)據(jù)，即使LLM對(duì)此“感到好奇”。
如何讓AI從一系列零散的實(shí)驗(yàn)變成企業(yè)的一種核心能力？答案是平臺(tái)化。
Domino Data Lab的Jarrod Vawdrey指出，每家公司都面臨同樣的痛點(diǎn)：“你需要AI來(lái)競(jìng)爭(zhēng)，但你所有的實(shí)際業(yè)務(wù)都跑在比iPhone還老的傳統(tǒng)系統(tǒng)上?！?/strong>
你需要建立統(tǒng)一的平臺(tái)工作流，引入“前置部署工程師”作為翻譯者，將現(xiàn)代AI能力與陳舊的ERP系統(tǒng)集成。同時(shí)，必須引入FinOps（財(cái)務(wù)運(yùn)營(yíng)）。
IDC預(yù)測(cè)，到2027年，組織將意識(shí)到他們低估了AI基礎(chǔ)設(shè)施成本近三分之一。 API管理、實(shí)時(shí)成本監(jiān)控不再是可選項(xiàng)，而是生存必修課。
正確地進(jìn)行IT工作，才能正確地進(jìn)行AI工作。
如果你的架構(gòu)是為彈性而構(gòu)建的，那么你已經(jīng)成功了一半。但剩下一半，需要你果斷地拋棄“撥號(hào)上網(wǎng)”時(shí)代的舊思維，為AI重塑一個(gè)高帶寬、低延遲、智能化的新底座。
原文：為人工智能提供彈性和連續(xù)性
你投入了太多，以至于不能把基礎(chǔ)弄錯(cuò)。以下是為人工智能正確構(gòu)建架構(gòu)、基礎(chǔ)設(shè)施和網(wǎng)絡(luò)時(shí)的樣子。
圖源：Shutterstock / kung_tom
基礎(chǔ)設(shè)施可能是許多組織在將人工智能從POC/Proof - of - Concept（概念驗(yàn)證）擴(kuò)展到生產(chǎn)階段時(shí)報(bào)告失敗的原因。在Microsoft（微軟）最新的《State of AI Infrastructure/人工智能基礎(chǔ)設(shè)施狀況》報(bào)告中，幾乎每家公司都談到了擴(kuò)展和實(shí)現(xiàn)人工智能運(yùn)營(yíng)所面臨的挑戰(zhàn)，來(lái)自不同行業(yè)和地區(qū)的? 1500多名商業(yè)領(lǐng)袖中，超過(guò)一半的人表示他們沒(méi)有合適的基礎(chǔ)設(shè)施來(lái)支持他們想要運(yùn)行的人工智能工作負(fù)載——這一比例在其他調(diào)查中也有體現(xiàn)。
在構(gòu)建、部署和運(yùn)營(yíng)人工智能模型時(shí)，你會(huì)發(fā)現(xiàn)自己的基礎(chǔ)設(shè)施到底有多現(xiàn)代化，以及它在哪些方面讓你失望。數(shù)字基礎(chǔ)設(shè)施公司Colt Technology Services的首席人工智能和平臺(tái)官Frank Miller（弗蘭克·米勒）說(shuō)：“在遺留架構(gòu)上運(yùn)行人工智能就像通過(guò)撥號(hào)網(wǎng)絡(luò)流式傳輸4K視頻，你可以說(shuō)服自己它會(huì)起作用，但現(xiàn)實(shí)卻大不相同。”
如果你不想僅僅為了讓投入大量資金的人工智能保持可用而疲于應(yīng)對(duì)各種問(wèn)題，你就需要治理和現(xiàn)代架構(gòu)。“這意味著用混合云原生設(shè)計(jì)取代僵化的傳統(tǒng)系統(tǒng)，這些設(shè)計(jì)可以為人工智能工作負(fù)載進(jìn)行擴(kuò)展，”他補(bǔ)充道，“高帶寬、低延遲的連接確?？焖俚臄?shù)據(jù)訪問(wèn)；冗余和自動(dòng)故障轉(zhuǎn)移提供連續(xù)性；帶有加密的零信任安全保護(hù)敏感的人工智能流程。增加可觀測(cè)性和預(yù)測(cè)性監(jiān)控有助于在問(wèn)題干擾運(yùn)營(yíng)之前預(yù)測(cè)到它們，從而創(chuàng)建一個(gè)具有彈性、安全且為人工智能創(chuàng)新做好準(zhǔn)備的基礎(chǔ)設(shè)施。”
IDC集團(tuán)副總裁Daniel Saroff（丹尼爾·薩羅夫）認(rèn)為，可以把這看作是技術(shù)債務(wù)，因?yàn)榇蠖鄶?shù)企業(yè)都低估了人工智能對(duì)連接性和計(jì)算能力的壓力。孤立的基礎(chǔ)設(shè)施無(wú)法滿足人工智能的需求，首席信息官們需要以更綜合的方式考慮這些及其他因素，以使人工智能取得成功。“你必須考慮你的GPU/Graphics Processing Unit（圖形處理單元）基礎(chǔ)設(shè)施、帶寬、網(wǎng)絡(luò)可用性以及各個(gè)應(yīng)用程序之間的連接性，”他說(shuō)，“如果你沒(méi)有為高事務(wù)性、GPU密集型環(huán)境設(shè)置好環(huán)境，你就會(huì)遇到問(wèn)題，”Saroff（薩羅夫）警告說(shuō)，“而且基礎(chǔ)設(shè)施非常分散意味著你需要提取數(shù)據(jù)并集成多個(gè)不同的系統(tǒng)，尤其是當(dāng)你開(kāi)始考慮智能體時(shí)。”
訓(xùn)練、RAG/Retrieval-Augmented Generation（檢索增強(qiáng)生成）和智能體工作流程假定數(shù)據(jù)不僅是正確的，而且始終是可訪問(wèn)的，并且不存在瓶頸。他補(bǔ)充說(shuō)，像MCP這樣的通用API（應(yīng)用程序編程接口）技術(shù)正在成為一種標(biāo)準(zhǔn)化數(shù)據(jù)訪問(wèn)的方式，而傳統(tǒng)系統(tǒng)可能不容易支持這一點(diǎn)。
一、精于GPU
對(duì)于企業(yè)IT來(lái)說(shuō)，彈性并不是一個(gè)新的概念。高可用性、故障轉(zhuǎn)移和災(zāi)難恢復(fù)是普遍要求，以至于微軟在其Azure Copilot中添加的前六個(gè)智能體之一就是專(zhuān)門(mén)為了提高云的彈性。在本地，企業(yè)有幾十年的基礎(chǔ)設(shè)施經(jīng)驗(yàn)可以借鑒，但這很少包括對(duì)人工智能至關(guān)重要的昂貴GPU和其他加速器，無(wú)論你是進(jìn)行訓(xùn)練還是運(yùn)行推理。
無(wú)論是需要用正確的驅(qū)動(dòng)程序和操作符自動(dòng)配置GPU Kubernetes集群所增加的復(fù)雜性，還是構(gòu)建更難維護(hù)的專(zhuān)用人工智能基礎(chǔ)設(shè)施，以及需要針對(duì)具有不熟悉且快速變化模式的分布式流量的高速網(wǎng)絡(luò)，它們的要求都更高。
VAST Data的國(guó)際系統(tǒng)工程副總裁Jason Hammons（杰森·哈蒙斯）說(shuō)：“構(gòu)建GPU基礎(chǔ)設(shè)施真的很困難。在很大程度上，這是因?yàn)槠浯笠?guī)模并行的性質(zhì)，也因?yàn)槠浣M件。它們就是要復(fù)雜得多。”
人工智能需要具有低延遲且可預(yù)測(cè)的高帶寬網(wǎng)絡(luò)，以傳輸大量的數(shù)據(jù)有效負(fù)載以及少量的推理和API調(diào)用有效負(fù)載。這可能意味著企業(yè)網(wǎng)絡(luò)的至少一部分看起來(lái)更像云數(shù)據(jù)中心中的網(wǎng)絡(luò)，可能包括SmartNICs（智能網(wǎng)絡(luò)接口卡）、InfiniBand（無(wú)限帶寬）或RoCE/RDMA over Converged Ethernet（融合以太網(wǎng)?RDMA），以及像SONiC這樣的可編程網(wǎng)絡(luò)操作系統(tǒng)，還有與人工智能數(shù)據(jù)中心和云API的穩(wěn)定直接連接。
Hammons（哈蒙斯）表示，如果企業(yè)內(nèi)部到GPU集群本身有高速網(wǎng)絡(luò)，就可以提供良好的人工智能體驗(yàn)，但構(gòu)建代理在存儲(chǔ)和網(wǎng)絡(luò)方面的要求更高。“當(dāng)你開(kāi)始擴(kuò)展代理工作負(fù)載時(shí)，由于它們表現(xiàn)出的復(fù)雜I/O模式，保持這些系統(tǒng)正常運(yùn)行的復(fù)雜性質(zhì)可能會(huì)加劇，”他說(shuō)。
在人工智能中，智能路由和底層優(yōu)化更為重要，負(fù)載平衡也比以往任何時(shí)候都更關(guān)鍵，這需要智能、自適應(yīng)的路由以及動(dòng)態(tài)、多路徑I/O，這樣一條擁塞或不健康的路徑就不會(huì)中斷人工智能管道。你必須給予關(guān)鍵的人工智能流量足夠高的優(yōu)先級(jí)，以支持你的工作負(fù)載，同時(shí)又不會(huì)妨礙像ERP/Enterprise Resource Planning（企業(yè)資源規(guī)劃）和支付服務(wù)，或VoIP（IP語(yǔ)音）和視頻會(huì)議等關(guān)鍵生產(chǎn)系統(tǒng)。
軟件開(kāi)發(fā)公司Fastly的首席技術(shù)官Artur Bergman（阿圖爾·伯格曼）說(shuō)：“人工智能工作流程更加基于網(wǎng)絡(luò)。你必須在多臺(tái)機(jī)器上進(jìn)行擴(kuò)展，這與對(duì)網(wǎng)絡(luò)或延遲要求沒(méi)有那么高的企業(yè)工作負(fù)載相比，是一個(gè)相當(dāng)大的轉(zhuǎn)變。”
這不再僅僅是避免關(guān)鍵故障或快速?gòu)墓收现谢謴?fù)的問(wèn)題。你還必須設(shè)計(jì)系統(tǒng)以實(shí)現(xiàn)優(yōu)雅降級(jí)，這樣在出現(xiàn)故障時(shí)它們?nèi)匀荒軌蛴凶銐蚝玫男阅鼙憩F(xiàn)。
同樣，具有彈性的人工智能需要的不僅僅是你習(xí)慣用于任何生產(chǎn)工作負(fù)載的同步復(fù)制。Hammons（哈蒙斯）說(shuō)：“很多這些系統(tǒng)需要在站點(diǎn)之間進(jìn)行負(fù)載平衡，并在多個(gè)域之間具有冗余，”這種復(fù)雜性甚至讓成熟的組織都轉(zhuǎn)向像CoreWeave這樣的供應(yīng)商，以及他所說(shuō)的人工智能原生新云。
采用混合API的方法幾乎是普遍存在的。無(wú)論你是將工作負(fù)載擴(kuò)展到人工智能數(shù)據(jù)中心，在超大規(guī)模GPU基礎(chǔ)設(shè)施和云數(shù)據(jù)庫(kù)上構(gòu)建，還是調(diào)用云API，你都需要考慮這些連接。這意味著更新傳統(tǒng)網(wǎng)絡(luò)，并考慮多個(gè)連接提供商以實(shí)現(xiàn)冗余。
如果你在邊緣進(jìn)行人工智能應(yīng)用，特別是在像工廠和零售這樣的近實(shí)時(shí)環(huán)境中，你還必須考慮分布式可靠性，以及需要什么樣的連接性和延遲來(lái)進(jìn)行推理或跨站點(diǎn)更新本地模型以確保一致性。
Bergman（伯格曼）說(shuō)：“跨云通信只會(huì)不斷增長(zhǎng)。Fastly的客戶已經(jīng)在那里保存訓(xùn)練集數(shù)據(jù)，以便他們可以在多個(gè)云中使用它。‘我們可以將其引入所有云，而無(wú)需支付云出口費(fèi)用’。”
他建議，未來(lái)代表員工進(jìn)行操作時(shí)，對(duì)代理訪問(wèn)和權(quán)限進(jìn)行身份驗(yàn)證可能會(huì)增加復(fù)雜性。這不需要底層網(wǎng)絡(luò)更改，但在應(yīng)用層，他預(yù)計(jì)為了以安全、可靠的方式擴(kuò)展這些功能，會(huì)發(fā)生很多演變。
二、簡(jiǎn)化你的架構(gòu)
云服務(wù)提供商Leaseweb的首席執(zhí)行官Richard Copeland（理查德·科普蘭）表示，如今大多數(shù)人工智能的采用都是在從未為這種波動(dòng)性水平設(shè)計(jì)的架構(gòu)上進(jìn)行的。“每個(gè)人都想要人工智能的魔力，但一旦他們進(jìn)行擴(kuò)展，就會(huì)面臨數(shù)據(jù)引力、延遲預(yù)算和存儲(chǔ)經(jīng)濟(jì)性的混亂現(xiàn)實(shí)，”他補(bǔ)充道，“團(tuán)隊(duì)試圖保護(hù)端點(diǎn)、擴(kuò)展管道、添加GPU并增加帶寬，但如果其基礎(chǔ)沒(méi)有特意設(shè)計(jì)為具有彈性，那么這些都無(wú)法阻止運(yùn)營(yíng)混亂。”
他指出，幾乎可以肯定的是，你需要更多的存儲(chǔ)來(lái)支持人工智能，而不僅僅是用于訓(xùn)練集。“你要存儲(chǔ)嵌入向量、向量索引、模型檢查點(diǎn)、代理日志、合成數(shù)據(jù)集，而且代理本身每秒都在產(chǎn)生新的數(shù)據(jù)，”他說(shuō)。所以花時(shí)間計(jì)算出你實(shí)際需要存儲(chǔ)多少數(shù)據(jù)、存儲(chǔ)在哪里以及存儲(chǔ)多長(zhǎng)時(shí)間。
但為連續(xù)性而設(shè)計(jì)意味著將彈性視為一個(gè)設(shè)計(jì)原則，而不是一份保險(xiǎn)政策。Copeland（科普蘭）說(shuō)，保持領(lǐng)先的組織正在簡(jiǎn)化架構(gòu)，將計(jì)算推向更接近數(shù)據(jù)的位置，自動(dòng)化生命周期策略，并構(gòu)建人工智能管道可以在無(wú)人緊張的情況下進(jìn)行故障轉(zhuǎn)移的環(huán)境。
更扁平的架構(gòu)還可以減少技術(shù)債務(wù)，但大多數(shù)企業(yè)已經(jīng)積累了太多層的工具、代理、隊(duì)列、存儲(chǔ)層和檢查點(diǎn)，以至于他們的人工智能管道就像Rube Goldberg machines（魯布·戈德堡機(jī)械，是一種被設(shè)計(jì)得過(guò)度復(fù)雜的機(jī)械組合，以迂回曲折的方法去完成一些其實(shí)非常簡(jiǎn)單的工作）一樣。“數(shù)據(jù)在到達(dá)需要它的模型之前必須在這個(gè)堆棧中上下移動(dòng)，每一次跳轉(zhuǎn)都會(huì)增加延遲、脆弱性和運(yùn)營(yíng)開(kāi)銷(xiāo)，”他說(shuō)。
找出延遲來(lái)自哪里，你可能會(huì)發(fā)現(xiàn)一些不需要的系統(tǒng)。“去除冗余的中間件，自動(dòng)化數(shù)據(jù)放置和生命周期策略，并將工作負(fù)載轉(zhuǎn)移到數(shù)據(jù)已經(jīng)存在的環(huán)境中，”他繼續(xù)說(shuō)道。整合存儲(chǔ)層，將GPU工作負(fù)載轉(zhuǎn)移到更簡(jiǎn)單的區(qū)域或本地環(huán)境中，并調(diào)整網(wǎng)絡(luò)路徑，應(yīng)該可以使系統(tǒng)表現(xiàn)得可預(yù)測(cè)而不是混亂。
三、設(shè)計(jì)數(shù)據(jù)架構(gòu)
要使人工智能實(shí)現(xiàn)擴(kuò)展，幾乎肯定意味著要認(rèn)真審視你的數(shù)據(jù)架構(gòu)。每個(gè)數(shù)據(jù)庫(kù)都增加了人工智能相關(guān)的功能。lakehouses（數(shù)據(jù)湖倉(cāng)）承諾可以將運(yùn)營(yíng)數(shù)據(jù)和分析結(jié)合在一起，而不會(huì)影響生產(chǎn)工作負(fù)載的SLAs/Service - Level Agreements（服務(wù)級(jí)別協(xié)議）?；蛘吣憧梢赃M(jìn)一步使用像Azure Fabric這樣的數(shù)據(jù)平臺(tái)，它引入流數(shù)據(jù)和時(shí)間序列數(shù)據(jù)以用于人工智能應(yīng)用程序。
如果你已經(jīng)嘗試過(guò)不同的方法，你可能需要重新構(gòu)建數(shù)據(jù)層，以擺脫碎片化微服務(wù)的運(yùn)營(yíng)混亂，在這種情況下，不同的向量存儲(chǔ)、圖數(shù)據(jù)庫(kù)和文檔孤島之間的每一次數(shù)據(jù)交接都會(huì)引入延遲和治理差距。太多的故障點(diǎn)使得很難提供高可用性保證。
云人工智能數(shù)據(jù)庫(kù)平臺(tái)SingleStore的首席產(chǎn)品和技術(shù)官Nadeem Asghar（納迪姆·阿斯加爾）說(shuō)：“傳統(tǒng)的數(shù)據(jù)庫(kù)、管道和定制向量存儲(chǔ)的拼湊根本無(wú)法跟上人工智能對(duì)延遲、治理和規(guī)模的要求。統(tǒng)一的智能平面將取代如今碎片化的堆棧，將數(shù)據(jù)、計(jì)算和推理整合到一個(gè)單一的實(shí)時(shí)系統(tǒng)中。”
圖數(shù)據(jù)庫(kù)提供商Memgraph的首席執(zhí)行官Dominik Tomicevic（多米尼克·托米切維奇）建議，將構(gòu)成智能層的模型和代理與知識(shí)層分開(kāi)，在知識(shí)層中，事實(shí)、數(shù)據(jù)和信息存在，并且需要在各個(gè)區(qū)域之間進(jìn)行同步或近同步復(fù)制。
盡管人工智能基礎(chǔ)設(shè)施意味著要處理數(shù)據(jù)和網(wǎng)絡(luò)密集型的分布式系統(tǒng)，但他認(rèn)為這是一個(gè)可以解決的工程問(wèn)題。“一個(gè)具有彈性的人工智能堆棧始于一個(gè)強(qiáng)類(lèi)型的知識(shí)圖譜或GraphRAG存儲(chǔ)，它可以像任何其他關(guān)鍵任務(wù)數(shù)據(jù)庫(kù)一樣進(jìn)行集群、復(fù)制、備份、監(jiān)控和訪問(wèn)控制，”他說(shuō)。
這為你提供了分別擴(kuò)展搜索和數(shù)據(jù)節(jié)點(diǎn)的靈活性，甚至可以在未來(lái)更改模型和供應(yīng)商。這也意味著安全性和彈性是相輔相成的。
“在圖級(jí)別進(jìn)行細(xì)粒度的訪問(wèn)控制意味著檢索層永遠(yuǎn)不會(huì)泄露底層數(shù)據(jù)庫(kù)不允許的數(shù)據(jù)，即使LLM（大語(yǔ)言模型）對(duì)此感到好奇，”他補(bǔ)充說(shuō)，“在此基礎(chǔ)上，你還專(zhuān)門(mén)為人工智能制定可觀測(cè)性和服務(wù)級(jí)別目標(biāo)，比如GraphRAG查詢的延遲和錯(cuò)誤預(yù)算、檢索結(jié)果的質(zhì)量指標(biāo)以及模型調(diào)用的成本預(yù)算。”
四、建立平臺(tái)
從原型到能夠?qū)崿F(xiàn)人工智能價(jià)值的生產(chǎn)部署的壓力意味著單個(gè)項(xiàng)目需要有可遵循的政策和最佳實(shí)踐，而不是必須自己做出所有正確的決策，這樣他們就可以專(zhuān)注于選擇模型等技術(shù)問(wèn)題，而不是構(gòu)建基礎(chǔ)設(shè)施。
如果這聽(tīng)起來(lái)像是平臺(tái)工程的原則，那是因?yàn)檫@樣你才能使人工智能成為一種能力，而不是一系列實(shí)驗(yàn)。IDC的Saroff（薩羅夫）認(rèn)為，你已經(jīng)完成的統(tǒng)一平臺(tái)工作流程為你提供了流程、API、數(shù)據(jù)和技術(shù)的支柱。你不是一遍又一遍地解決同樣的問(wèn)題，而是交付包括GPU和加速器、多種計(jì)算類(lèi)型、模型的可觀測(cè)性、API調(diào)用和應(yīng)用程序，以及成本管理和治理的基礎(chǔ)設(shè)施。
所有這些系統(tǒng)都需要將數(shù)據(jù)輸入到具有近實(shí)時(shí)反饋的可觀測(cè)性和優(yōu)化工具中。你不能等到收到每月的云賬單時(shí)才發(fā)現(xiàn)已經(jīng)超出預(yù)算，或者等到出現(xiàn)停機(jī)時(shí)才意識(shí)到依賴的API返回錯(cuò)誤并且需要多次重試。API管理是跟蹤使用情況和優(yōu)化成本的關(guān)鍵。
而且你需要所有這些與現(xiàn)有的基礎(chǔ)設(shè)施和工作流程集成。Domino Data Lab的現(xiàn)場(chǎng)首席數(shù)據(jù)科學(xué)家Jarrod Vawdrey（賈羅德·沃德雷）認(rèn)為：“每家公司都有同樣的問(wèn)題。你需要人工智能來(lái)競(jìng)爭(zhēng)，但你所有的實(shí)際業(yè)務(wù)都在早于iPhone出現(xiàn)的傳統(tǒng)基礎(chǔ)設(shè)施和軟件上運(yùn)行。”
他將前置部署工程師定義為在期望的業(yè)務(wù)成果、傳統(tǒng)系統(tǒng)和現(xiàn)代人工智能能力之間應(yīng)對(duì)復(fù)雜性的“翻譯者”。“他們可以駕馭大型語(yǔ)言模型，并將其與20年來(lái)沒(méi)有人想碰的ERP系統(tǒng)集成。”
集成將是新的，但基本原則不是。技術(shù)研究和咨詢公司CCS Insight的企業(yè)研究主管Bola Rotibi（博拉·羅蒂比）表示，正確地進(jìn)行IT工作才能讓你正確地進(jìn)行人工智能工作。
好消息是，你可能已經(jīng)完成了一些繁重的工作，例如，為云使用精心設(shè)計(jì)的框架，因?yàn)槿斯ぶ悄軕?yīng)用程序?qū)⒗^承這種冗余、異常處理和混沌工程。“如果你的架構(gòu)是為彈性而構(gòu)建的，那么很可能你已經(jīng)開(kāi)始考慮支持人工智能所需的所有事情，”她說(shuō)。
當(dāng)然，所有這一切都將花費(fèi)資金。IDC預(yù)測(cè)，到2027年，組織將意識(shí)到他們低估了人工智能基礎(chǔ)設(shè)施成本近三分之一，并將開(kāi)始對(duì)其應(yīng)用FinOps（是一種將財(cái)務(wù)管理原則和實(shí)踐應(yīng)用于云計(jì)算和其他技術(shù)服務(wù)的方法，旨在優(yōu)化成本、提高效率和實(shí)現(xiàn)業(yè)務(wù)價(jià)值）。
但Rotibi（羅蒂比）建議，真正的彈性依賴于理解業(yè)務(wù)和運(yùn)營(yíng)背景，從而創(chuàng)造一個(gè)更綜合、協(xié)作的環(huán)境。雖然首席信息官們通常難以證明基礎(chǔ)設(shè)施投資的合理性，但將其與提供可靠和安全的人工智能聯(lián)系起來(lái)，使IT能夠繼續(xù)提供與業(yè)務(wù)優(yōu)先級(jí)一致的價(jià)值，而不是被視為成本中心。
作者：Mary Branscombe（瑪麗·布蘭斯科姆）
Mary Branscombe（瑪麗·布蘭斯科姆）是一名自由記者，三十多年來(lái)一直報(bào)道科技領(lǐng)域的新聞，撰寫(xiě)的內(nèi)容涵蓋編程語(yǔ)言、早期版本的Windows和Office辦公軟件、網(wǎng)絡(luò)的興起，以及消費(fèi)電子產(chǎn)品和家庭娛樂(lè)等各個(gè)方面。
譯者：寶藍(lán)
