盡管許多公司報(bào)告稱從生成式AI中獲得了積極的ROI（投資回報(bào)率），但IT領(lǐng)導(dǎo)者并不總是清楚如何實(shí)際衡量這一回報(bào)率，而且絕大多數(shù)AI項(xiàng)目都以失敗告終。那么，真實(shí)情況究竟如何？哪些指標(biāo)對于評估AI項(xiàng)目的成功至關(guān)重要呢？
圖源：Underawesternsky - shutterstock.com
關(guān)于AI項(xiàng)目的失敗率很高的信息比比皆是，與此同時(shí)，同樣數(shù)量眾多的調(diào)查顯示，即便不是大多數(shù)，也有許多公司已經(jīng)從AI投資中獲得了積極的商業(yè)效益和ROI。
例如，IBM在5月份發(fā)布的一項(xiàng)針對2000名首席執(zhí)行官的全球研究表明，只有25%的AI項(xiàng)目實(shí)現(xiàn)了預(yù)期的投資回報(bào)率，只有16%在企業(yè)范圍內(nèi)得到了推廣。另一項(xiàng)由Wakefield Research（韋克菲爾德研究公司）代表Informatica進(jìn)行的研究發(fā)現(xiàn)，在600名企業(yè)領(lǐng)導(dǎo)者中，67%的人表示他們甚至無法將一半的生成式AI試點(diǎn)項(xiàng)目成功轉(zhuǎn)化為實(shí)際生產(chǎn)應(yīng)用，97%的人表示他們在展示試點(diǎn)項(xiàng)目的商業(yè)價(jià)值方面遇到了困難。但其他調(diào)查結(jié)果似乎恰恰相反。
4月份，Enterprise Strategy Group對1900名企業(yè)和IT領(lǐng)導(dǎo)者進(jìn)行了調(diào)查，在那些部署了AI解決方案的受訪者中，92%的人表示他們的投資已經(jīng)獲得了回報(bào)。在1200多名對生成式AI項(xiàng)目的投資回報(bào)率進(jìn)行了量化的受訪者中，通過增加收入、降低成本或兩者兼而有之，平均回報(bào)率達(dá)到了41%。
還有一些調(diào)查同時(shí)呈現(xiàn)了這兩種情況。2月份，IDC代表聯(lián)想對近3000名IT和企業(yè)決策者進(jìn)行的一項(xiàng)調(diào)查顯示，68%的受訪者表示他們的AI項(xiàng)目達(dá)到了預(yù)期，另外26%的人表示超出了預(yù)期。但在33個(gè)AI項(xiàng)目中，只有4個(gè)進(jìn)入了實(shí)際生產(chǎn)階段，失敗率高達(dá)88%。
那么，實(shí)際情況到底是怎樣的呢？問題在于我們?nèi)绾魏饬?/span>AI項(xiàng)目的成功或失敗。由于AI正迅速成為CIO們的首要任務(wù)（如果目前還不是的話），對于CIO來說，至關(guān)重要的是要明白價(jià)值所在、如何衡量價(jià)值，以及哪些指標(biāo)對公司具有實(shí)際意義。在業(yè)務(wù)轉(zhuǎn)型方面，數(shù)字并不總是起決定性作用。
一、試點(diǎn)項(xiàng)目注定會失敗
讓我們先從那些引人注目的數(shù)據(jù)說起，即大型AI項(xiàng)目往往以失敗告終。這似乎意味著這是一件壞事。但POC（概念驗(yàn)證）和試點(diǎn)項(xiàng)目并非每次都要成功。它們的目標(biāo)是剔除那些最沒有潛力的想法，以便公司能夠?qū)Ｗ⒂谧钣星熬暗捻?xiàng)目。高失敗率意味著公司在進(jìn)行大量實(shí)驗(yàn)，嘗試各種不同的可能性，因此失敗率高反而是一件好事。
早期階段失敗的項(xiàng)目越多，當(dāng)項(xiàng)目真正進(jìn)入全面生產(chǎn)階段時(shí)，就越有可能帶來積極的商業(yè)價(jià)值。而且公司在特定項(xiàng)目上取得的成功越多，就越有可能開展更多實(shí)驗(yàn)，從而發(fā)現(xiàn)更多創(chuàng)造價(jià)值的機(jī)會。
事實(shí)上，如果一家公司的所有POC和試點(diǎn)項(xiàng)目都進(jìn)入生產(chǎn)階段，這可能僅僅意味著該公司在AI創(chuàng)意方面缺乏足夠的創(chuàng)造力、創(chuàng)新性或?qū)嶒?yàn)精神。無論董事會、其他高級管理人員、業(yè)務(wù)部門領(lǐng)導(dǎo)、員工、合作伙伴或客戶施加多大壓力，僅僅關(guān)注進(jìn)入生產(chǎn)階段的項(xiàng)目數(shù)量并不是衡量成功的好指標(biāo)。
因此，大多數(shù)試點(diǎn)項(xiàng)目失敗，而公司卻報(bào)告稱獲得了積極的ROI，這并不矛盾。這不是問題，而是一種特點(diǎn)。目標(biāo)是讓正確的AI項(xiàng)目投入生產(chǎn)，而不是數(shù)量最多的。醫(yī)療運(yùn)營公司UST Healthproof的首席AI架構(gòu)師Rosha Pokharel（羅莎·波克拉雷爾）表示，公司可能犯的最大錯誤就是跳過試點(diǎn)項(xiàng)目，直接進(jìn)行全面部署，或者沒有充分審查概念驗(yàn)證的結(jié)果。
她說：“POC通常只在幾百個(gè)數(shù)據(jù)點(diǎn)上進(jìn)行測試。但當(dāng)我們將其擴(kuò)展到實(shí)際生產(chǎn)時(shí)，我們需要證明它在數(shù)百萬個(gè)數(shù)據(jù)點(diǎn)上確實(shí)有效，并能夠達(dá)到符合商業(yè)標(biāo)準(zhǔn)和用戶要求的準(zhǔn)確程度。”
如果這個(gè)數(shù)據(jù)問題沒有得到解決，項(xiàng)目就會失敗，公司在擴(kuò)大項(xiàng)目規(guī)模上投入的資金就會全部浪費(fèi)。同樣，如AI設(shè)計(jì)師在POC階段沒有充分考慮用戶需求，在大規(guī)模推出后卻無人使用，這也將帶來巨大的成本。
她說，公司還需要謹(jǐn)慎選擇衡量ROI的起點(diǎn)?！拔覀儾粦?yīng)該將概念驗(yàn)證階段的投資計(jì)算在內(nèi)，”她說，“POC階段不是計(jì)算ROI的地方。這是快速試錯的階段。我們想要了解什么是可行的、可用的、有價(jià)值的，以及什么能夠規(guī)模化。這就是概念驗(yàn)證的目標(biāo)，其預(yù)算來自研發(fā)部門或創(chuàng)新實(shí)驗(yàn)室。”
她說，至少在她工作過的公司都是這樣做的。但她并不是唯一相信快速實(shí)驗(yàn)并盡早止損的人。
“我們的理念是‘快速試錯’，”事件響應(yīng)公司PagerDuty的首席信息官Eric Johnson（埃里克·約翰遜）說。該公司已將生成式AI和智能體應(yīng)用于內(nèi)部運(yùn)營以及產(chǎn)品和服務(wù)中?！拔覀儐禹?xiàng)目，如果效果良好——很好，那就繼續(xù)推進(jìn)?！?/span>
但也有一些想法行不通。“很多時(shí)候是因?yàn)檫x擇了不恰當(dāng)?shù)挠美?，或者我們沒有充分理解構(gòu)建某個(gè)東西所需的工作量，又或者它沒有產(chǎn)生巨大的影響?！?/span>
二、自主構(gòu)建還是購買
為了降低試點(diǎn)項(xiàng)目的成本，PagerDuty決定不從頭開發(fā)技術(shù)。實(shí)際上，商業(yè)解決方案通常無需前期成本，還經(jīng)常提供免費(fèi)試用?；蛘呙赓M(fèi)試用的機(jī)會是可以協(xié)商的。
Johnson（約翰遜）說：“如果我們想啟動一個(gè)新的智能體，我們會說在它證明自身價(jià)值之前不會付費(fèi)。而且很多供應(yīng)商都愿意進(jìn)行這樣的對話，因?yàn)樗麄冎廊绻麩o法證明其價(jià)值，你就不會續(xù)簽合同。所以他們希望確保你能獲得預(yù)期的價(jià)值?！?/span>
另一家沒有從頭開發(fā)，而是從商業(yè)產(chǎn)品中立即看到價(jià)值的公司是托管服務(wù)公司Flexential?！拔沂褂玫氖欠衔覀?/span>AI政策的現(xiàn)成服務(wù)，這意味著它們不會使用公開模型進(jìn)行訓(xùn)練，”該公司的首席運(yùn)營官Ryan Mallory（瑞安·馬洛里）說。
此外，使用現(xiàn)有產(chǎn)品中的AI功能（這些功能是成熟工作流程的一部分）更容易計(jì)算投資回報(bào)率，因?yàn)橐呀?jīng)有一個(gè)現(xiàn)有的基線可供衡量，尤其是在客戶支持或銷售方面。
“我們所做的一切都為我們帶來了直接的投資回報(bào)率，達(dá)到或超出了我們的預(yù)期，”Mallory（馬洛里）說。
特別是，大多數(shù)新的AI工具都是該公司現(xiàn)有技術(shù)堆棧的插件模塊。這使得它們非常易于部署和擴(kuò)展。“我們最終會開發(fā)自己的模型，”他補(bǔ)充道，“我們可能還需要18個(gè)月的時(shí)間。”
三、關(guān)鍵指標(biāo)：客戶
當(dāng)然，最好的投資回報(bào)率指標(biāo)是對公司利潤的影響。然而，當(dāng)同時(shí)存在多個(gè)AI項(xiàng)目，以及許多其他舉措，再加上更廣泛的商業(yè)環(huán)境和經(jīng)濟(jì)發(fā)生變化時(shí)，很難梳理出任何一個(gè)單獨(dú)項(xiàng)目的影響。
根據(jù)McKinsey（麥肯錫）3月份的一份報(bào)告，只有17%的公司表示其EBIDA（息稅折舊攤銷前利潤）的5%或更多可歸因于生成式AI，而超過80%的公司報(bào)告稱生成式AI沒有產(chǎn)生明顯影響。因此，公司不得不使用替代指標(biāo)。最好的指標(biāo)是什么呢？客戶滿意度、客戶留存率和口碑推薦。
例如，Flexential已經(jīng)在其多個(gè)銷售和客戶支持功能中部署了生成式AI。“這絕對關(guān)乎利潤，”Mallory（馬洛里）說，“我們看到客戶流失率有所下降。當(dāng)客戶滿意度提高，你能夠更快地滿足客戶的需求、要求或解決他們面臨的挑戰(zhàn)時(shí)，客戶離開的可能性就會降低。”
自該公司在其工作流程中增加AI驅(qū)動的客戶支持智能體以來，響應(yīng)時(shí)間平均下降了20%，解決工單所需的平均時(shí)間增加了25%。
他們并不是唯一一家在客戶滿意度方面發(fā)現(xiàn)AI價(jià)值的公司。根據(jù)IBM的調(diào)查，65%的首席執(zhí)行官表示，建立和維護(hù)客戶信任對其組織的成功影響大于任何特定的產(chǎn)品和服務(wù)功能。而且，在各個(gè)行業(yè)中，客戶忠誠度是推動ROI的關(guān)鍵差異化因素。
四、成本削減
但在短期內(nèi)，降低成本對許多公司來說是一個(gè)快速見效的成果，也是ESG調(diào)查中51%的早期采用者提到的首要任務(wù)。而且這一舉措正在發(fā)揮作用：88%的公司表示他們已經(jīng)看到了效率方面的顯著提升。
“目前一些客戶特別關(guān)注成本，因?yàn)楦鱾€(gè)行業(yè)都面臨著諸多壓力，”Boston Consulting Group（波士頓咨詢集團(tuán)）的高級合伙人David Martin（戴維·馬?。┱f?！岸宜麄冇胸?zé)任既要為股東創(chuàng)造短期價(jià)值，也要對未來進(jìn)行投資?！?/span>
他說，公司可以在許多領(lǐng)域提高生產(chǎn)力，并將其直接轉(zhuǎn)化為貨幣價(jià)值。
“在客戶服務(wù)這類領(lǐng)域，如果能夠減少轉(zhuǎn)接的電話數(shù)量，讓客服人員更快地完成工作，或者如果你是向第三方支付呼叫中心成本，那么這些都能立即轉(zhuǎn)化為實(shí)際的金錢節(jié)省，”Martin（馬?。┱f。
根據(jù)BCG的調(diào)查，47%的員工表示，借助生成式AI，他們每天能節(jié)省一個(gè)多小時(shí)的時(shí)間，且大多數(shù)人會利用這段時(shí)間完成更多工作。此外，44%的員工表示會將節(jié)省的時(shí)間用于處理戰(zhàn)略任務(wù)，34%的人會用于追求個(gè)人職業(yè)發(fā)展。Martin（馬?。┍硎?，許多公司同時(shí)實(shí)現(xiàn)了這兩方面的成果，在降低成本、提高生產(chǎn)力的同時(shí)，也在對未來進(jìn)行投資。“他們確實(shí)在認(rèn)真思考AI在企業(yè)中的意義?！?/span>
五、業(yè)務(wù)增長
公司通過削減成本所能獲得的價(jià)值是有限的。但如果公司能夠找到開拓新業(yè)務(wù)或進(jìn)入新市場的方法，那么潛在的收益幾乎是無限的。
在ESG調(diào)查中，公司采用生成式AI的第三大動機(jī)是提升創(chuàng)新成果。事實(shí)上，84%的公司表示AI已經(jīng)在加速他們的創(chuàng)新步伐。這可能會帶來新的業(yè)務(wù)機(jī)會，在某些情況下，即使是短期內(nèi)，這些機(jī)會也是可以量化的。例如，Flexential通過在公司網(wǎng)站上設(shè)置與特定類型內(nèi)容相關(guān)聯(lián)的AI聊天機(jī)器人，成功吸引了更多潛在客戶。
Mallory（馬洛里）說：“我們發(fā)現(xiàn)，為潛在客戶安排的會議數(shù)量增加了大約五倍。然后我們將其與銷售機(jī)會的渠道和成交率相關(guān)聯(lián)。所以我們有非常具體的數(shù)據(jù)，而且這對我們的團(tuán)隊(duì)非常有效。”
Flexential還迅速為其銷售團(tuán)隊(duì)推出了AI銷售支持功能，銷售人員現(xiàn)在可以獲取會議記錄、營收情報(bào)以及開展新業(yè)務(wù)所需的其他資源。
“當(dāng)銷售人員掌握了正確的信息時(shí)，他們的工作效率就會更高，”他說。而且當(dāng)銷售人員能夠借助AI更好地預(yù)測如何為客戶提供服務(wù)時(shí)，成交率也會更高。
KPMG（畢馬威）負(fù)責(zé)美國客戶與市場的全國管理負(fù)責(zé)人Todd Lohr（托德·洛爾）表示，總體而言，更多公司應(yīng)該關(guān)注潛在的增長，以及AI驅(qū)動的轉(zhuǎn)型可能帶來的風(fēng)險(xiǎn)。
“AI正在沖擊你的商業(yè)模式，”他說，“它正在顛覆你的業(yè)務(wù)以及行業(yè)的進(jìn)入壁壘。從長期來看，為了確保組織的可持續(xù)性、成功和可行性，你應(yīng)該更多地從商業(yè)模式的角度去思考這個(gè)問題，而不僅僅局限于運(yùn)營模式。”
根據(jù)IBM的調(diào)查，68%的首席執(zhí)行官表示AI正在改變他們認(rèn)為的核心業(yè)務(wù)領(lǐng)域。這些改變并不一定能立即體現(xiàn)在投資回報(bào)率上，但隨著商業(yè)模式的變化，它們對公司的長期生存至關(guān)重要。而且很多這樣的改變都是由AI引發(fā)的。因此，61%的首席執(zhí)行官表示競爭優(yōu)勢取決于誰擁有最先進(jìn)的生成式AI，也就不足為奇了。
Lohr（洛爾）說：“我們的客戶不再問AI是否會改變他們的業(yè)務(wù)。他們現(xiàn)在問的是它能多快部署到位。這不僅僅關(guān)乎技術(shù)的采用，更是關(guān)乎根本性的業(yè)務(wù)轉(zhuǎn)型，這需要重新構(gòu)想工作的完成方式以及衡量方式。”
六、擁抱不確定性
KeyBanc Capital Markets的股票研究分析師Jackson Ader（杰克遜·阿德）表示，事實(shí)上，CIO們往往并不清楚他們的AI項(xiàng)目的ROI是多少。在他對CIO的研究中，他發(fā)現(xiàn)大家對ROI的預(yù)期各不相同。
他說：“我不認(rèn)為CIO們在人工智能上投入數(shù)百萬美元，卻只期望獲得個(gè)位數(shù)的ROI。我認(rèn)為更有可能的情況是，我們?nèi)蕴幱趯?shí)驗(yàn)階段?！?/span>
作者：Maria Korolov（瑪麗亞·科洛洛夫）
Maria Korolov（瑪麗亞·科洛洛夫）是一位報(bào)道AI和網(wǎng)絡(luò)安全的獲獎科技記者。她還寫科幻小說，編輯一本科幻和幻想雜志，并主持一個(gè)YouTube節(jié)目。
睿觀：
當(dāng)前關(guān)于AI（人工智能）項(xiàng)目的評估存在一個(gè)明顯的悖論：一方面，調(diào)查顯示絕大多數(shù)試點(diǎn)項(xiàng)目（POC）以失敗告終（失敗率可高達(dá)88%）；另一方面，許多公司又聲稱從AI投資中獲得了積極的投資回報(bào)率（ROI）。文章解釋，這種看似矛盾的現(xiàn)象源于對“成功”的定義不清。試點(diǎn)項(xiàng)目的高失敗率是“快速試錯”以篩選創(chuàng)意的正常且健康的過程，其成本應(yīng)被視為研發(fā)投入，而非用于計(jì)算最終的ROI。因此，衡量AI成功的真正指標(biāo)不應(yīng)是POC的存活率，而應(yīng)轉(zhuǎn)向與業(yè)務(wù)成果緊密相關(guān)的指標(biāo)，其中客戶滿意度與留存率是最佳的替代指標(biāo)，其次是可量化的成本削減和業(yè)務(wù)增長（如銷售線索增加）。CIO（首席信息官）應(yīng)擁抱這種不確定性，將關(guān)注點(diǎn)從“有多少項(xiàng)目投產(chǎn)”轉(zhuǎn)向“投產(chǎn)的項(xiàng)目帶來了多少價(jià)值”，并通過客戶、成本和增長這三大維度，來清晰地衡量并證明AI對企業(yè)核心商業(yè)模式的長期、根本性貢獻(xiàn)。
在AI的創(chuàng)新賽場上，試點(diǎn)項(xiàng)目的高失敗率，不是通往成功的“絆腳石”，而是篩選出冠軍選手的“預(yù)選賽”。
