數(shù)據(jù)問題仍然是人工智能項(xiàng)目未能達(dá)到預(yù)期的主要原因之一，但生成式人工智能的出現(xiàn)增加了一些新的轉(zhuǎn)折。本文講述了生成式人工智能項(xiàng)目失敗的4個原因。
圖源：GETTY IMAGES
今年6月，新西蘭連鎖超市Pak’nSave（是新西蘭倉儲式連鎖超市，它的東家是新西蘭企業(yè)巨頭Foodstuff。Pak’nSave成立于1985年，是新西蘭三大連鎖超市中最晚成立的一個，另外兩個是Countdown和New World。）發(fā)布了Savey Meal-Bot（省錢膳食機(jī)器人，新西蘭連鎖超市Pak’nSave此前借助 OpenAI 的 Chat GPT 3.5，推出了一款 AI 膳食工具。），這是一個生成式人工智能工具，用戶可以上傳他們擁有的食材列表，然后機(jī)器人會想出可以嘗試的食譜。它被宣傳是為購物者省錢的一種方式，因?yàn)樾挛魈m人每年會扔掉大約1500新西蘭元的食物。
盡管有警告稱，用戶必須超過18歲，但沒有人審查食譜，只有食物名稱應(yīng)該上傳至聊天機(jī)器人，人們開始惡作劇了，到8月，該公司因其生產(chǎn)的各種錯誤在全球瘋傳。例如，Meal-Bot（省錢膳食機(jī)器人）曾建議一位用戶將“浸泡漂白劑的大米驚喜”作為“令人驚訝的烹飪冒險”。這已經(jīng)夠糟糕的了，但它的“芳香水混合物”被發(fā)現(xiàn)是致命氯氣的配方，盡管Meal-Bot（省錢膳食機(jī)器人）將其描述為“解渴和提神的完美無酒精飲料。”
沒有任何關(guān)于顧客因食用這些食譜而中毒的報道，此后該工具進(jìn)行了更新，用戶只能從有限的完全可食用的食材中進(jìn)行選擇。但它仍然創(chuàng)造了不討人喜歡的組合。
另一起備受矚目的公關(guān)災(zāi)難發(fā)生在洛杉磯Levidow, Levidow & Oberman, P.C.,（Levidow， Levidow & Oberman律師事務(wù)所）身上。他們的兩名律師在使用ChatGPT（Chat Generative Pre-trained Transformer，是人工智能技術(shù)驅(qū)動的自然語言處理工具，它能夠通過理解和學(xué)習(xí)人類的語言來進(jìn)行對話，還能根據(jù)聊天的上下文進(jìn)行互動，真正像人類一樣來聊天交流，甚至能完成撰寫郵件、視頻腳本、文案、翻譯、代碼，寫論文等任務(wù)）撰寫論點(diǎn)后，提交了充滿虛假引用和引文的法律意見書。
一名法官在6月份的一項(xiàng)裁決中表示，該公司及其律師“在提交不存在的司法意見時放棄了他們的責(zé)任，然后在司法命令質(zhì)疑這些虛假意見的存在后繼續(xù)支持這些虛假意見”，該裁決還征收了5000美元的罰款。
PricewaterhouseCoopers（普華永道咨詢公司，國際領(lǐng)先的管理咨詢公司之一。 2002年7月30日，普華永道咨詢公司被IBM以35億美元的現(xiàn)金和股票形式收購。）最近一直在與許多公司合作，幫助他們推出生成式人工智能項(xiàng)目。但是，盡管這項(xiàng)技術(shù)被大肆宣傳，但并不是一切都順利。
“生成式人工智能的影響比傳統(tǒng)人工智能或機(jī)器學(xué)習(xí)更深遠(yuǎn)，因此災(zāi)難的機(jī)率陡增。”PricewaterhouseCoopers（普華永道）生成式人工智能戰(zhàn)略的合作伙伴和領(lǐng)導(dǎo)者Bret Greenstein（布雷特·格林斯坦）說。
一、缺乏治理
生成式人工智能可能出現(xiàn)的一個問題是，項(xiàng)目推出時缺乏足夠的治理或監(jiān)督。雖然Pak'nSave的Savey Meal-Bot（省錢膳食機(jī)器人）就是一個公開的例子，但更多的公司內(nèi)部也在犯類似的錯誤。
例如，Greenstein（格林斯坦）說，他一直在與一家中型金融機(jī)構(gòu)合作，該機(jī)構(gòu)最近在5個月前使用商業(yè)人工智能工具的私有云實(shí)例實(shí)現(xiàn)了生成式人工智能。
“然后他們打開了API（Application Programming Interface，應(yīng)用程序編程接口，是一些預(yù)先定義的函數(shù)，目的是提供應(yīng)用程序與開發(fā)人員基于某軟件或硬件的以訪問一組例程的能力，而又無需訪問源碼，或理解內(nèi)部工作機(jī)制的細(xì)節(jié)。），讓他們的業(yè)務(wù)用戶構(gòu)建自己的應(yīng)用程序，”他說。他們首先建立的是人力資源聊天機(jī)器人，它提供了福利建議，但可能不必承擔(dān)巨大的責(zé)任。例如，如果人力資源工具推薦了錯誤的選項(xiàng)，員工可能會錯過整整一年的福利窗口。人們會感到不安，但他們認(rèn)可其權(quán)威性，認(rèn)為實(shí)際上是準(zhǔn)確的。
Greenstein（格林斯坦）不建議公司開放API（應(yīng)用程序編程接口），只讓人們構(gòu)建他們想要的東西。必須有一個深思熟慮的、有紀(jì)律的方法來進(jìn)行一些治理。他補(bǔ)充道：“有一些有紀(jì)律的方法可以構(gòu)建生成式人工智能，以評估準(zhǔn)確性、管理偏見和處理幻覺——你需要一個人參與進(jìn)來試驗(yàn)，以確保其推薦正確?！?/p>
該公司讓聊天機(jī)器人運(yùn)行了一個月，但反饋并不好，但幸運(yùn)的是，它被提前發(fā)現(xiàn)，不會嚴(yán)重影響員工，但它確實(shí)動搖了人們對領(lǐng)導(dǎo)層的信心。另一方面，如果該公司在生成式人工智能上矯枉過正并縮減規(guī)模，它可能會錯過那些競爭對手加入并走得更快的機(jī)會之窗。
事實(shí)上，根據(jù)AI Infrastructure Alliance/人工智能基礎(chǔ)設(shè)施聯(lián)盟(AIIA)7月份發(fā)布的一項(xiàng)針對大型企業(yè)1000多名高管的調(diào)查，54%的人表示，他們由于未能管理人工智能或ML(機(jī)器學(xué)習(xí)，Machine Learning，是研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。)應(yīng)用程序而遭受損失，63%的人說他們的損失為5000萬美元或更高。
二、不斷增加的成本
最受歡迎的生成式人工智能聊天機(jī)器人是免費(fèi)向公眾開放的。只需一點(diǎn)實(shí)驗(yàn)，就能便宜且容易地找到能夠提供商業(yè)利益的應(yīng)用程序，從而產(chǎn)生一種錯誤的價值感知。當(dāng)企業(yè)在嚴(yán)格控制的環(huán)境中建立試點(diǎn)項(xiàng)目時，也很容易低估當(dāng)項(xiàng)目被廣泛部署時將產(chǎn)生的成本。
SANS Institute（美國系統(tǒng)網(wǎng)絡(luò)安全協(xié)會，成立于1989年，是一個合作研究和教育組織。其項(xiàng)目目前已覆蓋全球165000多名安全專業(yè)人員。從審計(jì)員、網(wǎng)絡(luò)管理員到首席信息安全官，一系列人都在分享他們所學(xué)到的教訓(xùn)，并共同尋找應(yīng)對他們所面臨挑戰(zhàn)的解決方案。SANS的核心是從公司到大學(xué)的各種全球組織中的許多安全從業(yè)者，他們共同幫助整個信息安全社區(qū)。）的首席課程主任和教員Rob Lee（羅伯·李）說，當(dāng)公司在項(xiàng)目中使用外部供應(yīng)商時，情況也是如此，因?yàn)槟壳斑€沒有大規(guī)模部署生成式人工智能的經(jīng)驗(yàn)。
“他們還沒有經(jīng)驗(yàn)，”他說，“如果你以前這樣做過，并且能準(zhǔn)確預(yù)測成本，那么你現(xiàn)在的需求將很大?！?/p>
例如，如果人工智能是通過云部署的，那么每個API（應(yīng)用程序編程接口）調(diào)用都會加起來，使用情況將很難預(yù)測?！?span style="color: rgb(0, 176, 80);">你不能根據(jù)舊的系統(tǒng)來估計(jì)人類的行為，”他說?！?strong>沒有人知道生成式人工智能會產(chǎn)生怎樣的人類行為。”
他說，此外還有過渡性成本。例如，如果你需要買一所新房子，你就必須賣掉你現(xiàn)在的房子，但如果老房子不能像預(yù)期的那樣快賣出去，你可能不得不同時支付兩套房子的費(fèi)用。他說，這在IT領(lǐng)域也是如此?！叭绻^渡需要的時間比我們想象的更長，我們能負(fù)擔(dān)得起嗎？”對于生成式人工智能，由于技術(shù)如此新穎，沒有人能準(zhǔn)確預(yù)測。
“然后你就得到了數(shù)據(jù)集的大小，”他補(bǔ)充道，“我必須為存儲和對該存儲的調(diào)用付費(fèi)。對于某些應(yīng)用程序，您必須在全球范圍內(nèi)部署多個存儲以及備份?！?/p>
根據(jù)AIIA（人工智能基礎(chǔ)設(shè)施聯(lián)盟）的調(diào)查，成本是大型企業(yè)采用生成式人工智能的第二大障礙。
三、不現(xiàn)實(shí)的期望
由于圍繞生成式人工智能的炒作，一些商業(yè)領(lǐng)袖可以開始把它視為一顆靈丹妙藥。亞利桑那州的解決方案集成商Insight（是一家信息技術(shù)的硬件、軟件和服務(wù)產(chǎn)品的全球性的供應(yīng)商，主要是向企業(yè)和公共部門機(jī)構(gòu)供應(yīng)。公司由以下三個運(yùn)營部門部分組成，主要是由其相關(guān)區(qū)域北美、歐洲、亞太地區(qū)決定。該公司1991年于特拉華州成立，作為一個亞利桑那州公司的繼任者于1988年開始運(yùn)營。洞察企業(yè)擁有獨(dú)特的市場定位,可以獲得有利的市場份額,為客戶提供強(qiáng)大的價值。公司的產(chǎn)品實(shí)現(xiàn)和物流功能,管理工具和專業(yè)技術(shù)使得為客戶設(shè)計(jì)、部署和管理信息技術(shù)產(chǎn)品更容易，幫助他們的控制IT成本。）產(chǎn)品創(chuàng)新首席技術(shù)官Amol Ajgaonkar（阿莫爾·阿吉岡卡爾）說，所有關(guān)于人工智能復(fù)活的公開討論都沒有幫助。他說：“其中一些因素正在滲入到?jīng)Q策過程中?！?/p>
例如，今年夏天，一家總部位于美國西部的全球電子產(chǎn)品制造商和分銷商希望建立一個內(nèi)容生成系統(tǒng)，特別是為客戶創(chuàng)建價格文件。他說：“他們有8000多名面向客戶的銷售主管，他們管理著數(shù)萬個賬戶。產(chǎn)品和服務(wù)的定價是為新項(xiàng)目創(chuàng)建工作報表的永久需求。內(nèi)容生成是生成式人工智能的一個簡單用例。”
但該公司認(rèn)為，人工智能可以查看歷史數(shù)據(jù)，找到過去的相關(guān)例子，然后將其應(yīng)用于新的客戶請求。
Ajgaonkar（阿吉岡卡爾）說：“我們的期望是，生成式人工智能能夠解決這個問題。我給它一個歷史定價，它會看一看，然后告訴我類似的東西的定價是多少?！?/p>
不過，他說，試圖向公司解釋生成性人工智能的實(shí)際工作方式是一場持續(xù)的斗爭。
“他們讀到的所有結(jié)果都在反擊我們的假設(shè)，”他說，“他們說商業(yè)價值很大，大肆宣傳說這很容易，但事實(shí)并非如此。”
這種想法讓公司感到失望和項(xiàng)目失敗，甚至可能對人工智能的總體好處感到幻滅。
Ajgaonkar（阿吉岡卡爾）說，解決方案是將這個項(xiàng)目分解成幾個小的步驟，并分析完成每個步驟的最佳方式。通常，生成式人工智能并不太適合。例如，他說，使用傳統(tǒng)方法可以更有效地搜索歷史文檔以找到相關(guān)案例，盡管生成式人工智能擅長總結(jié)文檔。
同時，應(yīng)該應(yīng)用先進(jìn)分析和ML(機(jī)器學(xué)習(xí))模型來預(yù)測未來，以及如何將所有的部分組裝成一個單一的提案，最好用業(yè)務(wù)邏輯來處理，可以指定應(yīng)該包含哪些服務(wù)。還有數(shù)學(xué)計(jì)算，嘗試使用生成式人工智能來做簡單的數(shù)學(xué)計(jì)算不僅過于夸張，而且極其不準(zhǔn)確。
“我們可以寫一個插件來做計(jì)算，”Ajgaonkar（阿吉岡卡爾）說，“我們不依賴生成式人工智能來計(jì)算東西。”然后是時候組裝最終的文件了，有些部分來自法律團(tuán)隊(duì)?！斑@就是樣板式的東西，”他說，“有了執(zhí)行摘要，生成式人工智能就可以把它放進(jìn)去?！?/p>
他說，最終這家電子公司能夠得到一個解決方案，大大減少了撰寫工作報表所需的時間。但要達(dá)到這一點(diǎn)需要一些訓(xùn)練。如果沒有訓(xùn)練，這個項(xiàng)目會非常令人失望。
他補(bǔ)充說，公司經(jīng)常不明白的另一件事是，編寫生成式人工智能提示并不像向成年人類發(fā)出指令。
“這就像給我十幾歲的孩子們一些指導(dǎo)一樣，”Ajgaonkar（阿吉岡卡爾）說，“有時候你必須重復(fù)自己的觀點(diǎn)，這樣它才能堅(jiān)持下去。有時，人工智能會收聽，有時它不會聽從。這幾乎就像是一種不同的語言。當(dāng)你在操作某件事時，理解這些小事情是這個項(xiàng)目成功的重要組成部分?！?/p>
也有一些方法可以提高響應(yīng)的質(zhì)量，比如思維樹推理和類似的提示方法，但這些方法需要多個提示來細(xì)化響應(yīng)。
“如果你只是在做研究，這些都可以?！彼f，“但當(dāng)你實(shí)際上在生產(chǎn)時，你是在考慮成本。你輸入的每一個字都被計(jì)入你的配額。你消費(fèi)了多少代幣將決定該平臺的成本。”另外，回答每個問題都需要有時間。
他說：“對于每一個請求，如果你必須使用思維樹的方法并要求解釋，這將變得非常昂貴。如果給我一張空白支票，我會用不同的變體對相同的提示運(yùn)行一千次，以得到我想要的結(jié)果。但它所增加的價值值得嗎？這是構(gòu)建解決方案時必須達(dá)到的平衡。”
四、數(shù)據(jù)問題
Insight的杰出工程師Carm Taglienti（卡爾曼·塔利恩蒂）最近也遇到了一個項(xiàng)目，在這個項(xiàng)目中，不切實(shí)際的期望幾乎毀掉了一個人工智能項(xiàng)目。
“人工智能項(xiàng)目的失敗有99%是因?yàn)轭A(yù)期，”他說，“這不是技術(shù)的失敗，而是對人們相信技術(shù)能做什么的期望?！?/p>
在這個特殊的案例中，一家總部位于美國的大型芯片制造公司的客戶希望使用人工智能來解決其供應(yīng)鏈管理問題。該公司不僅希望人工智能能做它做不到的事情，還希望第一次嘗試就能奏效。但是，每次當(dāng)一個項(xiàng)目從一個階段轉(zhuǎn)移到另一個階段時，第一種方法很有可能不起作用，因此需要進(jìn)行調(diào)整。他說，其中的每一點(diǎn)都是一家公司可能放棄人工智能項(xiàng)目的機(jī)會。但在這個特殊的案例中，還有一個技術(shù)問題——缺乏良好的數(shù)據(jù)。
在過去，當(dāng)沒有特定的芯片或組件時，該公司會使用勞動密集型的手動流程來尋找替代品。
“但這對他們來說不夠敏捷，無法支持他們的業(yè)務(wù)，”他說。這一過程中的一些可以被決策樹和專家系統(tǒng)所取代，但這些都是脆弱的。如果行業(yè)發(fā)生任何變化，整個決策樹都需要更新。然而，使用人工智能需要大量干凈的數(shù)據(jù)。但是，對構(gòu)成訓(xùn)練數(shù)據(jù)的組件進(jìn)行詳盡的搜索是罕見的。
Taglienti（塔利恩蒂）說：“你不會每次都做競爭分析?！?strong>芯片制造商堅(jiān)持選擇首選的供應(yīng)商和頂級備份名單，很少做大規(guī)模的供應(yīng)商評審。
另一個問題是，當(dāng)數(shù)據(jù)可用時，它很難處理?！叭绻闶侵圃焐?，你就要制定規(guī)范，”他說，“但它不是一種你能很快吸收的形式?！?/p>
還有一些更微妙的問題，比如制造商的工廠在哪里，以及其及時交貨的聲譽(yù)。
Taglienti（塔利恩蒂）說：“如果他們是一家上市公司，我必須做一些事情，比如瀏覽網(wǎng)頁，查看他們的10-K（美國證券交易委員會/SEC要求上市公司必須每年提交的有關(guān)其財(cái)務(wù)表現(xiàn)與公司運(yùn)營的綜合性報告，具體來說包括公司歷史，組織架構(gòu)，財(cái)務(wù)狀況，每股收益，分支機(jī)構(gòu)，高管薪酬等信息。該10K報告所包含的內(nèi)容比常見公司年度報告要詳細(xì)得多。）。除了找到一個有效的部分之外，它還有很多東西。”他說，這種分析甚至在世界生成式人工智能出現(xiàn)之前就已經(jīng)可以自動化了，但這是一個比人們一開始時想象的要復(fù)雜得多的過程。這并不罕見。長期以來，缺乏可用數(shù)據(jù)一直是人工智能和ML項(xiàng)目的一個問題。同樣在AIIA（人工智能基礎(chǔ)設(shè)施聯(lián)盟）的調(diào)查中，數(shù)據(jù)問題對84%的部署生成式人工智能的公司來說是一個重大挑戰(zhàn)。例如，PwC（普華永道）的Greenstein（格林斯坦）最近與一家消費(fèi)者公司合作，該公司希望啟動一個自動化后臺處理的項(xiàng)目。
“他們已經(jīng)建立起了人工智能服務(wù)，”他說，“他們的云已經(jīng)建立。他們的員工已經(jīng)準(zhǔn)備好了。但他們并沒有預(yù)料到獲取這些數(shù)據(jù)會有多困難?！币粋€數(shù)據(jù)源需要API（應(yīng)用程序編程接口）許可證而該公司沒有，因此需要通過采購流程才能獲得這些許可證，這可能需要幾個月的時間。
他說：“在另一個系統(tǒng)中，各組織的訪問控制水平非常高。第三個系統(tǒng)是基于用戶的控制。對于生成式人工智能來說，他們必須調(diào)和所有這些，但他們不能很快做到?！?/p>
他說，從長遠(yuǎn)來看，該公司將獲得所有需要的數(shù)據(jù)，但他們可能會損失幾個月的時間。
Greenstein（格林斯坦）說：“在這種情況下，它們轉(zhuǎn)向了其他方案。但領(lǐng)導(dǎo)層失去了時間和熱情。所有對潛在的生產(chǎn)力提高感到興奮的人都感到沮喪，IT團(tuán)隊(duì)也沒有考慮數(shù)據(jù)問題，導(dǎo)致領(lǐng)導(dǎo)層對數(shù)據(jù)失去信心?！?/p>
他說，公司應(yīng)該優(yōu)先考慮潛在的人工智能方案相關(guān)因素中，首先是影響，其次是風(fēng)險，第三是數(shù)據(jù)：“我們有數(shù)據(jù)做這個用例嗎？我們有使用權(quán)限嗎？它可以訪問嗎？它足夠干凈有用嗎？”他問道，“如果我們無法通過任何一步，我們就不應(yīng)開始。應(yīng)當(dāng)去找另一個方案?！?/p>
作者：Maria Korolov（瑪麗亞·科洛洛夫）
