人工智能的“hallucinations（幻覺，指模型生成不基于實際數(shù)據(jù)或與現(xiàn)實顯著不同的內(nèi)容的現(xiàn)象。）”帶來了重大的商業(yè)風(fēng)險，但新型的護(hù)欄可以防止它們造成嚴(yán)重?fù)p害。減輕聊天機(jī)器人錯誤風(fēng)險的最佳方法是使用常識。人工智能可能會很棒，但它需要在您的參與規(guī)則下運行，您想要定義它可以做的事情，也要定義它不能做的事情。
圖源：ISTOCK?/ TIPPAPATT
根據(jù)一份VentureBeat（是報道變革性技術(shù)的領(lǐng)導(dǎo)者。通過行業(yè)領(lǐng)先的人工智能和游戲報道，幫助商業(yè)領(lǐng)袖做出更明智的決策。）的報告顯示ChatGPT和其他生成式人工智能工具發(fā)布不到一年后，75%的受調(diào)查公司已經(jīng)將它們投入使用。但是，隨著新一代人工智能聊天機(jī)器人數(shù)量的增長，它們偶爾出現(xiàn)故障的風(fēng)險也在增加——荒謬或不準(zhǔn)確的輸出或答案，這些輸出或答案很難從工具所訓(xùn)練的大型語言模型（LLM）中篩選出來。
用人工智能的行話來說，它們被稱為hallucinations（幻覺）。如果您在家里嘗試生成式人工智能，它們不會帶來大問題，但在向大量客戶和員工部署新聊天機(jī)器人的企業(yè)組織中，只有一個人工智能錯誤就可以讓公司被告上法庭。
去年春天，一名法官制裁了一家律師事務(wù)所，因為該律師事務(wù)所在一個聊天機(jī)器人起草的法律簡報中用虛假的引用和引文引用了司法意見。該公司承認(rèn)，其“因錯誤地相信僅憑一小部分技術(shù)就可以完成整個工作”。
當(dāng)用于訓(xùn)練LLM（大型語言模型）的數(shù)據(jù)質(zhì)量較差或不完整時，就會出現(xiàn)幻覺。大多數(shù)生成型人工智能平臺的發(fā)生率在3%到8%之間?！?/span>聊天機(jī)器人幾乎就像有機(jī)體，它們不斷迭代，并吸收新的數(shù)據(jù)，”Freshworks（Freshworks制作易于使用的商業(yè)軟件。解決多種復(fù)雜業(yè)務(wù)問題的現(xiàn)代SaaS解決方案的領(lǐng)先提供商。）的chief security architect（首席安全架構(gòu)師）Steven Smith（史蒂文·史密斯）說，“您投入什么就得到什么?！?/span>
1.聊天機(jī)器人的失誤
使用客戶服務(wù)聊天機(jī)器人，發(fā)布不正確的建議或信息可能會有損本部門關(guān)鍵指標(biāo)，如客戶滿意度；它們還可能在醫(yī)療保健或金融等高度復(fù)雜(和受監(jiān)管)的行業(yè)造成混亂和潛在傷害。
在IT組織中，生成式人工智能故障會以其他方式造成嚴(yán)重破壞。聊天機(jī)器人可能會錯誤地分配服務(wù)票據(jù)，不準(zhǔn)確地描述問題，或擾亂工作流程，并導(dǎo)致重大的系統(tǒng)性問題——導(dǎo)致數(shù)據(jù)泄露或重要資源分配不當(dāng)——然后需要人工干預(yù)。
對于工程師來說，軟件開發(fā)中使用的人工智能生成的代碼可能包含安全漏洞或培訓(xùn)期間攝入的知識產(chǎn)權(quán)。人工智能系統(tǒng)還可以忽略只有開發(fā)者才能發(fā)現(xiàn)并解決的復(fù)雜錯誤或安全問題。
Smith（史密斯）說：“軟件輔助很棒，但您想要閱讀和理解它們給您的東西。如果您不知道代碼在做什么，因為你相信它來自專家而盲目地將代碼投入生產(chǎn)，并不比從StackExchange復(fù)制代碼更安全。StackExchange是一個問答網(wǎng)站，曾經(jīng)受到程序員搜索特定代碼片段的青睞。”
2.最小化風(fēng)險
許多公司都開始投資于降低風(fēng)險。專家們認(rèn)為，以下是一些最有效的策略。
部署內(nèi)容篩選器。各種技術(shù)上的或基于政策上的護(hù)欄可以防止不適當(dāng)?shù)幕蛴泻Φ膬?nèi)容。例如，內(nèi)容過濾器可以拒絕回答有關(guān)敏感問題或敏感主題的問題。在客戶服務(wù)場景中，如果聊天機(jī)器人感到困惑或無法找到準(zhǔn)確的答案，它應(yīng)該迅速將詢問交給人工操作員。
不斷升級數(shù)據(jù)質(zhì)量。在培訓(xùn)LLM（大型語言模型）時，IT團(tuán)隊?wèi)?yīng)該驗證數(shù)據(jù)，以確保它是高質(zhì)量的、具備相關(guān)性和全面性。應(yīng)定期審查訓(xùn)練數(shù)據(jù)，以防止“model drift（模型恒定偏移，是指在機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)領(lǐng)域中,訓(xùn)練好的模型在面對新的數(shù)據(jù)時逐漸失效或性能下降的現(xiàn)象。）”或由于基礎(chǔ)數(shù)據(jù)模型隨時間變化而導(dǎo)致的性能下降。
安全護(hù)欄。限制聊天機(jī)器人連接到第三方應(yīng)用程序和服務(wù)的能力，消除了產(chǎn)生誤導(dǎo)性、不準(zhǔn)確或潛在破壞性數(shù)據(jù)的機(jī)會。以這種方式對聊天機(jī)器人進(jìn)行沙箱的附帶好處是提高性能(減少依賴性)，并增強(qiáng)那些至關(guān)重要的行業(yè)的合規(guī)性。
幻覺在今天可能是一個問題，但解決這個問題的研究正在進(jìn)行中。為了提高準(zhǔn)確性和可靠性，從建立更大的模型到讓LLM（大型語言模型）自己進(jìn)行事實核查，一切都在探索中。
Smith（史密斯）說，最終，減輕聊天機(jī)器人錯誤風(fēng)險的最佳方法是使用常識。“人工智能可能會很棒，但它需要在您的參與規(guī)則下運行，”Smith（史密斯）說?！?/span>您想要定義它可以做的事情，也要定義它不能做的事情，并確保它在這些特定參數(shù)內(nèi)運行。”
作者：Paul Gillin（保爾·吉林）
福建CIO網(wǎng)注：根據(jù)愛分析報告，AI Agent 場景價值大致分為體驗類、降本類、增收類和變革類。變革類是指產(chǎn)生新的商業(yè)模式并帶來新的業(yè)務(wù)收益，增收類則指增加現(xiàn)有收益，體驗類和降本類則較為明確易懂。需要著重指出的是，盡管降低成本并增加收入以及完成變革是更大的價值所在，但在當(dāng)前階段，對于許多公司，例如金融行業(yè)的銀行、保險和證券以及消費類企業(yè)，無論他們是品牌商還是零售商，只要他們面向C端用戶，并且存在線上化業(yè)務(wù)，那么體驗類價值的比重就會相當(dāng)之高。
