以下文章來源于CIOCDO?，作者CIO.com&睿信咨詢
Miso.ai（Miso Robotics是一家初創(chuàng)公司，專門為快餐店和快餐類廚房開發(fā)自動化產品。Miso AI是Miso基于云的同名平臺。）的聯合創(chuàng)始人Lucky Gunasekara（拉齊·古納塞卡拉）和Andy Hsieh（安迪·希塞爾）討論了如何超越RAG（Retrieval Augmented Generation，即檢索增強生成，是一種自然語言處理模型，旨在改進各種NLP任務的表現，包括問答、摘要生成等。）的基礎知識來分解問題的背景和假設，這是企業(yè)級服務的關鍵。
圖源：ROMAN SAMBORSKYI（圖片上傳者，可以譯為用戶ROMAN SAMBORSKYI，或者ROMAN SAMBORSKYI）?/ SHUTTERSTOCK
生成式人工智能作為一個界面提供了巨大的潛力，使用戶能夠以獨特的方式查詢自己的數據，以獲得滿足他們需求的答案。例如，作為查詢助手，生成式人工智能工具可以幫助客戶使用簡單的問答更好地瀏覽廣泛的產品知識庫。
但在使用生成式人工智能回答有關數據的問題之前，首先需要評估所問的問題。
這是Miso.ai首席執(zhí)行官兼聯合創(chuàng)始人Lucky Gunasekara（拉齊·古納塞卡拉）對當今開發(fā)生成人工智能工具的團隊的建議。
Miso.ai是CIO.com和我們四個姐妹網站的Smart Answers/智能答案項目的供應商合作伙伴。Smart Answers使用生成式人工智能來回答有關發(fā)表在CIO.com和Foundry網站Computerworld版塊、CSO版塊、InfoWorld版塊和Network World版塊上的文章的相關問題。Miso.ai還為IDG（International Data Group，美國國際數據集團。是全世界最大的信息技術出版、研究、會展與風險投資公司。IDG公司2006年全球營業(yè)總收入達到28.4億美元。IDG集團公司創(chuàng)建于1964年，總部設在美國波士頓。）的消費科技網站PCWorld、Macworld和TechHive建立了一個類似的Answers項目。
Gunasekara（古納塞卡拉）說，大型語言模型“實際上比我們想象的要天真得多”。例如，如果被問到一個有強烈觀點的問題，大型語言模型可能會去挑選支持該觀點的數據，即使現有數據顯示該觀點是錯誤的。因此，如果被問到“為什么某項目失敗了？”，大型語言模型可能會列出一連串項目失敗的原因——即使它是成功的。這不是你希望面向公眾的應用程序做的事情。
Gunasekara（古納塞卡拉）指出，評估問題是在所謂的RAG信息檢索和文本生成【RAG（Retrieval-Augmented Generation）程序是一種結合了信息檢索（Retrieval）和文本生成（Generation）技術的自然語言處理系統。】應用程序中通常會遺漏的一個步驟。RAG應用程序應當將大型語言模型指向特定的數據體，并告訴它僅基于這些數據回答。
常見的應用程序通常遵循以下（稍微簡化版）設置模式：
1.將現有數據分割成塊，因為所有數據都太大，無法放入單個大型語言模型查詢。
2.為每個塊生成所謂的稱為嵌入的內容，將該區(qū)塊的語義表示為一串數字，并將其存儲。根據數據更改的需要進行更新。
然后對每個問題：
1.生成嵌入。
2.使用基于嵌入的計算，找到與問題含義最相似的文本塊。
3.將用戶的問題輸入大型語言模型，并根據最相關的塊來回答。
【睿觀：假設你有一個超級智能的圖書館管理員，這個管理員就是RAG應用程序——（Retrieval-Augmented Generation）程序是一種結合了信息檢索（Retrieval）和文本生成（Generation）技術的自然語言處理系統。圖書館則是一個包含了海量信息的大數據庫。然而這個圖書館太龐大了，即使是這個超級圖書館管理員也不可能一眼就看到所有書籍的內容。所以，為了更有效地幫助尋找信息，我們采取了以下幾個步驟：
首先，我們把整個圖書館的書籍分成更易管理的一小塊一小塊（數據塊），因為要是一次處理所有的書，即使是超級圖書館管理員也會不知所措。
接下來，為了讓圖書館管理員更快地找到書籍，每一小塊書籍都被魔法轉化成了一個數字序列，這個過程就像是給每本書制作了一個特殊的"魔法摘要"（嵌入的內容）。這樣，當需要某本書時，圖書館管理員就可以直接識別這些數字序列，而不是去翻閱每一頁。
現在，當有人來到圖書館提出問題時，圖書館管理員首先將這個問題同樣轉換成一個"魔法摘要"。然后，這位管理員會用一個特殊的魔法探測器來找到和這個問題摘要最匹配的書籍摘要。
找到最相匹配的那一小塊書籍之后，圖書館管理員便會把這塊對應的書籍信息拿出來，再結合你的問題用他的超級大腦（大型語言模型）給出一個明智而準確的答案。這樣的過程就是RAG應用程序工作的形象描述。
注：RAG（Retrieval-Augmented Generation）程序是一種結合了信息檢索（Retrieval）和文本生成（Generation）技術的自然語言處理系統。在RAG系統中，大型語言模型（如GPT-3等）不是獨立地生成回答，而是先查詢一個外部的知識庫以找到與用戶問題相關的內容，然后基于這些內容生成回答。
讓我們分步驟來解釋一下RAG程序是如何工作的：
步驟 1：數據準備（檢索）
將龐大的知識庫（比如整個維基百科數據庫）分割成小塊（稱為“文檔”）。
為每個文檔創(chuàng)建一個“嵌入表示”，它是文檔內容的高度壓縮的數值表現形式，并可以用來快速比較文檔之間的相似性。
為保證及時性和準確性，根據外部數據變化更新這些嵌入表示。
步驟 2：問題處理（針對用戶的問題執(zhí)行檢索過程）
當用戶提出一個問題時，RAG程序也會為這個問題生成一個嵌入表示。
程序會在已經創(chuàng)建嵌入的知識庫文檔中尋找與問題嵌入最為相似的文檔。這個過程叫做“檢索”（Retrieval）。
找到一個或者多個與問題相關的文檔之后，程序會將這些信息作為參考。
步驟 3：回答生成（創(chuàng)建回答）
RAG程序會將用戶的問題和檢索到的相關文檔作為輸入送入大型語言模型。
使用大型語言模型的生成能力，以及目標是基于相關信息給出回答，RAG程序會生成用戶詢問的問題的回答。
所以說，RAG程序是一種智能化的問答系統，它通過結合最新的檢索技術和大型預訓練語言模型的生成能力，能夠提供更為準確和豐富的回答。這種程序特別適合于那些需要大量背景知識的復雜問題的回答。】
Gunasekara（古納塞卡拉）的團隊采取了不同的方法，在搜索相關信息之前增加了一個步驟來檢查問題?！?span style="padding: 0px; outline: 0px; max-width: 100%; color: rgb(172, 57, 255);">我們先問這個假設是否正確，而不是直接問這個問題，”Miso首席技術官Andy Hsieh（安迪·希塞爾）解釋說。
除了檢查問題中固有的假設外，還有其他方法來增強RAG（信息檢索和文本生成）渠道以幫助改進結果。Gunasekara（古納塞卡拉）建議超越基礎知識，特別是當從實驗階段轉向有價值的生產解決方案時。
“人們非常強調‘建立一個矢量數據庫，進行信息檢索與文本生成設置，一切都會開箱即用?！盙unasekara（古納塞卡拉）說，“這是獲得概念證明的好方法。但如果你需要做不會產生意外后果的企業(yè)級服務，那還需要聯系上下文。”
這可能意味著使用除了文本語義之外的其他信號，如最近性和流行度。Gunasekara（古納塞卡拉）指出，Miso正在一個烹飪網站上進行的另一個項目，解構了這個問題：“就準備派對而言最好的預制烘焙蛋糕是什么？”
“你需要分離出你真正需要的信息，”他說，“預制”蛋糕意味著它不需要馬上上桌；“準備派對”意味著它需要為少數人服務。還有一個問題是，大型語言模型如何確定哪些食譜是“最好的”。這可能意味著使用其他網站數據，例如哪些食譜的流量最高、讀者排名最高，或者獲得了編輯推薦——所有這些都與查找和總結相關的文本塊是分開的。
【睿觀：想象你是一個主廚，你正準備為一個派對烘焙一些美味的蛋糕。你的美食圖書館里充滿了各種各樣的食譜，但并不是所有的食譜都適用于這個特殊的場合。某些食譜是預制的，它們像是你提前烤好的蛋糕，可以在需要時隨時拿來裝飾和食用。這些預制的蛋糕不需要現烤現賣，它們適合那些不要求現場烹飪的場合。而其他食譜則像是專為派對設計的，它們需要在派對現場制作，以滿足少數賓客對于新鮮和個性化口味的需求。
現在，作為一個高級主廚，你需要決定哪些食譜能做出“最好的”蛋糕。這可能也取決于外面的世界對各種蛋糕的喜愛程度。你可能會考慮那些網路上被點贊最多、評論最佳、或者被烹飪網站編輯推薦的食譜。這就要求你不僅要在自己的食譜集中檢索，還要獲取外部的“排名”或“認證”，這些都代表了蛋糕的受歡迎程度和質量。
在這個例子中，你是使用大型語言模型的RAG程序，這個模型試圖找到最符合用戶需求的信息。食譜集代表的是可搜索的大型數據庫，而“最好”的食譜類似于用戶問題的最佳答案。從網絡上收集食譜的受歡迎程度、讀者評分和編輯推薦就像是外部知識源，幫助RAG程序評估和選擇最合適的信息以回答用戶的問題。所以，就像選擇最佳食譜一樣，RAG程序需要選擇最相關且質量最高的信息來提供有質量的回答。】
Gunasekara（古納塞卡拉）說：“把這些事情做好的神奇魔法是在這些背景線索中?！?/span>
雖然大型語言模型的質量是另一個重要因素，但Miso認為沒有必要使用最高評級和最昂貴的商用大型語言模型。相反，Miso正在為一些客戶項目微調基于Llama2（2023年7月19日，Meta AI已正式發(fā)布最新一代開源大模型。訓練所用的token翻了一倍至2萬億，同時對于使用大模型最重要的上下文長度限制，Llama 2也翻了一倍。Llama 2包含了70億、130億和700億參數的模型。Meta宣布將與微軟Azure進行合作，向其全球開發(fā)者提供基于Llama 2模型的云服務。同時Meta還將聯手高通，讓Llama 2能夠在高通芯片上運行。）的模型，部分原因是為了降低成本，也因為一些客戶不希望他們的數據泄露給第三方。Miso之所以這樣做，也是因為Gunasekara（古納塞卡拉）所說的“開源[大型語言模型]中正在形成劇變”。
“開源技術正在迎頭趕上。”Hsieh（希塞爾）補充道，“開源模型已經非常接近于超過GPT-4（OpenAI為聊天機器人ChatGPT發(fā)布的語言模型）了。”
作者：Sharon?Machlis（莎倫·馬克利斯）
Sharon?Machlis（莎倫·馬克利斯）是Foundry（IDG，股份有限公司公司，發(fā)布包括Computerworld和InfoWorld在內的網站）的編輯數據和分析總監(jiān)，她從事分析數據，編寫內部工具代碼，并撰寫有關數據分析工具和技巧的文章。
譯者：寶藍 ?@lex
