英偉達(dá)三個(gè)新的NIM（Nvidia Inference Microservices，英偉達(dá)推理微服務(wù)，是英偉達(dá)/NVIDIA推出的一套推理微服務(wù)，旨在幫助企業(yè)加速生成式AI的部署和應(yīng)用。）微服務(wù)利用small language models/SLMs（小型語言模型，是參數(shù)較少、成本低、響應(yīng)快的AI技術(shù)，適用于資源有限或需實(shí)時(shí)交互的場景。在移動(dòng)應(yīng)用、智能家居、嵌入式系統(tǒng)等領(lǐng)域有廣泛應(yīng)用。但面臨數(shù)據(jù)質(zhì)量、模型容量等技術(shù)難點(diǎn)。開源SLM項(xiàng)目降低了技術(shù)門檻，推動(dòng)AI發(fā)展。），幫助企業(yè)提高AI代理的安全性、安全性和合規(guī)性。
圖源：Mark Hachman / Foundry
Nvidia（英偉達(dá)，是一家人工智能計(jì)算公司。公司創(chuàng)立于1993年，總部位于美國加利福尼亞州圣克拉拉市。是全球可編程圖形處理技術(shù)領(lǐng)袖。）今天在其Nvidia NeMo Guardrails（護(hù)欄技術(shù)，是一個(gè)開源工具包，旨在幫助開發(fā)者在構(gòu)建和訓(xùn)練自然語言處理/NLP模型時(shí)，確保對話系統(tǒng)的質(zhì)量和合規(guī)性。它提供了一套靈活的框架，通過自定義護(hù)欄策略來確?；诖笳Z言模型/LLM的對話系統(tǒng)的安全和道德。）軟件工具中為人工智能防護(hù)欄添加了新的Nvidia inference microservices。新的微服務(wù)旨在幫助企業(yè)提高智能人工智能應(yīng)用的準(zhǔn)確性、安全性和控制能力，解決了IT領(lǐng)導(dǎo)者在采用該技術(shù)時(shí)的一個(gè)關(guān)鍵顧慮。
“十分之一的組織已經(jīng)在使用AI代理，超過80%的組織計(jì)劃在未來三年內(nèi)采用AI代理，”英偉達(dá)企業(yè)AI模型、軟件和服務(wù)副總裁Kari Briski（卡里?布里斯基）在周三的新聞發(fā)布會上表示，“這意味著你不僅要為任務(wù)的準(zhǔn)確性構(gòu)建代理，還必須評估AI代理以滿足安全、數(shù)據(jù)隱私和治理要求，而這可能是部署的重大障礙。”
Briski（布里斯基）解釋說，除了信任、安全、安保和合規(guī)性之外，在生產(chǎn)中成功部署AI代理還需要它們具有高性能。它們必須在與最終用戶和其他AI代理的互動(dòng)中保持正軌，同時(shí)保持快速和響應(yīng)。英偉達(dá)今天為NeMo Guardrails推出了三個(gè)新的NIM，旨在實(shí)現(xiàn)內(nèi)容安全、主題控制和越獄檢測。
內(nèi)容安全NIM旨在防止AI生成有偏見或有害的輸出，確保生成式AI回答符合道德標(biāo)準(zhǔn)。它是在英偉達(dá)開源的Aegis（是英偉達(dá)推出的一種數(shù)據(jù)集，主要用于檢測人工智能安全問題和試圖繞過系統(tǒng)限制的越獄行為?。Aegis數(shù)據(jù)集包含超過35,000個(gè)由人工標(biāo)注的樣本，是同類數(shù)據(jù)集中質(zhì)量最高的數(shù)據(jù)源之一。）內(nèi)容安全數(shù)據(jù)集上訓(xùn)練的，該數(shù)據(jù)集包含35,000個(gè)人工標(biāo)注的數(shù)據(jù)樣本，這些樣本因人工智能安全而被標(biāo)記。Aegis用于教導(dǎo)人工智能如何調(diào)節(jié)其他人工智能模型生成的潛在有害內(nèi)容。
主題控制NIM使AI代理專注于批準(zhǔn)的主題，防止它們偏離或轉(zhuǎn)向不適當(dāng)?shù)膬?nèi)容。例如，它可以防止AI代理討論競爭對手的產(chǎn)品。
越獄檢測NIM通過防止旨在故意繞過智能AI安全措施的“越獄”嘗試，在“對抗場景”中幫助維持人工智能的完整性。它基于英偉達(dá)Garak（?是由英偉達(dá)推出的一款專為大型語言模型/LLM打造的安全評估工具。它的主要功能包括提示注入、越獄攻擊、防護(hù)繞過等獨(dú)特風(fēng)險(xiǎn)的檢測，幫助快速識別幻覺、數(shù)據(jù)泄露等核心漏洞。）構(gòu)建，這是一個(gè)用于漏洞掃描的開源工具包，在包含17,000個(gè)已知越獄的數(shù)據(jù)集上進(jìn)行訓(xùn)練。
一、借助護(hù)欄實(shí)現(xiàn)更好的治理
NeMo Guardrails是NeMo platform（是一個(gè)端到端的平臺，用于開發(fā)自定義生成式AI，包括大語言模型/LLM、多模態(tài)、視覺和語音AI。NeMo是NVIDIAAIFoundry的一部分，這是一個(gè)利用企業(yè)數(shù)據(jù)和特定領(lǐng)域知識構(gòu)建定制生成式AI模型的平臺和服務(wù)。）的一部分，NeMo platform是一個(gè)可擴(kuò)展的平臺，用于定義、編排和執(zhí)行人工智能代理和其他生成式人工智能應(yīng)用模型的策略。
“護(hù)欄通過強(qiáng)制執(zhí)行AI模型、代理和系統(tǒng)執(zhí)行規(guī)范來幫助維持AI操作的可信度和可靠性，”Briski（布里斯基）說，“它有助于使AI代理保持正軌。”
例如，新的微服務(wù)可以幫助汽車制造商為車輛操作創(chuàng)建一個(gè)AI代理，該代理可以幫助用戶進(jìn)行氣候控制、座椅調(diào)整、信息娛樂、導(dǎo)航等。制造商可以使用微服務(wù)指定不允許的主題，例如其他汽車品牌或提供背書或意見。
NeMo Guardrails利用比LLMs（大型語言模型。是使用深度學(xué)習(xí)算法處理和理解自然語言的基礎(chǔ)機(jī)器學(xué)習(xí)模型。這些模型在大量文本數(shù)據(jù)上進(jìn)行訓(xùn)練，以學(xué)習(xí)語言中的模式和實(shí)體關(guān)系。LLM可以執(zhí)行多種類型的語言任務(wù)，例如翻譯語言、分析情緒、聊天機(jī)器人對話等。）延遲更低的SLMs，這意味著它們可以在資源受限或分布式環(huán)境中高效運(yùn)行。Briski（布里斯基）指出，它們非常適合在醫(yī)療保健、汽車和制造業(yè)等行業(yè)擴(kuò)展AI應(yīng)用。一些首席信息官已經(jīng)開始轉(zhuǎn)向SLMs以獲得定制解決方案，并作為更通用的LLMs的替代方案。
雖然可以使用NeMo Guardrails的默認(rèn)配置，但Briski（布里斯基）表示它們真正的力量在于定制和擴(kuò)展護(hù)欄。
“使用多個(gè)可定制的護(hù)欄很重要，因?yàn)橐坏肚姓娴牟贿m合所有人，”她說，“不同用例、品牌、公司指南甚至不同行業(yè)和地區(qū)的監(jiān)管要求都有不同的政策和要求。開發(fā)人員希望能夠?yàn)樗麄兊奶囟ㄐ枨笠约按硇虯I系統(tǒng)的不同要求選擇合適的護(hù)欄。”
IT部門現(xiàn)在將成為“代理的人力資源部門”，Briski（布里斯基）說，這表明這是新微服務(wù)的亮點(diǎn)所在，允許開發(fā)人員應(yīng)用多個(gè)輕量級、專門的模型作為防護(hù)欄，以彌補(bǔ)僅存在更通用的全球政策和保護(hù)措施時(shí)可能出現(xiàn)的差距。
新的微服務(wù)以及用于護(hù)欄協(xié)調(diào)的NeMo Guardrails和英偉達(dá)Garak工具包，現(xiàn)在都已供開發(fā)人員和企業(yè)使用。
作者：Thor Olavsrud（托爾·奧拉夫斯魯?shù)拢?/span>
Thor Olavsrud（托爾·奧拉夫斯魯?shù)拢镃IO.com報(bào)道數(shù)據(jù)分析、商業(yè)智能和數(shù)據(jù)科學(xué)。他居住在紐約。
譯者：寶藍(lán)
【睿觀：英偉達(dá)推出的三項(xiàng)新的NIM（Nvidia Inference Microservices，英偉達(dá)推理微服務(wù)），旨在通過小型語言模型（SLM）提高企業(yè)AI代理的安全性、安全性和合規(guī)性。這些微服務(wù)集成在Nvidia NeMo Guardrails護(hù)欄技術(shù)中，解決了企業(yè)在部署AI代理時(shí)對信任、安全、合規(guī)和高性能的關(guān)鍵顧慮。
英偉達(dá)企業(yè)AI模型、軟件和服務(wù)副總裁Kari Briski指出，隨著越來越多的組織采用AI代理，除了準(zhǔn)確性之外，安全、數(shù)據(jù)隱私和治理也變得至關(guān)重要。新的NIM包括：
內(nèi)容安全NIM：?防止AI生成有偏見或有害的輸出，基于包含35,000個(gè)人工標(biāo)注樣本的Aegis數(shù)據(jù)集進(jìn)行訓(xùn)練，確保AI回答符合道德標(biāo)準(zhǔn)。
主題控制NIM：?使AI代理專注于批準(zhǔn)的主題，防止其偏離或討論不適當(dāng)?shù)膬?nèi)容，例如競爭對手的產(chǎn)品。
越獄檢測NIM：?通過防止旨在繞過AI安全措施的“越獄”嘗試，維護(hù)AI的完整性，基于包含17,000個(gè)已知越獄的數(shù)據(jù)集進(jìn)行訓(xùn)練，并利用英偉達(dá)Garak漏洞掃描工具包。
NeMo Guardrails是NeMo平臺的一部分，該平臺用于定義、編排和執(zhí)行AI代理和其他生成式AI應(yīng)用模型的策略。護(hù)欄通過強(qiáng)制執(zhí)行規(guī)范來提高AI操作的可信度和可靠性，使AI代理保持正軌。這些微服務(wù)利用延遲更低的SLM，使其在資源受限或分布式環(huán)境中高效運(yùn)行，尤其適用于醫(yī)療保健、汽車和制造業(yè)等行業(yè)。
Briski強(qiáng)調(diào)了定制和擴(kuò)展護(hù)欄的重要性，因?yàn)椴煌挠美?、品牌、公司指南以及行業(yè)和地區(qū)的監(jiān)管要求各不相同。新的微服務(wù)允許開發(fā)人員應(yīng)用多個(gè)輕量級、專門的模型作為防護(hù)欄，以彌補(bǔ)通用政策和保護(hù)措施的不足。這些新的微服務(wù)、NeMo Guardrails和英偉達(dá)Garak工具包現(xiàn)已面向開發(fā)人員和企業(yè)提供?！?/span>
