ChatGPT的橫空出世讓人震撼，AI對話機器人已經(jīng)可以回答各式各樣的問題、寫論文、總結(jié)冗長的文件，甚至編寫軟件和加速藥物研發(fā)。

以ChatGPT為代表的生成式AI的發(fā)展已經(jīng)步入了高速公路，但隨之也引發(fā)了對生成式AI可能帶來的道德以及安全問題的擔憂。

對于AI發(fā)展的擔憂不無道理，但也并非無計可施。就像在高速公路邊上修建護欄明確道路的寬度并防止車輛駛?cè)氩恍枰膮^(qū)域一樣，也可以給生成式AI也可以加上護欄，以保證其在正軌上運行，避免潛在的道德以及安全問題。

英偉達本周推出了一個幫助企業(yè)確保建立在大型語言模型（LLM）上的應用符合其功能安全和信息安全要求的軟件NeMo Guardrails，這一開源軟件有助于將AI保持在正軌。

作為AI領域的領導者，英偉達這一舉措對于推動AI朝正確可控的方向發(fā)展發(fā)揮了引導作用。當然，為生成式AI構建有效的護欄是一項難題，需要更多開發(fā)者的共同努力，才有可能保證AI的創(chuàng)新保持在正軌。

用戶與 NeMo Guardrails 交互的流程

NeMo Guardrails是一個適用于所有大語言模型的軟件，開發(fā)者能夠構建三個護欄，這里的護欄指的是一組位于用戶和大型語言模型之間的可編程約束或規(guī)則，具體包括：

• 主題護欄，可以防止應用偏離進非目標領域，例如防止客服助理回答關于天氣的問題。

• 功能安全護欄，確保應用能夠以準確、恰當?shù)男畔⒆鞒龌貜汀Ｋ鼈兡苓^濾掉不希望使用的語言，并強制要求模型只引用可靠的來源。

• 信息安全護欄，能夠限制應用只與已確認安全的外部第三方應用建立連接。

值得關注的是，NeMo Guardrails 完全可編程，隨著時間的推移，應用護欄和護欄觸發(fā)的一組操作很容易定制和改進。這也就意味著，針對不同的應用，不同地區(qū)、國家的法規(guī)，都可以定制所需的護欄。

并且，對于軟件開發(fā)人員來說，NeMo Guardrails是一個易于使用的工具，不需要成為機器學習專家或數(shù)據(jù)科學家，幾行代碼就可以快速創(chuàng)建新的規(guī)則。

英偉達工程師展示了NeMo Guardrails的使用方法，簡單幾行代碼，就可以讓AI對話機器人在回答問題時在護欄之內(nèi)。

這個易用性還體現(xiàn)在是與軟件工程師熟悉的工具集成。

因為NeMo Guardrails開源，NeMo框架的大部分內(nèi)容已在GitHub上作為開放源碼提供，所以它可以與企業(yè)應用開發(fā)人員使用的所有工具搭配使用。

比如，NeMo Guardrails可以在開源工具包LangChain上運行，越來越多的開發(fā)者用LangChain將第三方應用嵌入到LLM中。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))了解到，LangChain在短短幾個月內(nèi)就在GitHub上收集了約3萬顆星。

NeMo Guardrails同樣是專為適用于廣泛的基于LLM的應用而設計，例如Zapier。

Zapier是一個被超過200萬家企業(yè)使用的自動化平臺，它見證了用戶如何將AI集成到他們的工作中。

當然，作為英偉達推出的一個軟件，英偉達也正將NeMo Guardrails整合到NVIDIA NeMo框架中，這一框架包含用戶使用公司的專有數(shù)據(jù)來訓練和調(diào)整語言模型所需的一切。

NeMo還可作為一項服務使用。作為NVIDIA AI Foundations的一部分，這套云服務面向希望基于自己的數(shù)據(jù)集和領域知識創(chuàng)建、運行自定義生成式AI模型的企業(yè)。

目前，已經(jīng)有企業(yè)使用NeMo提供服務，比如韓國一家移動運營商構建了一個智能助手，這一已經(jīng)與客戶進行了800萬次對話；瑞典的一個研究團隊使用NeMo創(chuàng)建了LLM，為本國醫(yī)院、政府和商業(yè)機構自動生成文本。

科技的進步總會帶來技術之外的許多問題，面對潛在的風險，更恰當?shù)姆椒ㄊ墙鉀Q問題而非逃避。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。