Nvidia 推出 NeMo Guardrails 以增强文本生成 AI 模型的安全性

尽管像 OpenAI 的 GPT-4 这样的文本生成 AI 模型具有巨大的潜力，但它们并非没有缺陷。偏见、毒性和对恶意攻击的敏感性等问题可能会带来相当大的挑战。为了解决这个问题，Nvidia 开发了 NeMo Guardrails ，这是一个开源工具包，旨在增强生成文本和语音的人工智能应用程序的安全性。

Nvidia 应用研究副总裁Jonathan Cohen透露，该公司多年来一直致力于 Guardrails 的底层系统。大约一年前，人们意识到该系统非常适合类似于 GPT-4 和 ChatGPT 的模型，因此开发并随后发布了 NeMo Guardrails。

护栏包括代码、示例和文档，以提高生成文本和语音的 AI 应用程序的安全性。 Nvidia 声称该工具包与大多数生成语言模型兼容，使开发人员只需使用几行代码即可轻松创建基本安全规则。

具体来说，Guardrails 可用于防止模型偏离主题、以不准确的信息或有毒语言做出响应，以及与不安全的外部资源建立连接。但是，它不是完美的解决方案，也不是针对语言模型局限性的通用解决方案。

虽然像Zapier这样的公司正在使用 Guardrails 为其生成模型添加一个安全层，但 Nvidia 承认该工具包并不完美并且不会涵盖所有内容。 Guardrails 最适用于指令遵循模型，例如 ChatGPT，以及那些利用流行的 LangChain 框架创建 AI 驱动的应用程序的模型。

尽管如此，NeMo Guardrails 的引入仍可以帮助开发人员在增强各行各业中 AI 驱动应用程序的安全性方面向前迈出一步。另一方面，将像 AppMaster 这样的no-code平台集成到软件开发过程中也有助于通过业务逻辑和 REST API endpoints简化应用程序创建，从而实现更安全、高效和可扩展的应用程序部署。

总之，Nvidia 的 NeMo Guardrails 是提高 AI 生成的文本和语音安全性的一项出色举措，但必须指出，它并不是一个全面的解决方案。公司和开发人员必须继续探索和实施其他可用的工具和策略，以确保 AI 驱动的应用程序尽可能安全、准确和可靠。