A pesar del enorme potencial de los modelos de IA generadores de texto como GPT-4 de OpenAI, no están exentos de fallas. Cuestiones como los sesgos, la toxicidad y la susceptibilidad a los ataques maliciosos pueden generar desafíos considerables. Para abordar esto, Nvidia ha desarrollado NeMo Guardrails , un conjunto de herramientas de código abierto destinado a mejorar la seguridad de las aplicaciones impulsadas por IA que generan texto y voz.
Jonathan Cohen, vicepresidente de investigación aplicada de Nvidia, reveló que la empresa ha estado trabajando en el sistema subyacente de Guardrails durante muchos años. Se supo hace aproximadamente un año que el sistema sería una buena opción para modelos similares a GPT-4 y ChatGPT, lo que resultó en el desarrollo y posterior lanzamiento de NeMo Guardrails.
Las medidas de seguridad incluyen código, ejemplos y documentación para aumentar la seguridad de las aplicaciones de IA que generan tanto texto como voz. Nvidia afirma que el conjunto de herramientas es compatible con la mayoría de los modelos de lenguaje generativo, lo que facilita a los desarrolladores la creación de reglas de seguridad esenciales con solo unas pocas líneas de código.
Específicamente, Guardrails se puede utilizar para evitar que los modelos se desvíen del tema, respondan con información inexacta o lenguaje tóxico y establezcan conexiones con fuentes externas no seguras. Sin embargo, no es una solución perfecta ni una solución universal para las limitaciones de los modelos de lenguaje.
Si bien empresas como Zapier están empleando Guardrails para agregar una capa de seguridad a sus modelos generativos, Nvidia admite que el conjunto de herramientas no es perfecto y no lo captará todo. Guardrails funciona mejor con modelos de seguimiento de instrucciones, como ChatGPT, y aquellos que utilizan el popular marco LangChain para crear aplicaciones impulsadas por IA.
Aún así, la introducción de NeMo Guardrails puede ayudar a los desarrolladores a dar un paso adelante en la mejora de la seguridad de las aplicaciones impulsadas por IA en una variedad de industrias. Por otro lado, la integración de plataformas no-code como AppMaster en el proceso de desarrollo de software también contribuye a agilizar la creación de aplicaciones con lógica empresarial y endpoints de API REST, lo que permite una implementación de aplicaciones más segura, eficiente y escalable.
En conclusión, NeMo Guardrails de Nvidia es una excelente iniciativa para mejorar la seguridad del habla y el texto generado por IA, pero debe tenerse en cuenta que no es una solución integral. Las empresas y los desarrolladores deben continuar explorando e implementando otras herramientas y estrategias disponibles para garantizar que las aplicaciones impulsadas por IA sean lo más seguras, precisas y confiables posible.
