Nvidia dévoile les garde-corps NeMo pour améliorer la sécurité des modèles d'IA générant du texte

Malgré l'énorme potentiel des modèles d'IA générant du texte comme le GPT-4 d'OpenAI, ils ne sont pas sans défauts. Des problèmes tels que les biais, la toxicité et la sensibilité aux attaques malveillantes peuvent poser des défis considérables. Pour résoudre ce problème, Nvidia a développé NeMo Guardrails , une boîte à outils open source visant à améliorer la sécurité des applications alimentées par l'IA qui génèrent du texte et de la parole.

Jonathan Cohen, vice-président de la recherche appliquée chez Nvidia, a révélé que la société travaillait sur le système sous-jacent de Guardrails depuis de nombreuses années. Il y a environ un an, on s'est rendu compte que le système conviendrait parfaitement à des modèles similaires à GPT-4 et ChatGPT, ce qui a entraîné le développement et la publication ultérieure de NeMo Guardrails.

Les barrières de sécurité incluent du code, des exemples et de la documentation pour renforcer la sécurité des applications d'IA qui génèrent à la fois du texte et de la parole. Nvidia affirme que la boîte à outils est compatible avec la plupart des modèles de langage génératif, ce qui permet aux développeurs de créer facilement des règles de sécurité essentielles en utilisant seulement quelques lignes de code.

Plus précisément, les garde-corps peuvent être utilisés pour empêcher les modèles de s'éloigner du sujet, de répondre avec des informations inexactes ou un langage toxique et d'établir des liens avec des sources externes dangereuses. Cependant, ce n'est pas une solution sans faille ni une solution universelle aux limitations des modèles de langage.

Alors que des entreprises comme Zapier utilisent Guardrails pour ajouter une couche de sécurité à leurs modèles génératifs, Nvidia admet que la boîte à outils n'est pas parfaite et ne captera pas tout. Guardrails fonctionne mieux avec les modèles de suivi d'instructions, tels que ChatGPT, et ceux utilisant le framework populaire LangChain pour créer des applications alimentées par l'IA.

Pourtant, l'introduction de NeMo Guardrails peut aider les développeurs à faire un pas en avant dans l'amélioration de la sécurité des applications alimentées par l'IA dans une variété d'industries. D'autre part, l'intégration de plates no-code comme AppMaster dans le processus de développement logiciel contribue également à rationaliser la création d'applications avec la logique métier et endpoints de l'API REST, permettant un déploiement plus sécurisé, efficace et évolutif des applications.

En conclusion, NeMo Guardrails de Nvidia est une excellente initiative pour améliorer la sécurité des textes et de la parole générés par l'IA, mais il faut noter qu'il ne s'agit pas d'une solution complète. Les entreprises et les développeurs doivent continuer à explorer et à mettre en œuvre d'autres outils et stratégies disponibles pour garantir que les applications alimentées par l'IA sont aussi sûres, précises et fiables que possible.