Apesar do enorme potencial dos modelos de IA geradores de texto, como o GPT-4 da OpenAI, eles não são isentos de falhas. Questões como preconceitos, toxicidade e suscetibilidade a ataques mal-intencionados podem causar desafios consideráveis. Para resolver isso, a Nvidia desenvolveu o NeMo Guardrails , um kit de ferramentas de código aberto destinado a aumentar a segurança de aplicativos baseados em IA que geram texto e fala.
Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia, revelou que a empresa trabalha no sistema subjacente do Guardrails há muitos anos. Percebeu-se há cerca de um ano que o sistema seria adequado para modelos semelhantes ao GPT-4 e ChatGPT, resultando no desenvolvimento e posterior lançamento do NeMo Guardrails.
As proteções incluem código, exemplos e documentação para aumentar a segurança dos aplicativos de IA que geram texto e fala. A Nvidia afirma que o kit de ferramentas é compatível com a maioria dos modelos de linguagem generativa, tornando simples para os desenvolvedores criar regras de segurança essenciais usando apenas algumas linhas de código.
Especificamente, Guardrails podem ser utilizados para evitar que os modelos se desviem do tópico, respondam com informações imprecisas ou linguagem tóxica e façam conexões com fontes externas inseguras. No entanto, não é uma solução perfeita nem uma correção universal para as limitações dos modelos de linguagem.
Enquanto empresas como Zapier estão empregando Guardrails para adicionar uma camada de segurança a seus modelos generativos, a Nvidia admite que o kit de ferramentas não é perfeito e não vai pegar tudo. O Guardrails funciona melhor com modelos que seguem instruções, como o ChatGPT, e aqueles que utilizam a popular estrutura LangChain para criar aplicativos baseados em IA.
Ainda assim, a introdução do NeMo Guardrails pode ajudar os desenvolvedores a dar um passo à frente no aprimoramento da segurança de aplicativos baseados em IA em vários setores. Por outro lado, a integração de plataformas no-code como AppMaster no processo de desenvolvimento de software também contribui para simplificar a criação de aplicativos com lógica de negócios e endpoints de API REST, permitindo uma implantação de aplicativos mais segura, eficiente e escalável.
Em conclusão, o NeMo Guardrails da Nvidia é uma excelente iniciativa para melhorar a segurança de texto e fala gerada por IA, mas deve-se observar que não é uma solução abrangente. Empresas e desenvolvedores devem continuar a explorar e implementar outras ferramentas e estratégias disponíveis para garantir que os aplicativos baseados em IA sejam os mais seguros, precisos e confiáveis possíveis.
