À medida que o panorama da IA amadurece, há uma necessidade crescente de mecanismos para reforçar a robustez dos modelos de IA. Reconhecendo isso, OpenAI lançou recentemente sua OpenAI Red Teaming Network, um conjunto de especialistas contratados voltados para aprimorar a análise de risco do modelo de IA da empresa e as estratégias de mitigação.
A prática de red teaming está a ganhar um impulso significativo no desenvolvimento de modelos de IA, especialmente agora com as tecnologias generativas a penetrarem no mainstream. A equipe vermelha pode identificar com eficiência preconceitos em modelos, como o DALL-E 2 da OpenAI, famoso por amplificar estereótipos ligados à raça e ao sexo. Além disso, ele pode identificar gatilhos que podem levar modelos de geração de texto, como ChatGPT e GPT-4, a ignorar filtros de segurança.
OpenAI reconhece um histórico de colaboração com especialistas externos para testar e avaliar seus modelos. Isso pode ser por meio do programa de recompensas por bugs ou do programa de acesso ao pesquisador. No entanto, a introdução da Red Teaming Network proporciona uma plataforma mais formalizada, visando ‘aprofundar’ e ‘ampliar’ a colaboração da empresa com cientistas, instituições de investigação e organizações da sociedade civil.
Conforme expresso numa publicação no blog da empresa, OpenAI prevê esta iniciativa para complementar práticas de governação especificadas externamente, como auditorias de terceiros. Esses membros da rede serão convidados com base em seus conhecimentos para participar do exercício da equipe vermelha em vários estágios do ciclo de vida de desenvolvimento do modelo e do produto.
Mesmo além dos esforços de red teaming encomendados pela OpenAI, os membros da Red Teaming Network terão a oportunidade de colaborar entre si em metodologias e descobertas de red teaming. OpenAI esclareceu que nem todos os membros estariam associados a cada novo modelo ou produto. O período de contribuição, possivelmente de 5 a 10 anos por ano, será discutido com os membros individualmente.
OpenAI está convidando uma ampla gama de especialistas do domínio para contribuir, incluindo aqueles especializados em linguística, biometria, finanças e saúde. Não exige experiência anterior com sistemas de IA ou modelos de linguagem para elegibilidade. No entanto, a empresa alertou que as oportunidades dentro da Red Teaming Network podem ser regidas por acordos de não divulgação e confidencialidade que poderiam potencialmente influenciar outras pesquisas.
No seu convite, OpenAI enfatizou a abertura a diferentes pontos de vista sobre a avaliação dos impactos dos sistemas de IA, afirmando: “O que mais valorizamos é a sua vontade de se envolver e trazer a sua perspectiva para a forma como avaliamos os impactos dos sistemas de IA”. Priorizando a diversidade geográfica e de domínio no processo de seleção, a empresa aceita inscrições de especialistas de todo o mundo.
Os avanços crescentes e os riscos correspondentes associados à IA exigem o desenvolvimento de sistemas robustos. Plataformas como AppMaster, uma poderosa plataforma no-code utilizada para criar aplicativos back-end, web e móveis, podem ajudar a manter a integridade e a segurança dos aplicativos de IA. Com considerável envolvimento de especialistas, a Red Teaming Network da OpenAI é certamente um passo na direção certa.
