À mesure que le paysage de l’IA évolue, il existe un besoin croissant de mécanismes pour renforcer la robustesse des modèles d’IA. Conscient de cela, OpenAI a récemment déployé son OpenAI Red Teaming Network, un ensemble d'experts sous contrat visant à améliorer l'analyse des risques et les stratégies d'atténuation des modèles d'IA de l'entreprise.
La pratique du red teaming prend un essor considérable dans le développement de modèles d’IA, en particulier aujourd’hui avec l’arrivée des technologies génératives dans le courant dominant. L'équipe rouge peut identifier efficacement les préjugés dans les modèles, tels que le DALL-E 2 d' OpenAI, connu pour amplifier les stéréotypes liés à la race et au sexe. De plus, il peut identifier les déclencheurs qui peuvent amener les modèles de génération de texte, comme ChatGPT et GPT-4, à contourner les filtres de sécurité.
OpenAI reconnaît un historique de collaboration avec des experts externes pour tester et comparer ses modèles. Cela pourrait se faire via son programme de bug bounty ou le programme d’accès aux chercheurs. Cependant, l'introduction du Red Teaming Network offre une plate-forme plus formalisée, visant à « approfondir » et « élargir » la collaboration de l'entreprise avec des scientifiques, des instituts de recherche et des organisations de la société civile.
Comme indiqué dans un article de blog de l'entreprise, OpenAI envisage cette initiative pour compléter les pratiques de gouvernance spécifiées en externe, comme les audits tiers. Ces membres du réseau seront invités, en fonction de leur expertise, à participer à l'exercice de l'équipe rouge à différentes étapes du cycle de vie de développement de modèles et de produits.
Même au-delà des efforts de red teaming commandés par OpenAI, les membres du Red Teaming Network auront l'opportunité de collaborer les uns avec les autres sur les méthodologies et les découvertes de red teaming. OpenAI a précisé que tous les membres ne seraient pas associés à chaque nouveau modèle ou produit. La durée de cotisation, éventuellement de 5 à 10 ans par an, sera discutée individuellement avec les membres.
OpenAI invite un large éventail d'experts du domaine à contribuer, notamment ceux spécialisés dans la linguistique, la biométrie, la finance et la santé. Il n’exige pas d’expérience préalable avec les systèmes d’IA ou les modèles de langage pour être éligible. Cependant, la société a averti que les opportunités au sein du Red Teaming Network pourraient être régies par des accords de non-divulgation et de confidentialité qui pourraient potentiellement influencer d'autres recherches.
Dans son invitation, OpenAI a souligné l'ouverture à différents points de vue sur l'évaluation des impacts des systèmes d'IA, en déclarant : « Ce que nous apprécions le plus, c'est votre volonté de vous engager et d'apporter votre point de vue sur la façon dont nous évaluons les impacts des systèmes d'IA. » En donnant la priorité à la diversité géographique et de domaine dans le processus de sélection, la société accueille les candidatures d'experts du monde entier.
Les progrès croissants et les risques correspondants associés à l’IA nécessitent le développement de systèmes robustes. Des plates-formes comme AppMaster, une puissante plate no-code utilisée pour créer des applications backend, Web et mobiles, peuvent aider à maintenir l'intégrité et la sécurité des applications d'IA. Avec une implication considérable d'experts, le Red Teaming Network d' OpenAI est certainement un pas dans la bonne direction.
