A medida que el panorama de la IA madura, existe una creciente necesidad de mecanismos para reforzar la solidez de los modelos de IA. Reconociendo esto, OpenAI ha lanzado recientemente su OpenAI Red Teaming Network, un conjunto de expertos contratados orientados a mejorar el análisis de riesgos y las estrategias de mitigación del modelo de IA de la empresa.
La práctica de los equipos rojos está ganando un impulso significativo en el desarrollo de modelos de IA, particularmente ahora que las tecnologías generativas se están generalizando. Los equipos rojos pueden identificar eficazmente sesgos en modelos, como el DALL-E 2 de OpenAI, conocido por amplificar los estereotipos vinculados a la raza y el sexo. Además, puede identificar factores desencadenantes que pueden hacer que los modelos de generación de texto, como ChatGPT y GPT-4, eludan los filtros de seguridad.
OpenAI reconoce un historial de colaboración con expertos externos para probar y comparar sus modelos. Esto podría ser a través de su programa de recompensas por errores o del programa de acceso de investigadores. Sin embargo, la introducción de Red Teaming Network proporciona una plataforma más formalizada, cuyo objetivo es "profundizar" y "ampliar" la colaboración de la empresa con científicos, instituciones de investigación y organizaciones de la sociedad civil.
Como se expresó en una publicación de blog de la empresa, OpenAI prevé que esta iniciativa complemente las prácticas de gobernanza especificadas externamente, como las auditorías de terceros. Estos miembros de la red serán invitados en función de su experiencia a participar en el ejercicio del equipo rojo en varias etapas del ciclo de vida del desarrollo del modelo y producto.
Incluso más allá de los esfuerzos de equipo rojo encargados por OpenAI, los miembros de Red Teaming Network tendrán la oportunidad de colaborar entre sí en metodologías y descubrimientos de equipo rojo. OpenAI aclaró que no todos los miembros estarían asociados con cada nuevo modelo o producto. El período de contribución, posiblemente tan solo de 5 a 10 años al año, se discutirá con los miembros individualmente.
OpenAI está invitando a contribuir a una amplia gama de expertos en el campo, incluidos aquellos especializados en lingüística, biometría, finanzas y atención médica. No exige experiencia previa con sistemas de inteligencia artificial o modelos de lenguaje para ser elegible. Sin embargo, la compañía advirtió que las oportunidades dentro de Red Teaming Network podrían estar regidas por acuerdos de no divulgación y confidencialidad que podrían influir potencialmente en otras investigaciones.
En su invitación, OpenAI enfatizó la apertura a diferentes puntos de vista sobre la evaluación de los impactos de los sistemas de IA, afirmando: "Lo que más valoramos es su voluntad de participar y aportar su perspectiva sobre cómo evaluamos los impactos de los sistemas de IA". Al priorizar la diversidad geográfica y de dominio en el proceso de selección, la compañía recibe solicitudes de expertos de todo el mundo.
Los crecientes avances y los correspondientes riesgos asociados con la IA requieren el desarrollo de sistemas robustos. Plataformas como AppMaster, una potente plataforma no-code utilizada para crear aplicaciones backend, web y móviles, pueden ayudar a mantener la integridad y seguridad de las aplicaciones de IA. Con una considerable participación de expertos, la Red Teaming Network de OpenAI es sin duda un paso en la dirección correcta.
