По мере развития ИИ-среды растет потребность в механизмах, повышающих надежность моделей ИИ. Признавая это, OpenAI недавно развернула свою сеть OpenAI Red Teaming Network — группу экспертов, работающих по контракту, которые призваны улучшить анализ рисков модели искусственного интеллекта компании и стратегии их снижения.
Практика «красной команды» набирает значительный оборот в разработке моделей ИИ, особенно сейчас, когда генеративные технологии стали мейнстримом. Красная команда может эффективно выявлять предвзятости в моделях, таких как DALL-E 2 от OpenAI, печально известной усилением стереотипов, связанных с расой и полом. Кроме того, он может определять триггеры, которые могут привести к тому, что модели генерации текста, такие как ChatGPT и GPT-4, обойдут фильтры безопасности.
OpenAI признает опыт сотрудничества с внешними экспертами по тестированию и сравнительному анализу своих моделей. Это может быть осуществлено через программу вознаграждения за обнаружение ошибок или программу доступа для исследователей. Однако введение Red Teaming Network обеспечивает более формализованную платформу, направленную на «углубление» и «расширение» сотрудничества компании с учеными, исследовательскими институтами и организациями гражданского общества.
Как говорится в сообщении в блоге компании, OpenAI рассматривает эту инициативу как дополнение к внешним практикам управления, таким как сторонний аудит. Эти члены сети будут приглашены на основе их опыта для участия в учениях красной команды на различных этапах жизненного цикла разработки модели и продукта.
Даже помимо усилий по созданию красных команд, проводимых по заказу OpenAI, члены Red Teaming Network будут иметь возможность сотрудничать друг с другом в разработке методологий и открытий красных команд. OpenAI пояснила, что не все участники будут связаны с каждой новой моделью или продуктом. Срок вклада, возможно, всего 5-10 лет в год, будет обсуждаться с участниками индивидуально.
OpenAI приглашает к участию широкий круг экспертов в предметной области, в том числе специалистов в области лингвистики, биометрии, финансов и здравоохранения. Для получения права на участие не требуется предшествующий опыт работы с системами искусственного интеллекта или языковыми моделями. Однако компания предупредила, что возможности в рамках Red Teaming Network могут регулироваться соглашениями о неразглашении и конфиденциальности, которые потенциально могут повлиять на другие исследования.
В своем приглашении OpenAI подчеркнула открытость к различным точкам зрения на оценку воздействия систем ИИ, заявив: «Что мы больше всего ценим, так это вашу готовность участвовать и привносить свою точку зрения в то, как мы оцениваем влияние систем ИИ». Отдавая приоритет географическому и доменному разнообразию в процессе отбора, компания приветствует заявки от экспертов со всего мира.
Растущие достижения и соответствующие риски, связанные с ИИ, требуют разработки надежных систем. Такие платформы, как AppMaster, мощная платформа no-code, используемая для создания серверных, веб- и мобильных приложений, могут помочь в поддержании целостности и безопасности приложений ИИ. Благодаря значительному участию экспертов сеть Red Teaming OpenAI, безусловно, является шагом в правильном направлении.
