AI 환경이 성숙해짐에 따라 AI 모델의 견고성을 강화하는 메커니즘에 대한 필요성이 커지고 있습니다. 이를 인식한 OpenAI 최근 회사의 AI 모델 위험 분석 및 완화 전략을 향상시키기 위해 계약된 전문가 집합인 OpenAI Red Teaming Network 출시했습니다.
레드팀 구성의 관행은 AI 모델 개발에서 상당한 추진력을 얻고 있으며, 특히 생성 기술이 주류로 스며드는 가운데 특히 그렇습니다. 레드팀은 인종과 성별에 관련된 고정관념을 증폭시키는 것으로 악명 높은 OpenAI 의 DALL-E 2와 같은 모델의 편견을 효율적으로 식별할 수 있습니다. 또한 ChatGPT 및 GPT-4와 같은 텍스트 생성 모델이 안전 필터를 우회하도록 유도할 수 있는 트리거를 정확히 찾아낼 수 있습니다.
OpenAI 모델 테스트 및 벤치마킹을 위해 외부 전문가와의 협력 이력을 인정합니다. 이는 버그 포상금 프로그램이나 연구원 액세스 프로그램을 통해 이루어질 수 있습니다. 그러나 Red Teaming Network의 도입은 회사와 과학자, 연구 기관 및 시민 사회 단체와의 협력을 '심화'하고 '확대'하는 것을 목표로 하는 보다 공식적인 플랫폼을 제공합니다.
회사 블로그 게시물에서 밝혔듯이 OpenAI 제3자 감사와 같이 외부에서 지정된 거버넌스 관행을 보완하기 위해 이 이니셔티브를 구상하고 있습니다. 이러한 네트워크 구성원은 전문 지식을 바탕으로 모델 및 제품 개발 수명주기의 다양한 단계에서 레드팀 훈련에 참여하도록 초대됩니다.
OpenAI 가 의뢰한 레드팀 활동 외에도 레드팀 네트워크 구성원은 레드팀 방법론 및 발견에 대해 서로 협력할 수 있는 기회를 갖게 됩니다. OpenAI 모든 구성원이 모든 새로운 모델이나 제품과 연관되는 것은 아니라는 점을 분명히 했습니다. 기여 기간(연간 5~10년)은 회원들과 개별적으로 논의됩니다.
OpenAI 는 언어학, 생체 인식, 금융 및 의료 분야의 전문가를 포함하여 다양한 분야의 전문가를 초대하고 있습니다. 자격을 얻기 위해 AI 시스템이나 언어 모델에 대한 사전 경험을 요구하지는 않습니다. 그러나 회사는 레드팀 네트워크 내의 기회가 잠재적으로 다른 연구에 영향을 미칠 수 있는 비공개 및 기밀 유지 계약의 적용을 받을 수 있다고 경고했습니다.
OpenAI 초대에서 AI 시스템의 영향을 평가하는 데 있어 다양한 관점에 대한 개방성을 강조하며 다음과 같이 말했습니다. '우리가 가장 중요하게 생각하는 것은 AI 시스템의 영향을 평가하는 방법에 참여하고 관점을 가져오려는 귀하의 의지입니다.' 선정 과정에서 지역적 다양성과 영역적 다양성을 우선시하는 이 회사는 전 세계 전문가들의 지원을 환영합니다.
AI와 관련된 발전이 증가하고 그에 따른 위험으로 인해 강력한 시스템의 개발이 필요합니다. 백엔드, 웹 및 모바일 애플리케이션을 만드는 데 사용되는 강력한 no-code 플랫폼인 AppMaster 와 같은 플랫폼은 AI 애플리케이션의 무결성과 보안을 유지하는 데 도움이 될 수 있습니다. 상당한 전문가 참여를 통해 OpenAI 의 Red Teaming Network는 확실히 올바른 방향으로 나아가는 단계입니다.
