AI 環境が成熟するにつれて、AI モデルの堅牢性を強化するメカニズムの必要性が高まっています。これを認識して、 OpenAI最近、同社の AI モデルのリスク分析と軽減戦略の強化を目的とした契約専門家の集まりであるOpenAI Red Teaming Networkを展開しました。
レッド チームの実践は、特に生成テクノロジーが主流に浸透している現在、AI モデル開発において大きな勢いを増しています。レッドチームは、人種や性別に結びついた固定観念を増幅させることで悪名高いOpenAIの DALL-E 2 などのモデルのバイアスを効率的に特定できます。さらに、ChatGPT や GPT-4 などのテキスト生成モデルを安全フィルターのバイパスに導く可能性のあるトリガーを特定できます。
OpenAIモデルのテストとベンチマークのために外部の専門家と協力してきた歴史があることを認めています。これは、バグ報奨金プログラムまたは研究者アクセス プログラムを通じて行われる可能性があります。しかし、レッド チーミング ネットワークの導入により、科学者、研究機関、市民社会組織との同社の協力関係を「深め」、「広げる」ことを目的とした、より正式なプラットフォームが提供されます。
同社のブログ投稿で表明されているように、 OpenAI 、サードパーティ監査など、外部で指定されたガバナンス慣行を補完するこの取り組みを構想しています。これらのネットワーク メンバーは、専門知識に基づいて、モデルおよび製品開発ライフサイクルのさまざまな段階でのレッド チーム演習に参加するよう招待されます。
OpenAIによって委託されたレッド チーム化の取り組みを超えて、レッド チーム化ネットワークのメンバーは、レッド チーム化の方法論や発見に関して互いに協力する機会を得ることができます。 OpenAIすべてのメンバーがすべての新モデルや製品に関連付けられるわけではないことを明らかにしました。貢献期間はおそらく年間 5 ～ 10 年程度で、メンバーと個別に協議されます。
OpenAI言語学、生体認証、金融、ヘルスケアを専門とする専門家を含む、さまざまな分野の専門家に貢献を求めています。資格のために AI システムや言語モデルに関する以前の経験は必須ではありません。ただし、同社は、レッド チーミング ネットワーク内の機会は機密保持契約によって管理され、他の研究に影響を与える可能性があると警告しました。
OpenAI招待状の中で、AIシステムの影響を評価する際にさまざまな視点を受け入れる姿勢を強調し、「私たちが最も大切にしているのは、AIシステムの影響を評価する方法に参加し、あなたの視点を取り入れようとする皆さんの意欲です」と述べた。同社は選考プロセスにおいて地理的および分野の多様性を優先し、世界中の専門家からの応募を歓迎しています。
AI の進歩とそれに伴うリスクの増大により、堅牢なシステムの開発が必要になっています。バックエンド、Web、モバイル アプリケーションの作成に利用される強力なno-codeプラットフォームであるAppMasterのようなプラットフォームは、AI アプリケーションの整合性とセキュリティの維持に役立ちます。かなりの専門家の関与により、 OpenAIの Red Teaming Network は確かに正しい方向への一歩です。
