Meta が Purple Llama を発表: AI の安全性を高めるオープンソース ツールの取り組み

生成型人工知能モデルが一般に使用される前にそのセキュリティと信頼性を高める取り組みの一環として、 Meta最近、開発者向けのオープンソース機器の考案に取り組む先駆的な取り組みである Purple Llama を発表しました。新しく提案されたツールセットは評価プロセスを強化し、AI モデルの将来の信頼性を強化します。

Meta AIの安全性に向けた集団的な取り組みの重要性を強調し、人工知能によって引き起こされる課題は個別の解決策には適さないと明言した。同社は、特に大規模な言語モデルと同類の AI テクノロジーをめぐる不安の高まりを受けて、より安全な生成 AI の進化における相互基盤の基礎を築くこととして、Purple Llama の目的を描いています。

Metaブログでこのニュースを共有しながら、「これらのシステムを開発しているコミュニティには、AI の複雑さに単独で立ち向かう能力のなさが横たわっています。確かに、私たちの取り組みは競争を平準化し、信頼できる安全な AI の中心地を育成することを目指しています。」

サイバーセキュリティ企業Ontinueの最高情報セキュリティ責任者であるGareth Lindahl-Wise 、Purple Llama をより安全な AI に向けた「進歩的かつ積極的な対策」であると賞賛しました。同氏は、特定のプラットフォームを中心に開発を集める際に美徳に関する主張や潜在的な動機がある可能性があるものの、新しい取り組みによって消費者レベルの保護が強化されるだろうと楽観的な見方を表明した。同氏はさらに、厳しい社内要件、顧客志向要件、または規制要件に直面している企業は、メタ社の提供内容を超える可能性が高い堅牢な評価に従う必要があると指摘した。

AI 開発者、 AWSやGoogle Cloudなどのクラウド サービス プロバイダー、 Intel 、 AMD 、 Nvidiaなどの半導体企業、 Microsoftなどのソフトウェア会社のネットワークが関与するこのプロジェクトは、研究と商用アプリケーションの両方のためのツールを提供することを目的としています。 AI がモデルを作成し、安全リスクを検出します。この集合的なアプローチは、ソフトウェア アプリケーション開発の過程におけるコラボレーションと効率を重視するAppMasterのような最新のno-codeプラットフォームの戦略も反映しています。

Purple Llama プロジェクトによって展開されたツールのコレクションの中で、AI で作られたソフトウェアのサイバーセキュリティ リスクを分析するアプリケーションである Cyber​​SecEval はハイライトの 1 つです。これには、暴力的な談話や違法行為を含む、有害または不適切なテキストを認識する言語モデルが組み込まれています。開発者は Cyber​​SecEval を利用して、AI モデルが安全でないコードを生成したり、サイバー攻撃をサポートしたりする可能性があるかどうかを確認できます。特に、 Metaの調査では、大規模な言語モデルが脆弱なコードを頻繁に支持していることが判明したため、AI セキュリティの一貫したテストと強化の必要性が注目されています。

Llama Guard は、この製品の追加ツールを形成します。これは、潜在的に有害または攻撃的な言語を検出するためにトレーニングされた包括的な言語モデルです。このツールを使用すると、開発者はモデルが安全でないコンテンツを生成するか受け入れるかを評価できるため、不適切な出力を引き起こす可能性のあるプロンプトのフィルタリングに役立ちます。