생성 인공 지능 모델이 공개적으로 사용되기 전에 보안과 신뢰성을 높이기 위해 Meta 최근 개발자를 위한 오픈 소스 도구를 고안하는 데 전념하는 선구적인 이니셔티브인 Purple Llama를 공개했습니다. 새로 제안된 도구 세트는 평가 프로세스를 향상시켜 AI 모델의 미래 신뢰성을 높입니다.
Meta AI 안전을 위한 공동 노력의 중요성을 강조하면서 인공 지능이 제기하는 과제는 고립된 솔루션에 적합하지 않다는 점을 분명히 밝혔습니다. 회사는 특히 대규모 언어 모델과 유사한 AI 기술을 둘러싼 우려가 높아지면서 Purple Llama의 목표를 더욱 안전한 생성 AI의 진화를 위한 상호 기반을 마련하는 것으로 설명했습니다.
Meta 블로그에 이 소식을 공유하면서 “이러한 시스템을 개발하는 커뮤니티에서는 AI의 복잡성에 단독으로 직면할 수 없는 무능력이 있습니다. 물론 우리의 계획은 경쟁 수준을 높이고 신뢰할 수 있고 안전한 AI의 진원지를 육성하는 것을 목표로 합니다.”
사이버 보안 회사인 Ontinue 의 최고 정보 보안 책임자인 Gareth Lindahl-Wise Purple Llama를 보다 안전한 AI를 향한 '진보적이고 적극적인 조치'라고 칭찬했습니다. 그는 새로운 계획이 소비자 수준의 보호를 강화할 것이라는 낙관론을 표명했습니다. 비록 특정 플랫폼을 중심으로 개발을 모으는 데 미덕 신호에 대한 주장이나 가능한 숨은 동기가 있을 수 있지만 말입니다. 그는 또한 엄격한 내부 요구사항, 고객 지향적 요구사항 또는 규제 요구사항에 직면한 기업은 Meta가 제공하는 서비스를 능가할 수 있는 강력한 평가를 준수해야 한다고 언급했습니다.
AI 개발자, AWS 및 Google Cloud 와 같은 클라우드 서비스 제공업체, 반도체 기업인 Intel, AMD 및 Nvidia, Microsoft 를 포함한 소프트웨어 회사의 네트워크가 참여하는 이 프로젝트는 연구 및 상용 응용 프로그램 모두를 위한 도구를 제공하는 것을 목표로 합니다. AI가 모델링하고 안전 위험을 감지합니다. 이러한 집단적 접근 방식은 소프트웨어 애플리케이션 개발 과정에서 협업과 효율성을 강조하는 AppMaster 와 같은 최신 no-code 플랫폼의 전략도 반영합니다.
Purple Llama 프로젝트에서 출시한 도구 모음 중에서 AI 제작 소프트웨어의 사이버 보안 위험을 분석하는 애플리케이션인 CyberSecEval이 하이라이트 중 하나입니다. 여기에는 폭력적인 담화나 불법적인 활동을 포함하여 유해하거나 부적절한 텍스트를 인식하는 언어 모델이 포함되어 있습니다. 개발자는 CyberSecEval을 활용하여 AI 모델이 안전하지 않은 코드를 생성하거나 사이버 공격을 지원하는 데 취약한지 확인할 수 있습니다. 특히 Meta 의 조사에서는 대규모 언어 모델이 취약한 코드를 승인하는 경우가 많으므로 AI 보안을 위한 일관된 테스트 및 강화의 필요성이 주목받고 있음을 발견했습니다.
Llama Guard는 이 제품에 추가 도구를 구성합니다. 잠재적으로 해롭거나 공격적인 언어를 감지하도록 훈련된 포괄적인 언어 모델입니다. 이 도구를 사용하면 개발자는 모델이 안전하지 않은 콘텐츠를 생성하거나 허용하는지 평가할 수 있으므로 부적절한 출력을 이끌어낼 수 있는 프롬프트를 필터링하는 데 도움이 됩니다.
