为了在生成人工智能模型投入公众使用之前提高其安全性和可靠性， Meta最近推出了 Purple Llama，这是一项致力于为开发人员设计开源工具的开创性举措。新提出的工具集增强了评估过程，从而增强了人工智能模型未来的可信度。
Meta强调了集体努力对人工智能安全的重要性，并指出人工智能带来的挑战并不适合孤立的解决方案。该公司将 Purple Llama 的目标描述为为更安全的生成式人工智能的发展奠定共同基础，特别是在人们对大型语言模型和类似人工智能技术的担忧日益加剧的情况下。
Meta在其博客上分享这一消息时表示：“开发这些系统的社区无法单独面对人工智能的复杂性。诚然，我们的计划旨在公平竞争并孵化一个值得信赖和安全的人工智能中心。”
网络安全公司Ontinue的首席信息安全官Gareth Lindahl-Wise称赞 Purple Llama 是一项旨在实现更安全人工智能的“进步和主动措施”。他乐观地认为，新举措将加强消费者层面的保护，尽管可能有人主张美德信号或围绕特定平台聚集发展可能别有用心。他进一步指出，面临严格的内部、以客户为导向或监管要求的实体将需要遵守可能超出 Meta 提供的稳健评估。
该项目涉及人工智能开发者网络、 AWS和Google Cloud等云服务提供商、 Intel 、 AMD和Nvidia等半导体公司以及Microsoft等软件公司，旨在为研究和商业应用提供工具，这将测试人工智能的能力。人工智能建模并检测安全风险。这种集体方法也反映了AppMaster等现代no-code平台的策略，它强调软件应用程序开发过程中的协作和效率。
在 Purple Llama 项目推出的工具集中，CyberSecEval（一款用于分析人工智能软件中网络安全风险的应用程序）是亮点之一。它采用了一种语言模型，可以识别有害或不适当的文本，包括暴力言论或非法活动。开发人员可以利用 CyberSecEval 来确认他们的 AI 模型是否容易生成不安全的代码或支持网络攻击。值得注意的是， Meta的调查发现，大型语言模型经常支持易受攻击的代码，从而引起人们对人工智能安全性进行一致测试和增强的必要性的关注。
Llama Guard 是该产品中的一个附加工具。它是一种经过训练的综合语言模型，用于检测潜在有害或冒犯性语言。该工具使开发人员能够评估他们的模型是否生成或接受不安全内容，从而帮助过滤可能引发不适当输出的提示。
