Стремясь повысить безопасность и надежность генеративных моделей искусственного интеллекта до того, как они станут общедоступными, Meta недавно представила Purple Llama, новаторскую инициативу, направленную на разработку инструментов с открытым исходным кодом для разработчиков. Недавно предложенный набор инструментов улучшает процесс оценки, тем самым повышая надежность моделей ИИ в будущем.
Meta подчеркнула важность коллективных усилий по обеспечению безопасности ИИ, заявив, что проблемы, создаваемые искусственным интеллектом, не поддаются изолированным решениям. Компания представила цель Purple Llama как заложить основу для взаимного фундамента в эволюции более безопасного генеративного искусственного интеллекта, особенно на фоне растущих опасений по поводу больших языковых моделей и родственных технологий искусственного интеллекта.
Делясь новостями в своем блоге, Meta заявила: «Сообщество, разрабатывающее эти системы, неспособно самостоятельно противостоять сложностям ИИ. По общему признанию, наша инициатива направлена на то, чтобы выровнять конкуренцию и создать эпицентр надежного и безопасного искусственного интеллекта».
Gareth Lindahl-Wise, директор по информационной безопасности компании Ontinue, занимающейся кибербезопасностью, похвалил Purple Llama как «прогрессивную и активную меру», направленную на повышение безопасности ИИ. Он выразил оптимизм в отношении того, что новая инициатива улучшит защиту на уровне потребителей, хотя могут быть утверждения относительно сигнализации достоинств или возможных скрытых мотивов в сборе разработок вокруг конкретной платформы. Он также отметил, что организациям, сталкивающимся со строгими внутренними, ориентированными на клиента или нормативными требованиями, необходимо будет придерживаться надежных оценок, которые, вероятно, превзойдут предложения Meta.
Проект с участием сети разработчиков искусственного интеллекта, поставщиков облачных услуг, таких как AWS и Google Cloud, полупроводниковых корпораций Intel, AMD и Nvidia, а также компаний-разработчиков программного обеспечения, включая Microsoft, направлен на предоставление инструментов как для исследований, так и для коммерческого применения, которые проверят возможности ИИ моделирует и выявляет риски безопасности. Этот коллективный подход также отражает стратегию современных платформ no-code таких как AppMaster, которые подчеркивают сотрудничество и эффективность в разработке программных приложений.
Среди набора инструментов, представленных в рамках проекта Purple Llama, одним из самых ярких является CyberSecEval, приложение для анализа рисков кибербезопасности в программном обеспечении, созданном искусственным интеллектом. Он включает языковую модель, которая распознает вредный или неприемлемый текст, включающий в себя агрессивные высказывания или незаконные действия. Разработчики могут использовать CyberSecEval, чтобы проверить, подвержены ли их модели ИИ генерации небезопасного кода или поддержке кибератак. Примечательно, что расследование Meta обнаружило, что большие языковые модели часто поддерживают уязвимый код, тем самым привлекая внимание к необходимости последовательного тестирования и улучшения безопасности ИИ.
Llama Guard является дополнительным инструментом в этом предложении. Это комплексная языковая модель, обученная обнаруживать потенциально вредные или оскорбительные выражения. Этот инструмент позволяет разработчикам оценить, генерируют или принимают ли их модели небезопасный контент, тем самым помогая фильтровать подсказки, которые могут привести к нежелательным результатам.
