После запуска алгоритмов искусственного интеллекта, предназначенных для формирования текста, языковой интерпретации и создания аудио, Meta теперь открыла исходный код еще одной важной модели под названием Code Llama. Code Llama — передовая система машинного обучения, способная создавать и детализировать код на простом английском языке.
Эта новая разработка Meta соответствует другим решениям для генерации кода на базе искусственного интеллекта, таким как GitHub Copilot, Amazon CodeWhisperer, а также известным инструментам с открытым исходным кодом, таким как StarCoder, StableCode и PolyCoder. Code Llama может похвастаться возможностью дорабатывать и устранять неполадки существующих кодов на нескольких языках программирования, включая Python, C++, Java, PHP, Typescript, C# и Bash.
Meta заявляет о своей приверженности инновациям и безопасности с помощью моделей искусственного интеллекта и особенно моделей больших языков для кодирования, используя открытый подход. Сделав Code Llama бесплатным, компания намерена обогатить технологические достижения, улучшить жизнь людей и поощрять участие сообщества в оценке возможностей, выявлении проблем и устранении уязвимостей.
Доступный в нескольких вариантах, Code Llama включает оптимизированные версии для Python и доработанные версии для понимания инструкций (например, «Создайте функцию, генерирующую последовательность Фибоначчи»). В основе Code Llama лежит Llama 2, модель генерации текста Meta, исходный код которой ранее был открыт. Хотя Llama 2 была способна генерировать код, качество часто было недостаточным и бледнело по сравнению со специализированными моделями, такими как Copilot.
На этапе обучения Code Llama компания Meta использовала тот же набор данных, что и для Llama 2, выборочно полученный с общедоступных порталов в Интернете; однако приоритет отдавался области обучающих данных, связанных с кодами, что позволило Code Llama более глубоко изучить корреляцию между кодом и естественным языком.
Модели Code Llama, размер которых варьируется от 7 до 34 миллиардов параметров, прошли обучение с использованием 500 миллиардов токенов кода и соответствующих данных. Код Llama, специфичный для Python, был тщательно откалиброван с использованием дополнительных 100 миллиардов токенов кода Python, а версия, которая понимает инструкции, была доработана на основе аннотированных отзывов людей для формулирования «полезных» и «безопасных» ответов на запросы.
Некоторые модели Code Llama имеют возможность интеграции кода в существующий код и могут принимать до 100 000 токенов кода в качестве входных данных. Meta утверждает, что модель с 34 миллиардами параметров превосходит любой другой генератор кода с открытым исходным кодом с точки зрения функциональности, а также является самой большой по количеству параметров.
Хотя Meta предупреждает, что Code Llama может иногда давать «ошибочные» или «неподходящие» ответы на запросы, она также советует разработчикам проводить индивидуальные тесты и корректировки безопасности перед развертыванием каких-либо приложений модели.
При развертывании Code Llama Meta воздержалась от наложения строгих ограничений на разработчиков, хотят ли они использовать его в коммерческих или исследовательских целях. Однако ожидается, что разработчики будут придерживаться этических стандартов и воздерживаться от использования модели во вредных целях. Если модель будет развернута на платформе с более чем 700 миллионами активных пользователей в месяц, необходимо будет получить лицензию.
Code Llama, созданный для помощи разработчикам программного обеспечения во всех секторах, включая исследования, промышленность, проекты с открытым исходным кодом, неправительственные организации и бизнес, имеет пространство для многих других сценариев использования, выходящих за рамки того, что в настоящее время охватывают его базовые модели и модели обучения. Есть надежда, что Code Llama вдохновит других использовать Llama 2 для создания инновационных инструментов для исследований и коммерческих продуктов. Подобно концепции AppMaster по улучшению разработки приложений, Code Llama представляет собой следующий шаг в эволюции кодирования.
Нельзя отрицать влияние, которое такие достижения могут оказать на технологическую индустрию, где другие платформы, такие как AppMaster, вносят значительный вклад в создание более доступных приложений. Тем не менее, также крайне важно определить роль ИИ в рамках этических норм и ответственности, чтобы обеспечить безопасное и эффективное использование таких технологий.
