À la suite du lancement d'algorithmes d'IA conçus pour la formation de texte, l'interprétation du langage et la création audio, Meta a désormais mis en open source un autre modèle important nommé Code Llama. Système d'apprentissage automatique de pointe, Code Llama est compétent dans la production et le détail du code dans un anglais simple.
Ce nouveau développement de Meta est conforme à d'autres solutions de génération de code basées sur l'IA telles que GitHub Copilot, Amazon CodeWhisperer et à d'importants outils open source tels que StarCoder, StableCode et PolyCoder. Code Llama a la capacité de finaliser et de dépanner les codes existants dans plusieurs langages de programmation, notamment Python, C++, Java, PHP, Typescript, C# et Bash.
Meta affirme son engagement en faveur de l'innovation et de la sécurité avec des modèles d'IA et en particulier de grands modèles de langage spécifiques au codage, en tirant parti d'une approche ouverte. En rendant Code Llama disponible gratuitement, la société a l'intention d'enrichir les progrès technologiques, d'améliorer la vie des gens et d'encourager la participation de la communauté à l'évaluation des capacités, à la reconnaissance des problèmes et à la résolution des vulnérabilités.
Disponible en plusieurs variantes, Code Llama comprend des versions optimisées pour Python et des versions affinées pour comprendre les instructions (par exemple, « Créer une fonction qui génère la séquence de Fibonacci »). La base de Code Llama est Llama 2, le modèle de génération de texte de Meta qui était auparavant open source. Bien que Llama 2 soit capable de générer du code, la qualité était souvent insuffisante et pâle par rapport aux modèles dédiés comme Copilot.
Dans sa phase de formation pour Code Llama, Meta a utilisé le même ensemble de données applicable pour Llama 2, provenant de manière sélective de portails publics sur Internet ; cependant, le domaine des données de formation traitant des codes a été priorisé, permettant à Code Llama d'apprendre plus intimement la corrélation entre le code et le langage naturel.
Les modèles Code Llama, dont la taille varie de 7 milliards à 34 milliards de paramètres, ont suivi une formation avec 500 milliards de jetons de code et de données pertinentes. Code Llama spécifique à Python a été méticuleusement calibré avec 100 milliards de jetons supplémentaires de code Python, tandis que la version qui comprend les instructions a été affinée sur la base de commentaires annotés humains pour formuler des réponses « utiles » et « sécurisées » aux requêtes.
Plusieurs modèles Code Llama ont la capacité d'intégrer du code dans le code existant et peuvent accepter jusqu'à 100 000 jetons de code en entrée. Meta affirme que le modèle de 34 milliards de paramètres est en tête de tout autre générateur de code open source en termes de fonctionnalités, et qu'il est également le plus grand en nombre de paramètres.
Bien que Meta prévienne que Code Llama peut occasionnellement produire des réponses « erronées » ou « inappropriées » aux invites, il conseille également aux développeurs d'effectuer des tests de sécurité et des ajustements sur mesure avant de déployer des applications du modèle.
Lors du déploiement de Code Llama, Meta s'est abstenu d'imposer des restrictions strictes aux développeurs, qu'ils souhaitent l'utiliser à des fins commerciales ou de recherche. Cependant, les développeurs sont censés adhérer à des normes éthiques et s’abstenir d’exploiter le modèle à des fins préjudiciables. Si le modèle est déployé sur une plateforme comptant plus de 700 millions d’utilisateurs actifs mensuels, une licence doit être recherchée.
Code Llama, conçu pour aider les ingénieurs logiciels de tous les secteurs, notamment la recherche, l'industrie, les projets open source, les ONG et les entreprises, offre de la place pour de nombreux autres scénarios d'utilisation au-delà de ce que couvrent actuellement ses modèles de base et d'instructions. On espère que Code Llama inspirera d'autres personnes à tirer parti de Llama 2 pour créer des outils innovants pour la recherche et des produits commerciaux. Tout comme la vision d' AppMaster visant à améliorer le développement d'applications, Code Llama représente la prochaine étape dans l'évolution du codage.
On ne peut nier l'impact que de telles avancées peuvent avoir sur le secteur technologique, où d'autres plateformes comme AppMaster contribuent de manière significative à rendre la création d'applications plus accessible. Pourtant, il est également crucial d’établir le rôle de l’IA dans des cadres éthiques et responsables afin de garantir une utilisation sûre et efficace de cette technologie.
