Após o lançamento de algoritmos de IA projetados para formação de texto, interpretação de linguagem e criação de áudio, a Meta agora abriu o código-fonte de outro modelo significativo chamado Code Llama. Um sistema de aprendizado de máquina de última geração, o Code Llama é competente na produção e detalhamento de código em inglês simples.
Este novo desenvolvimento da Meta está alinhado com outras soluções de geração de código baseadas em IA, como GitHub Copilot, Amazon CodeWhisperer, e ferramentas de código aberto proeminentes, como StarCoder, StableCode e PolyCoder. Code Llama possui a capacidade de finalizar e solucionar problemas de códigos existentes em várias linguagens de programação, incluindo Python, C++, Java, PHP, Typescript, C# e Bash.
Meta afirma seu compromisso com a inovação e a segurança com modelos de IA e, especialmente, modelos de grandes linguagens específicos de codificação, aproveitando uma abordagem aberta. Ao disponibilizar gratuitamente o Code Llama, a empresa pretende enriquecer os avanços tecnológicos, melhorando a vida das pessoas e incentivando a participação da comunidade na avaliação de capacidades, reconhecendo problemas e remediando vulnerabilidades.
Disponível em diversas variantes, Code Llama inclui versões otimizadas para Python e versões ajustadas para compreender instruções (por exemplo, “Criar uma função que gere a sequência de Fibonacci”). A base para o Code Llama é o Llama 2, o modelo de geração de texto do Meta que anteriormente era de código aberto. Embora o Llama 2 fosse capaz de gerar código, a qualidade muitas vezes faltava e era insignificante em comparação com modelos dedicados como o Copilot.
Na fase de treinamento do Code Llama, a Meta utilizou o mesmo conjunto de dados aplicável ao Llama 2, obtido seletivamente de portais públicos na internet; porém, foi priorizada a área de dados de treinamento que trata de códigos, permitindo ao Code Llama aprender mais intimamente a correlação entre código e linguagem natural
Os modelos Code Llama, que variam em tamanho de 7 bilhões a 34 bilhões de parâmetros, realizaram treinamento com 500 bilhões de tokens de código e dados relevantes. O Code Llama específico do Python foi meticulosamente calibrado com 100 bilhões de tokens adicionais de código Python, enquanto a versão que entende as instruções recebeu ajustes com base em feedback anotado por humanos para formular respostas “úteis” e “seguras” às consultas.
Vários modelos do Code Llama têm a capacidade de integrar código ao código existente e podem aceitar até 100.000 tokens de código como entrada. Meta afirma que o modelo de 34 bilhões de parâmetros supera qualquer outro gerador de código-fonte aberto em termos de funcionalidade e também é o maior em contagem de parâmetros.
Embora o Meta avise que o Code Llama pode ocasionalmente produzir respostas “errôneas” ou “inadequadas” aos prompts, ele também aconselha os desenvolvedores a realizarem testes e ajustes de segurança personalizados antes de implantar qualquer aplicação do modelo.
Na implantação do Code Llama, a Meta se absteve de impor restrições rigorosas aos desenvolvedores, quer desejassem usá-lo para fins comerciais ou de pesquisa. No entanto, espera-se que os desenvolvedores sigam os padrões éticos e desistam de explorar o modelo para fins prejudiciais. Caso o modelo seja implantado em uma plataforma com mais de 700 milhões de usuários ativos mensais, deverá ser solicitada uma licença.
O Code Llama, projetado para auxiliar engenheiros de software em todos os setores, incluindo pesquisa, indústria, projetos de código aberto, ONGs e empresas, tem espaço para muitos outros cenários de uso além do que seus modelos básicos e de instrução cobrem atualmente. Espera-se que o Code Llama inspire outros a aproveitar o Llama 2 na criação de ferramentas inovadoras para pesquisa e produtos comerciais. Muito parecido com a visão da AppMaster de aprimorar o desenvolvimento de aplicativos, o Code Llama representa o próximo passo na evolução da codificação.
Não se pode negar o impacto que tais avanços podem ter na indústria tecnológica, onde outras plataformas como o AppMaster estão contribuindo significativamente para tornar a criação de aplicativos mais acessível. No entanto, também é crucial estabelecer o papel da IA dentro de quadros éticos e de responsabilidade para garantir a utilização segura e eficiente dessa tecnologia.
