Tras el lanzamiento de algoritmos de inteligencia artificial diseñados para la formación de texto, la interpretación de idiomas y la creación de audio, Meta ahora ha abierto otro modelo importante llamado Code Llama. Code Llama, un sistema de aprendizaje automático de vanguardia, es competente para producir y detallar código en un inglés sencillo.
Este nuevo desarrollo de Meta está en línea con otras soluciones de generación de código impulsadas por IA, como GitHub Copilot, Amazon CodeWhisperer y destacadas herramientas de código abierto como StarCoder, StableCode y PolyCoder. Code Llama cuenta con la capacidad de finalizar y solucionar problemas de códigos existentes en varios lenguajes de programación, incluidos Python, C++, Java, PHP, Typecript, C# y Bash.
Meta afirma su compromiso con la innovación y la seguridad con modelos de IA y, especialmente, modelos de lenguaje grande específicos de codificación, aprovechando un enfoque abierto. Al hacer que Code Llama esté disponible de forma gratuita, la empresa pretende enriquecer los avances tecnológicos, mejorar la vida de las personas y fomentar la participación de la comunidad en la evaluación de capacidades, el reconocimiento de problemas y la solución de vulnerabilidades.
Disponible en múltiples variantes, Code Llama incluye versiones optimizadas para Python y versiones ajustadas para comprender instrucciones (por ejemplo, "Crear una función que genere la secuencia de Fibonacci"). La base de Code Llama es Llama 2, el modelo de generación de texto de Meta que anteriormente era de código abierto. Aunque Llama 2 era capaz de generar código, la calidad a menudo era deficiente y palidecía en comparación con modelos dedicados como Copilot.
En su fase de capacitación para Code Llama, Meta utilizó el mismo conjunto de datos aplicable para Llama 2, obtenido selectivamente de portales públicos en Internet; sin embargo, se priorizó el área de los datos de entrenamiento que tratan con códigos, lo que permitió a Code Llama aprender más íntimamente la correlación entre el código y el lenguaje natural.
Los modelos de Code Llama, que varían en tamaño desde 7 mil millones a 34 mil millones de parámetros, se entrenaron con 500 mil millones de tokens de código y datos relevantes. Code Llama específico de Python se calibró meticulosamente con 100 mil millones de tokens adicionales de código Python, mientras que la versión que comprende las instrucciones recibió ajustes basados en comentarios anotados por humanos para formular respuestas "útiles" y "seguras" a las consultas.
Varios de los modelos de Code Llama tienen la capacidad de integrar código en código existente y pueden aceptar hasta 100.000 tokens de código como entrada. Meta afirma que el modelo de 34 mil millones de parámetros supera a cualquier otro generador de código fuente abierto en términos de funcionalidad, y también es el mayor en número de parámetros.
Si bien Meta advierte que Code Llama ocasionalmente puede producir respuestas "erróneas" o "inadecuadas" a las indicaciones, también aconseja a los desarrolladores que realicen pruebas y ajustes de seguridad personalizados antes de implementar cualquier aplicación del modelo.
En el despliegue de Code Llama, Meta se ha abstenido de imponer restricciones estrictas a los desarrolladores, ya sea que deseen utilizarlo con fines comerciales o de investigación. Sin embargo, se espera que los desarrolladores cumplan con los estándares éticos y desistan de explotar el modelo para fines dañinos. Si el modelo se implementa en una plataforma con más de 700 millones de usuarios activos mensuales, se debe solicitar una licencia.
Code Llama, diseñado para ayudar a los ingenieros de software en todos los sectores, incluida la investigación, la industria, los proyectos de código abierto, las ONG y las empresas, tiene espacio para muchos más escenarios de uso más allá de lo que cubren actualmente sus modelos básicos y de instrucción. Se espera que Code Llama inspire a otros a aprovechar Llama 2 para crear herramientas innovadoras para la investigación y productos comerciales. Al igual que la visión de AppMaster de mejorar el desarrollo de aplicaciones, Code Llama representa el siguiente paso en la evolución de la codificación.
No se puede negar el impacto que estos avances pueden tener en la industria tecnológica, donde otras plataformas como AppMaster están contribuyendo significativamente a hacer que la creación de aplicaciones sea más accesible. Sin embargo, también es crucial establecer el papel de la IA dentro de marcos éticos y de responsabilidad para garantizar el uso seguro y eficiente de dicha tecnología.
