Sulla scia del lancio di algoritmi di intelligenza artificiale progettati per la formazione del testo, l'interpretazione del linguaggio e la creazione di audio, Meta ha ora reso open source un altro modello significativo chiamato Code Llama. Un sistema di apprendimento automatico all'avanguardia, Code Llama è competente nella produzione e nel dettaglio del codice in un inglese semplice.
Questo nuovo sviluppo di Meta è in linea con altre soluzioni di generazione di codice basate sull'intelligenza artificiale come GitHub Copilot, Amazon CodeWhisperer e importanti strumenti open source come StarCoder, StableCode e PolyCoder. Code Llama vanta la capacità di finalizzare e risolvere i problemi dei codici esistenti in diversi linguaggi di programmazione tra cui Python, C++, Java, PHP, Typescript, C# e Bash.
Meta afferma il proprio impegno per l'innovazione e la sicurezza con modelli di intelligenza artificiale e in particolare modelli di linguaggio di grandi dimensioni specifici per la codifica, sfruttando un approccio aperto. Rendendo Code Llama disponibile gratuitamente, l'azienda intende arricchire i progressi tecnologici, migliorare la vita delle persone e incoraggiare la partecipazione della comunità nella valutazione delle capacità, nel riconoscimento dei problemi e nel rimedio alle vulnerabilità.
Disponibile in più varianti, Code Llama include versioni ottimizzate per Python e versioni ottimizzate per comprendere le istruzioni (ad esempio, "Crea una funzione che generi la sequenza di Fibonacci"). La base per Code Llama è Llama 2, il modello di generazione di testo di Meta che in precedenza era open source. Sebbene Llama 2 fosse in grado di generare codice, la qualità era spesso carente e impallidiva rispetto a modelli dedicati come Copilot.
Nella fase di addestramento per Code Llama, Meta ha utilizzato lo stesso set di dati applicabile a Llama 2, proveniente selettivamente da portali pubblici su Internet; tuttavia, è stata data priorità all'area dei dati di addestramento relativi ai codici, consentendo a Code Llama di apprendere più intimamente la correlazione tra codice e linguaggio naturale
I modelli Code Llama, che variano in dimensioni da 7 miliardi a 34 miliardi di parametri, sono stati addestrati con 500 miliardi di token di codice e dati rilevanti. Code Llama specifico per Python è stato meticolosamente calibrato con ulteriori 100 miliardi di token di codice Python, mentre la versione che comprende le istruzioni ha ricevuto una messa a punto basata sul feedback umano annotato per formulare risposte "utili" e "sicure" alle query.
Molti modelli Code Llama hanno la capacità di integrare il codice nel codice esistente e possono accettare fino a 100.000 token di codice come input. Meta afferma che il modello da 34 miliardi di parametri supera qualsiasi altro generatore di codice open source in termini di funzionalità ed è anche il più grande nel numero di parametri.
Sebbene Meta avverta che Code Llama può occasionalmente produrre risposte "errate" o "non idonee" ai suggerimenti, consiglia anche agli sviluppatori di condurre test e aggiustamenti di sicurezza su misura prima di distribuire qualsiasi applicazione del modello.
Nell'implementazione di Code Llama, Meta si è astenuta dall'imporre restrizioni rigorose agli sviluppatori, sia che desiderino utilizzarlo per scopi commerciali o di ricerca. Tuttavia, ci si aspetta che gli sviluppatori aderiscano agli standard etici e desistano dallo sfruttare il modello per scopi dannosi. Nel caso in cui il modello venga implementato su una piattaforma con più di 700 milioni di utenti attivi mensili, sarà necessario richiedere una licenza.
Code Llama, essendo progettato per aiutare gli ingegneri del software in tutti i settori, tra cui ricerca, industria, progetti open source, ONG e imprese, ha spazio per molti altri scenari di utilizzo oltre a quelli attualmente coperti dai suoi modelli di base e di istruzioni. Si spera che Code Llama ispiri altri a sfruttare Llama 2 nella creazione di strumenti innovativi per la ricerca e prodotti commerciali. Proprio come la visione di AppMaster di migliorare lo sviluppo delle applicazioni, Code Llama rappresenta il passo successivo nell'evoluzione della codifica.
Non si può negare l’impatto che tali progressi possono avere nel settore tecnologico, dove altre piattaforme come AppMaster stanno contribuendo in modo significativo a rendere più accessibile la creazione di applicazioni. Tuttavia, è anche fondamentale stabilire il ruolo dell’intelligenza artificiale all’interno di quadri etici e di responsabilità per garantire l’uso sicuro ed efficiente di tale tecnologia.
