In de nasleep van de lancering van AI-algoritmen die zijn ontworpen voor tekstvorming, taalinterpretatie en audiocreatie, heeft Meta nu een ander belangrijk model open source genaamd Code Llama. Code Llama is een geavanceerd machine learning-systeem en is bekwaam in het produceren en detailleren van code in eenvoudig Engels.
Deze nieuwe ontwikkeling van Meta is in lijn met andere AI-aangedreven codegenererende oplossingen zoals GitHub Copilot, Amazon CodeWhisperer en prominente open source-tools zoals StarCoder, StableCode en PolyCoder. Code Llama beschikt over de mogelijkheid om bestaande codes af te ronden en problemen op te lossen in verschillende programmeertalen, waaronder Python, C++, Java, PHP, Typescript, C# en Bash.
Meta bevestigt haar toewijding aan innovatie en veiligheid met AI-modellen en vooral coderingsspecifieke grote taalmodellen, waarbij gebruik wordt gemaakt van een open benadering. Door Code Llama gratis beschikbaar te stellen, wil het bedrijf de technologische vooruitgang verrijken, de levens van mensen verbeteren en de deelname van de gemeenschap aanmoedigen bij het beoordelen van capaciteiten, het herkennen van problemen en het verhelpen van kwetsbaarheden.
Code Llama is beschikbaar in meerdere varianten en bevat geoptimaliseerde versies voor Python en verfijnde versies om instructies te begrijpen (bijvoorbeeld: "Maak een functie die de Fibonacci-reeks genereert"). De basis voor Code Llama is Llama 2, het tekstgenererende model van Meta dat eerder open source was. Hoewel Llama 2 code kon genereren, ontbrak de kwaliteit vaak en verbleekte deze in vergelijking met speciale modellen zoals Copilot.
In de trainingsfase voor Code Llama gebruikte Meta dezelfde dataset die van toepassing was op Llama 2, selectief afkomstig van openbare portalen op internet; het gebied van de trainingsgegevens dat met codes te maken had, kreeg echter prioriteit, waardoor Code Llama de correlatie tussen code en natuurlijke taal beter kon leren kennen
Code Llama-modellen, die in grootte variëren van 7 miljard tot 34 miljard parameters, zijn getraind met 500 miljard tokens aan code en relevante gegevens. Python-specifieke Code Llama werd zorgvuldig gekalibreerd met nog eens 100 miljard tokens Python Code, terwijl de versie die instructies begrijpt, werd verfijnd op basis van door mensen geannoteerde feedback voor het formuleren van ‘nuttige’ en ‘veilige’ antwoorden op vragen.
Verschillende Code Llama-modellen hebben de mogelijkheid om code in bestaande code te integreren en kunnen tot 100.000 codetokens als invoer accepteren. Meta beweert dat het 34 miljard parametermodel qua functionaliteit boven alle andere open-source codegeneratoren staat, en ook het grootste is wat betreft het aantal parameters.
Hoewel Meta waarschuwt dat Code Llama af en toe “foutieve” of “ongeschikte” reacties op prompts kan produceren, adviseert het ontwikkelaars ook om op maat gemaakte veiligheidstests en aanpassingen uit te voeren voordat toepassingen van het model worden geïmplementeerd.
Bij de inzet van Code Llama heeft Meta ervan afgezien strenge beperkingen op te leggen aan ontwikkelaars, of ze deze nu voor commerciële of onderzoeksdoeleinden willen gebruiken. Van ontwikkelaars wordt echter verwacht dat zij zich aan ethische normen houden en het model niet voor schadelijke doeleinden misbruiken. Mocht het model worden ingezet op een platform met maandelijks ruim 700 miljoen actieve gebruikers, dan moet een licentie worden aangevraagd.
Code Llama, ontworpen om software-ingenieurs in alle sectoren te helpen, inclusief onderzoek, industrie, open source-projecten, NGO's en bedrijven, heeft ruimte voor veel meer gebruiksscenario's dan wat de basis- en instructiemodellen momenteel bestrijken. We hopen dat Code Llama anderen zal inspireren om Llama 2 te gebruiken bij het creëren van innovatieve tools voor onderzoek en commerciële producten. Net zoals AppMaster 's visie op het verbeteren van applicatieontwikkeling, vertegenwoordigt Code Llama de volgende stap in de evolutie van coderen.
Je kunt niet ontkennen welke impact dergelijke ontwikkelingen kunnen hebben in de technologie-industrie, waar andere platforms zoals AppMaster aanzienlijk bijdragen aan het toegankelijker maken van applicaties. Toch is het ook van cruciaal belang om de rol van AI vast te stellen binnen ethische en verantwoordelijkheidskaders om het veilige en efficiënte gebruik van dergelijke technologie te garanderen.
