Nach der Einführung von KI-Algorithmen zur Textbildung, Sprachinterpretation und Audioerstellung hat Meta nun ein weiteres bedeutendes Modell namens Code Llama als Open-Source-Lösung veröffentlicht. Code Llama ist ein hochmodernes maschinelles Lernsystem und beherrscht die Erstellung und Detaillierung von Code in einfachem Englisch.
Diese neue Entwicklung von Meta steht im Einklang mit anderen KI-gestützten Code-Generierungslösungen wie GitHub Copilot, Amazon CodeWhisperer und bekannten Open-Source-Tools wie StarCoder, StableCode und PolyCoder. Code Llama bietet die Möglichkeit, vorhandene Codes in mehreren Programmiersprachen einschließlich Python, C++, Java, PHP, Typescript, C# und Bash zu finalisieren und Fehler zu beheben.
Meta bekräftigt sein Engagement für Innovation und Sicherheit mit KI-Modellen und insbesondere codierungsspezifischen großen Sprachmodellen und nutzt dabei einen offenen Ansatz. Durch die kostenlose Bereitstellung von Code Llama möchte das Unternehmen den technologischen Fortschritt bereichern, das Leben der Menschen bereichern und die Beteiligung der Gemeinschaft an der Bewertung von Fähigkeiten, der Erkennung von Problemen und der Behebung von Schwachstellen fördern.
Code Llama ist in mehreren Varianten verfügbar und umfasst optimierte Versionen für Python und fein abgestimmte Versionen zum Verstehen von Anweisungen (z. B. „Erstellen Sie eine Funktion, die die Fibonacci-Folge generiert“). Die Basis für Code Llama ist Llama 2, Metas textgenerierendes Modell, das früher als Open-Source-Lösung verfügbar war. Obwohl Llama 2 in der Lage war, Code zu generieren, war die Qualität im Vergleich zu dedizierten Modellen wie Copilot oft mangelhaft und verblasste.
In seiner Trainingsphase für Code Llama verwendete Meta denselben Datensatz, der auch für Llama 2 gilt und selektiv von öffentlichen Portalen im Internet bezogen wurde; Der Bereich der Trainingsdaten, der sich mit Codes befasst, wurde jedoch priorisiert, sodass Code Llama die Korrelation zwischen Code und natürlicher Sprache genauer erlernen konnte
Code-Lama-Modelle, deren Größe zwischen 7 und 34 Milliarden Parametern variiert, wurden mit 500 Milliarden Code-Tokens und relevanten Daten trainiert. Der Python-spezifische Code Llama wurde sorgfältig mit weiteren 100 Milliarden Python-Code-Tokens kalibriert, während die Version, die Anweisungen versteht, eine Feinabstimmung auf der Grundlage von von Menschen kommentiertem Feedback erhielt, um „nützliche“ und „sichere“ Antworten auf Anfragen zu formulieren.
Mehrere der Code-Llama-Modelle verfügen über die Fähigkeit, Code in vorhandenen Code zu integrieren und können bis zu 100.000 Code-Tokens als Eingabe akzeptieren. Meta behauptet, dass das 34-Milliarden-Parametermodell alle anderen Open-Source-Codegeneratoren hinsichtlich der Funktionalität übertrifft und auch die größte Parameteranzahl aufweist.
Während Meta warnt, dass Code Llama gelegentlich „fehlerhafte“ oder „ungeeignete“ Antworten auf Eingabeaufforderungen geben kann, empfiehlt es Entwicklern auch, maßgeschneiderte Sicherheitstests und Anpassungen durchzuführen, bevor sie Anwendungen des Modells bereitstellen.
Bei der Bereitstellung von Code Llama hat Meta darauf verzichtet, den Entwicklern strenge Beschränkungen aufzuerlegen, unabhängig davon, ob sie es für kommerzielle oder Forschungszwecke verwenden möchten. Von den Entwicklern wird jedoch erwartet, dass sie sich an ethische Standards halten und das Modell nicht für schädliche Zwecke missbrauchen. Sollte das Modell auf einer Plattform mit mehr als 700 Millionen monatlich aktiven Nutzern eingesetzt werden, muss eine Lizenz beantragt werden.
Code Llama wurde entwickelt, um Softwareentwickler in allen Bereichen zu unterstützen, darunter Forschung, Industrie, Open-Source-Projekte, NGOs und Unternehmen gleichermaßen, und bietet Raum für viele weitere Einsatzszenarien, die über das hinausgehen, was seine Basis- und Anleitungsmodelle derzeit abdecken. Man hofft, dass Code Llama andere dazu inspirieren wird, Llama 2 bei der Entwicklung innovativer Tools für Forschung und kommerzielle Produkte zu nutzen. Ähnlich wie AppMasters Vision, die Anwendungsentwicklung zu verbessern, stellt Code Llama den nächsten Schritt in der Entwicklung der Codierung dar.
Man kann nicht leugnen, welche Auswirkungen solche Fortschritte auf die Technologiebranche haben können, wo andere Plattformen wie AppMaster erheblich dazu beitragen, die Anwendungserstellung leichter zugänglich zu machen. Es ist jedoch auch von entscheidender Bedeutung, die Rolle der KI innerhalb ethischer und verantwortungsvoller Rahmenbedingungen zu etablieren, um den sicheren und effizienten Einsatz dieser Technologie zu gewährleisten.
