W następstwie uruchomienia algorytmów sztucznej inteligencji przeznaczonych do tworzenia tekstu, interpretacji języków i tworzenia dźwięku, Meta udostępniła teraz na zasadach open source inny znaczący model o nazwie Code Llama. Najnowocześniejszy system uczenia maszynowego Code Llama jest kompetentny w tworzeniu i opracowywaniu szczegółów kodu w prostym języku angielskim.
To nowe rozwiązanie Meta jest zgodne z innymi rozwiązaniami do generowania kodu opartymi na sztucznej inteligencji, takimi jak GitHub Copilot, Amazon CodeWhisperer i wiodącymi narzędziami open source, takimi jak StarCoder, StableCode i PolyCoder. Code Llama oferuje możliwość finalizowania i rozwiązywania problemów z istniejącymi kodami w kilku językach programowania, w tym Python, C++, Java, PHP, Typescript, C# i Bash.
Meta potwierdza swoje zaangażowanie w innowacje i bezpieczeństwo dzięki modelom sztucznej inteligencji, a zwłaszcza modelom dużych języków specyficznych dla kodowania, wykorzystując otwarte podejście. Udostępniając bezpłatnie Code Llama, firma zamierza wzbogacić postęp technologiczny, poprawiając jakość życia ludzi i zachęcając społeczność do udziału w ocenie możliwości, rozpoznawaniu problemów i usuwaniu słabych punktów.
Dostępny w wielu wariantach, Code Llama zawiera wersje zoptymalizowane dla języka Python i wersje dostrojone w celu zrozumienia instrukcji (na przykład „Utwórz funkcję generującą ciąg Fibonacciego”). Podstawą Code Llama jest Llama 2, model generowania tekstu Meta, który wcześniej był open source. Chociaż Llama 2 była w stanie wygenerować kod, jakość często była słaba i blada w porównaniu z dedykowanymi modelami, takimi jak Copilot.
Na etapie szkolenia w zakresie Code Llama Meta wykorzystała ten sam zbiór danych, co w przypadku Lamy 2, pobrany wybiórczo z publicznych portali internetowych; jednakże priorytetowo potraktowano obszar danych szkoleniowych zajmujących się kodami, co umożliwiło Code Lamie dokładniejsze poznanie korelacji między kodem a językiem naturalnym
Modele Code Lamy, które różnią się wielkością od 7 miliardów do 34 miliardów parametrów, przeszły szkolenie z 500 miliardami tokenów kodu i odpowiednich danych. Specjalna dla języka Python Code Llama została skrupulatnie skalibrowana przy użyciu dodatkowych 100 miliardów tokenów kodu Python, natomiast wersja rozumiejąca instrukcje została dostrojona w oparciu o opinie ludzi z adnotacjami w celu formułowania „użytecznych” i „bezpiecznych” odpowiedzi na zapytania.
Kilka modeli Code Llama ma możliwość integracji kodu z istniejącym kodem i może przyjąć do 100 000 tokenów kodu jako dane wejściowe. Meta twierdzi, że model zawierający 34 miliardy parametrów przewyższa każdy inny generator kodu open source pod względem funkcjonalności, a także ma największą liczbę parametrów.
Chociaż Meta ostrzega, że Code Llama może czasami generować „błędne” lub „nieodpowiednie” odpowiedzi na monity, zaleca również programistom przeprowadzenie dostosowanych testów bezpieczeństwa i dostosowań przed wdrożeniem jakichkolwiek aplikacji modelu.
Wdrażając Code Llama, Meta powstrzymała się od nakładania rygorystycznych ograniczeń na programistów, niezależnie od tego, czy chcą oni używać go do celów komercyjnych czy badawczych. Od programistów oczekuje się jednak przestrzegania standardów etycznych i zaprzestania wykorzystywania modelu do szkodliwych celów. W przypadku wdrożenia modelu na platformie z ponad 700 milionami aktywnych użytkowników miesięcznie należy uzyskać licencję.
Code Llama, zaprojektowana, aby pomóc inżynierom oprogramowania we wszystkich sektorach, w tym w badaniach, przemyśle, projektach open source, organizacjach pozarządowych i przedsiębiorstwach, ma miejsce na znacznie więcej scenariuszy użycia wykraczających poza to, co obecnie obejmują jej podstawowe modele i instrukcje. Mamy nadzieję, że Code Llama zainspiruje innych do wykorzystania Llama 2 w tworzeniu innowacyjnych narzędzi do badań i produktów komercyjnych. Podobnie jak wizja AppMaster dotycząca usprawnienia tworzenia aplikacji, Code Llama stanowi kolejny krok w ewolucji kodowania.
Nie można zaprzeczyć wpływowi, jaki taki postęp może mieć na branżę technologiczną, gdzie inne platformy, takie jak AppMaster, znacząco przyczyniają się do zwiększania dostępności tworzenia aplikacji. Jednak kluczowe znaczenie ma również określenie roli sztucznej inteligencji w ramach etycznych i odpowiedzialności, aby zapewnić bezpieczne i wydajne wykorzystanie takiej technologii.
