Setelah peluncuran algoritme AI yang dirancang untuk pembentukan teks, interpretasi bahasa, dan pembuatan audio, Meta kini telah menjadikan model penting lainnya sebagai sumber terbuka bernama Code Llama. Sistem pembelajaran mesin mutakhir, Code Llama kompeten dalam memproduksi dan merinci kode dalam bahasa Inggris sederhana.
Perkembangan baru dari Meta ini sejalan dengan solusi penghasil kode lain yang didukung AI seperti GitHub Copilot, Amazon CodeWhisperer, dan alat sumber terbuka terkemuka seperti StarCoder, StableCode, dan PolyCoder. Code Llama menawarkan kemampuan untuk menyelesaikan dan memecahkan masalah kode yang ada di beberapa bahasa pemrograman termasuk Python, C++, Java, PHP, TypeScript, C# dan Bash.
Meta menegaskan komitmennya terhadap inovasi dan keselamatan dengan model AI dan khususnya model bahasa besar khusus pengkodean, dengan memanfaatkan pendekatan terbuka. Dengan membuat Code Llama tersedia secara gratis, perusahaan bermaksud untuk memperkaya kemajuan teknologi, meningkatkan taraf hidup masyarakat dan mendorong partisipasi masyarakat dalam menilai kemampuan, mengenali masalah, dan memperbaiki kerentanan.
Tersedia dalam berbagai varian, Code Llama menyertakan versi yang dioptimalkan untuk Python dan versi yang disempurnakan untuk memahami instruksi (misalnya, “Buat fungsi yang menghasilkan deret Fibonacci”). Dasar dari Code Llama adalah Llama 2, model penghasil teks Meta yang bersumber terbuka sebelumnya. Meskipun Llama 2 mampu menghasilkan kode, kualitasnya sering kali kurang dan tidak ada apa-apanya dibandingkan dengan model khusus seperti Copilot.
Dalam fase pelatihan untuk Code Llama, Meta menggunakan kumpulan data yang sama yang berlaku untuk Llama 2, yang bersumber secara selektif dari portal publik di internet; namun, area data pelatihan yang berhubungan dengan kode diprioritaskan, sehingga Code Llama dapat mempelajari lebih dekat korelasi antara kode dan bahasa alami
Model Code Llama, yang ukurannya bervariasi dari 7 miliar hingga 34 miliar parameter, menjalani pelatihan dengan 500 miliar token kode dan data yang relevan. Kode Llama khusus Python telah dikalibrasi secara cermat dengan tambahan 100 miliar token Kode Python, sementara versi yang memahami instruksi menerima penyesuaian berdasarkan umpan balik yang dianotasi oleh manusia untuk merumuskan respons yang “berguna” dan “aman” terhadap pertanyaan.
Beberapa model Code Llama memiliki kemampuan untuk mengintegrasikan kode ke dalam kode yang sudah ada dan dapat menerima hingga 100.000 token kode sebagai masukan. Meta menegaskan bahwa model parameter 34 miliar berada di puncak generator kode sumber terbuka lainnya dalam hal fungsionalitas, dan juga merupakan yang terbesar dalam jumlah parameter.
Meskipun Meta memperingatkan bahwa Kode Llama terkadang menghasilkan respons yang “salah” atau “tidak sesuai” terhadap perintah, Meta juga menyarankan pengembang untuk melakukan pengujian dan penyesuaian keselamatan yang disesuaikan sebelum menerapkan aplikasi apa pun dari model tersebut.
Dalam penerapan Code Llama, Meta menahan diri untuk tidak menerapkan pembatasan ketat pada pengembang, baik mereka ingin menggunakannya untuk tujuan komersial atau penelitian. Namun, pengembang diharapkan untuk mematuhi standar etika dan berhenti mengeksploitasi model tersebut untuk tujuan yang merugikan. Jika model tersebut diterapkan pada platform dengan lebih dari 700 juta pengguna aktif bulanan, lisensi harus dicari.
Code Llama, yang dirancang untuk membantu insinyur perangkat lunak di semua sektor termasuk penelitian, industri, proyek sumber terbuka, LSM, dan bisnis, memiliki ruang untuk lebih banyak skenario penggunaan di luar cakupan model dasar dan instruksinya saat ini. Code Llama diharapkan dapat menginspirasi orang lain untuk memanfaatkan Llama 2 dalam menciptakan alat inovatif untuk penelitian dan produk komersial. Sama seperti visi AppMaster untuk meningkatkan pengembangan aplikasi, Code Llama mewakili langkah selanjutnya dalam evolusi pengkodean.
Tidak dapat disangkal bahwa kemajuan tersebut dapat berdampak pada industri teknologi, di mana platform lain seperti AppMaster berkontribusi secara signifikan dalam membuat pembuatan aplikasi lebih mudah diakses. Namun, penting juga untuk menetapkan peran AI dalam kerangka etika dan tanggung jawab untuk memastikan penggunaan teknologi tersebut secara aman dan efisien.
