หลังจากเปิดตัวอัลกอริธึม AI ที่ออกแบบมาสำหรับการสร้างข้อความ การตีความภาษา และการสร้างเสียง ตอนนี้ Meta ได้เปิดซอร์สโมเดลสำคัญอีกตัวหนึ่งชื่อ Code Llama Code Llama ซึ่งเป็นระบบการเรียนรู้ของเครื่องที่ล้ำสมัย มีความสามารถในการผลิตและลงรายละเอียดโค้ดเป็นภาษาอังกฤษง่ายๆ
การพัฒนาใหม่จาก Meta นี้สอดคล้องกับโซลูชันการสร้างโค้ดที่ขับเคลื่อนโดย AI เช่น GitHub Copilot, Amazon CodeWhisperer และเครื่องมือโอเพ่นซอร์สที่โดดเด่น เช่น StarCoder, StableCode และ PolyCoder Code Llama มีความสามารถในการสรุปและแก้ไขปัญหาโค้ดที่มีอยู่ในภาษาการเขียนโปรแกรมหลายภาษา รวมถึง Python, C++, Java, PHP, Typescript, C# และ Bash
Meta ยืนยันความมุ่งมั่นต่อนวัตกรรมและความปลอดภัยด้วยโมเดล AI และโดยเฉพาะอย่างยิ่งโมเดลภาษาขนาดใหญ่สำหรับการเข้ารหัสโดยเฉพาะ โดยใช้ประโยชน์จากแนวทางแบบเปิด ด้วยการทำให้ Code Llama ใช้งานได้อย่างเสรี บริษัทตั้งใจที่จะยกระดับความก้าวหน้าทางเทคโนโลยี ยกระดับชีวิตของผู้คน และส่งเสริมให้ชุมชนมีส่วนร่วมในการประเมินความสามารถ ตระหนักถึงปัญหา และแก้ไขช่องโหว่
Code Llama มีให้เลือกใช้งานหลายเวอร์ชัน รวมถึงเวอร์ชันที่ได้รับการปรับปรุงสำหรับ Python และเวอร์ชันที่ได้รับการปรับแต่งเพื่อทำความเข้าใจคำสั่ง (เช่น “สร้างฟังก์ชันที่สร้างลำดับฟีโบนักชี”) พื้นฐานสำหรับ Code Llama คือ Llama 2 ซึ่งเป็นโมเดลการสร้างข้อความของ Meta ซึ่งเป็นโอเพ่นซอร์สก่อนหน้านี้ แม้ว่า Llama 2 จะสามารถสร้างโค้ดได้ แต่คุณภาพก็มักจะขาดหายไปเมื่อเทียบกับรุ่นเฉพาะอย่าง Copilot
ในขั้นตอนการฝึกอบรมสำหรับ Code Llama Meta ใช้ชุดข้อมูลเดียวกันกับ Llama 2 ซึ่งคัดเลือกมาจากพอร์ทัลสาธารณะบนอินเทอร์เน็ต อย่างไรก็ตาม พื้นที่ของข้อมูลการฝึกอบรมที่เกี่ยวข้องกับโค้ดได้รับการจัดลำดับความสำคัญ ทำให้ Code Llama สามารถเรียนรู้ความสัมพันธ์ระหว่างโค้ดและภาษาธรรมชาติได้อย่างใกล้ชิดยิ่งขึ้น
โมเดล Code Llama ซึ่งมีขนาดแตกต่างกันตั้งแต่ 7 พันล้านถึง 34 พันล้านพารามิเตอร์ ได้รับการฝึกอบรมด้วยโค้ด 500 พันล้านโทเค็นและข้อมูลที่เกี่ยวข้อง Llama รหัสเฉพาะของ Python ได้รับการปรับเทียบอย่างพิถีพิถันด้วยโทเค็น Python Code เพิ่มเติมอีก 100 พันล้านโทเค็น ในขณะที่เวอร์ชันที่เข้าใจคำสั่งได้รับการปรับแต่งอย่างละเอียดตามคำติชมที่มีคำอธิบายประกอบโดยมนุษย์สำหรับการกำหนดคำตอบที่ "มีประโยชน์" และ "ปลอดภัย" ต่อการสืบค้น
โมเดล Code Llama หลายรุ่นมีความสามารถในการรวมโค้ดเข้ากับโค้ดที่มีอยู่ และสามารถรับโทเค็นได้มากถึง 100,000 โทเค็นเป็นอินพุต Meta ยืนยันว่าโมเดลพารามิเตอร์ 34 พันล้านนั้นเหนือกว่าตัวสร้างโค้ดโอเพ่นซอร์สอื่น ๆ ในแง่ของฟังก์ชันการทำงาน และยังเป็นโมเดลที่นับพารามิเตอร์มากที่สุดอีกด้วย
แม้ว่า Meta จะเตือนว่า Code Llama อาจทำให้เกิดการตอบสนองที่ "ผิดพลาด" หรือ "ไม่เหมาะสม" ในบางครั้ง แต่ยังแนะนำให้นักพัฒนาดำเนินการทดสอบความปลอดภัยและปรับแต่งให้เหมาะสมก่อนที่จะปรับใช้แอปพลิเคชันใด ๆ ของโมเดล
ในการปรับใช้ Code Llama นั้น Meta ได้ละเว้นจากการกำหนดข้อจำกัดที่เข้มงวดกับนักพัฒนา ไม่ว่าพวกเขาต้องการใช้เพื่อวัตถุประสงค์ทางการค้าหรือการวิจัยก็ตาม อย่างไรก็ตาม นักพัฒนาซอฟต์แวร์ได้รับการคาดหวังให้ปฏิบัติตามมาตรฐานทางจริยธรรม และเลิกใช้โมเดลเพื่อการแสวงหาผลประโยชน์ที่เป็นอันตราย หากโมเดลถูกปรับใช้บนแพลตฟอร์มที่มีผู้ใช้งานมากกว่า 700 ล้านรายต่อเดือน จะต้องขอใบอนุญาต
Code Llama ได้รับการออกแบบมาเพื่อช่วยเหลือวิศวกรซอฟต์แวร์ในทุกภาคส่วน รวมถึงการวิจัย อุตสาหกรรม โครงการโอเพ่นซอร์ส NGO และธุรกิจต่างๆ มีพื้นที่สำหรับสถานการณ์การใช้งานอื่นๆ อีกมากมาย นอกเหนือจากที่พื้นฐานและรูปแบบการสอนครอบคลุมอยู่ในปัจจุบัน หวังว่า Code Llama จะเป็นแรงบันดาลใจให้ผู้อื่นใช้ประโยชน์จาก Llama 2 ในการสร้างเครื่องมือที่เป็นนวัตกรรมใหม่สำหรับการวิจัยและผลิตภัณฑ์เชิงพาณิชย์ เช่นเดียวกับวิสัยทัศน์ของ AppMaster ในการเพิ่มประสิทธิภาพการพัฒนาแอปพลิเคชัน Code Llama เป็นตัวแทนของก้าวต่อไปในวิวัฒนาการของการเขียนโค้ด
ไม่มีใครปฏิเสธผลกระทบที่ความก้าวหน้าดังกล่าวมีต่ออุตสาหกรรมเทคโนโลยี ซึ่งแพลตฟอร์มอื่นๆ เช่น AppMaster มีส่วนสำคัญอย่างมากในการทำให้การสร้างแอปพลิเคชันเข้าถึงได้มากขึ้น อย่างไรก็ตาม การสร้างบทบาทของ AI ภายในกรอบการทำงานด้านจริยธรรมและความรับผิดชอบก็เป็นสิ่งสำคัญเช่นกัน เพื่อให้มั่นใจว่าการใช้เทคโนโลยีดังกล่าวปลอดภัยและมีประสิทธิภาพ
