Sau khi tung ra các thuật toán AI được thiết kế để tạo văn bản, giải thích ngôn ngữ và tạo âm thanh, Meta hiện đã cung cấp nguồn mở cho một mô hình quan trọng khác có tên Code Llama. Là một hệ thống máy học tiên tiến, Code Llama có khả năng sản xuất và trình bày chi tiết mã bằng tiếng Anh đơn giản.
Sự phát triển mới này của Meta phù hợp với các giải pháp tạo mã được hỗ trợ bởi AI như GitHub Copilot, Amazon CodeWhisperer và các công cụ nguồn mở nổi bật như StarCoder, StableCode và PolyCoder. Code Llama tự hào có khả năng hoàn thiện và khắc phục sự cố các mã còn tồn tại trên một số ngôn ngữ lập trình bao gồm Python, C++, Java, PHP, Typescript, C# và Bash.
Meta khẳng định cam kết của mình đối với sự đổi mới và an toàn với các mô hình AI và đặc biệt là các mô hình ngôn ngữ lớn dành riêng cho mã hóa, tận dụng cách tiếp cận mở. Bằng cách cung cấp Code Llama miễn phí, công ty dự định làm phong phú thêm các tiến bộ công nghệ, nâng cao cuộc sống của người dân và khuyến khích sự tham gia của cộng đồng trong việc đánh giá năng lực, nhận biết các vấn đề và khắc phục các lỗ hổng.
Có sẵn ở nhiều biến thể, Code Llama bao gồm các phiên bản được tối ưu hóa cho Python và các phiên bản được tinh chỉnh để hiểu hướng dẫn (ví dụ: “Tạo hàm tạo chuỗi Fibonacci”). Cơ sở của Code Llama là Llama 2, mô hình tạo văn bản của Meta đã có nguồn mở trước đó. Mặc dù Llama 2 có khả năng tạo mã nhưng chất lượng thường thiếu và kém hơn so với các mẫu chuyên dụng như Copilot.
Trong giai đoạn đào tạo về Code Llama, Meta đã sử dụng cùng một tập dữ liệu áp dụng cho Llama 2, được lấy nguồn có chọn lọc từ các cổng công cộng trên internet; tuy nhiên, lĩnh vực dữ liệu đào tạo xử lý mã được ưu tiên, cho phép Code Llama tìm hiểu sâu hơn về mối tương quan giữa mã và ngôn ngữ tự nhiên
Các mô hình Code Llama, có quy mô khác nhau từ 7 tỷ đến 34 tỷ tham số, đã tiến hành đào tạo với 500 tỷ mã thông báo mã và dữ liệu liên quan. Mã dành riêng cho Python Llama đã được hiệu chỉnh tỉ mỉ với thêm 100 tỷ mã thông báo Mã Python, trong khi phiên bản hiểu hướng dẫn được tinh chỉnh dựa trên phản hồi có chú thích của con người để hình thành các phản hồi “hữu ích” và “an toàn” cho các truy vấn.
Một số mô hình Code Llama có khả năng tích hợp mã vào mã hiện có và có thể chấp nhận tới 100.000 mã thông báo làm đầu vào. Meta khẳng định rằng mô hình 34 tỷ tham số đứng đầu bất kỳ trình tạo mã nguồn mở nào khác về mặt chức năng và đây cũng là mô hình lớn nhất về số lượng tham số.
Mặc dù Meta cảnh báo rằng Code Llama đôi khi có thể đưa ra phản hồi “sai” hoặc “không phù hợp” đối với các lời nhắc, nhưng Meta cũng khuyên các nhà phát triển nên tiến hành các thử nghiệm và điều chỉnh an toàn phù hợp trước khi triển khai bất kỳ ứng dụng nào của mô hình.
Trong quá trình triển khai Code Llama, Meta đã hạn chế áp đặt các hạn chế nghiêm ngặt đối với các nhà phát triển, cho dù họ muốn sử dụng nó cho mục đích thương mại hay nghiên cứu. Tuy nhiên, các nhà phát triển phải tuân thủ các tiêu chuẩn đạo đức và ngừng khai thác mô hình này cho các mục đích có hại. Nếu mô hình được triển khai trên nền tảng có hơn 700 triệu người dùng hoạt động hàng tháng thì phải xin giấy phép.
Code Llama, được thiết kế để hỗ trợ các kỹ sư phần mềm trong tất cả các lĩnh vực bao gồm nghiên cứu, công nghiệp, dự án nguồn mở, tổ chức phi chính phủ và doanh nghiệp, có chỗ cho nhiều tình huống sử dụng hơn ngoài những gì cơ sở và mô hình hướng dẫn hiện tại của nó bao gồm. Chúng tôi hy vọng rằng Code Llama sẽ truyền cảm hứng cho những người khác tận dụng Llama 2 trong việc tạo ra các công cụ đổi mới cho các sản phẩm nghiên cứu và thương mại. Giống như tầm nhìn của AppMaster về tăng cường phát triển ứng dụng, Code Llama thể hiện bước tiếp theo trong quá trình phát triển mã hóa.
Người ta không thể phủ nhận tác động mà những tiến bộ như vậy có thể mang lại trong ngành công nghệ, nơi các nền tảng khác như AppMaster đang góp phần đáng kể vào việc giúp việc tạo ứng dụng trở nên dễ tiếp cận hơn. Tuy nhiên, điều quan trọng là phải thiết lập vai trò của AI trong khuôn khổ đạo đức và trách nhiệm để đảm bảo việc sử dụng công nghệ đó một cách an toàn và hiệu quả.
