Meta, trước đây gọi là Facebook, đã công bố Open Pretraining Transformer (OPT-175B), một mô hình AI ngôn ngữ mở rộng tự hào với hơn 100 tỷ tham số. Sự phát triển đáng chú ý này thể hiện nỗ lực của gã khổng lồ công nghệ nhằm dân chủ hóa quyền truy cập vào nghiên cứu AI tiên tiến nhất, như được nêu trong bài đăng trên blog gần đây của họ.
Theo giấy phép phi thương mại, mô hình sẽ được cung cấp chủ yếu cho mục đích nghiên cứu. Quyền truy cập sẽ được cấp cho các nhà nghiên cứu hàn lâm, cũng như chính phủ, xã hội dân sự và các phòng thí nghiệm nghiên cứu công nghiệp trên toàn thế giới. Tuy nhiên, mức độ truy cập cho các nhà nghiên cứu vẫn chưa chắc chắn. Những người quan tâm đến việc sử dụng mô hình có thể chỉ cần điền vào mẫu yêu cầu.
Hiểu các mô hình ngôn ngữ lớn
Các mô hình ngôn ngữ lớn là các hệ thống xử lý ngôn ngữ tự nhiên tiên tiến, được đào tạo trên một lượng lớn văn bản để tạo ra nội dung sáng tạo và mạch lạc ở nhiều định dạng khác nhau. Những mô hình như vậy có thể tạo ra các bài báo, bản tóm tắt pháp lý, kịch bản phim và thậm chí đóng vai trò là chatbot dịch vụ khách hàng.
GPT-3 của OpenAI là một trong những mô hình ngôn ngữ lớn hàng đầu trong ngành, chứa hơn 175 tỷ tham số cho cả mục đích sử dụng cá nhân và thương mại. Tương tự, OPT-175B của Meta không chỉ cung cấp một mô hình ngôn ngữ quy mô lớn mà còn cung cấp một cơ sở mã đi kèm và tài liệu toàn diện mô tả chi tiết quá trình đào tạo. Meta cũng đã đưa ra một loạt các mô hình cơ sở quy mô nhỏ hơn với ít tham số hơn.
Giải quyết dấu chân carbon của Deep Learning
Hầu hết các nghiên cứu AI sáng tạo đều do các tập đoàn công nghệ lớn như Google, Meta, Microsoft và Nvidia thúc đẩy. Việc đào tạo và vận hành các mô hình AI lớn đòi hỏi một lượng năng lượng và sức mạnh tính toán khổng lồ, dẫn đến chi phí đáng kể và lượng khí thải carbon tiềm ẩn lớn. Một nghiên cứu năm 2019 của Roy Schwartz và Jesse Dodge đã tiết lộ rằng các tính toán học sâu tăng gấp đôi cứ sau vài tháng, dẫn đến mức tăng ước tính 300.000 lần từ năm 2012 đến năm 2018 – và tác động đáng kể đến môi trường.
Meta tuyên bố đã giải quyết vấn đề carbon bằng cách giảm lượng khí thải carbon của OPT-175B xuống còn 1/7 so với GPT-3 của OpenAI. Công ty cho biết họ đã đào tạo mô hình này trên 992 GPU Nvidia A100 (80 gigabyte mỗi GPU), với tổng lượng khí thải carbon chỉ là 75 tấn, so với ước tính 500 tấn của GPT-3. OpenAI vẫn chưa bình luận về những tuyên bố này.
Ý nghĩa tương lai
Hy vọng sẽ thấy sự gia tăng đột biến trong đổi mới nghiên cứu học sâu với thông báo gần đây của Meta. Tuy nhiên, bên cạnh những tiến bộ công nghệ, các câu hỏi về đạo đức xung quanh việc sử dụng AI có trách nhiệm phải được giải quyết trên toàn cầu. Meta chia sẻ hy vọng rằng cộng đồng AI – bao gồm các nhà nghiên cứu hàn lâm, xã hội dân sự, nhà hoạch định chính sách và các chuyên gia trong ngành – sẽ cùng nhau tìm ra câu trả lời. Khi các công cụ mạnh mẽ hơn như OPT-175B xuất hiện, việc dân chủ hóa quyền truy cập vào đổi mới AI tạo cơ hội cho các nền tảng như AppMaster tích hợp những tiến bộ đó vào các giải pháp no-code của riêng họ, tiếp tục trao quyền cho người dùng phát triển các ứng dụng toàn diện cho các ngành khác nhau.
