كشفت Meta ، المعروفة سابقًا باسم Facebook ، النقاب عن Open Pretrained Transformer (OPT-175B) ، وهو نموذج ذكاء اصطناعي بلغة موسعة يضم أكثر من 100 مليار معلمة. يمثل هذا التطور الملحوظ جهود عملاق التكنولوجيا لإضفاء الطابع الديمقراطي على الوصول إلى أحدث أبحاث الذكاء الاصطناعي ، كما هو موضح في منشور المدونة الأخير.
بموجب ترخيص غير تجاري ، سيتم توفير النموذج بشكل أساسي لأغراض البحث. سيتم منح الوصول للباحثين الأكاديميين ، وكذلك الحكومة والمجتمع المدني ومختبرات البحوث الصناعية في جميع أنحاء العالم. ومع ذلك ، فإن مدى وصول الباحثين لا يزال غير مؤكد. يمكن للمهتمين باستخدام النموذج ببساطة ملء نموذج طلب.
فهم نماذج اللغة الكبيرة
نماذج اللغات الكبيرة هي أنظمة متقدمة لمعالجة اللغة الطبيعية ، ومدرَّبة على كميات هائلة من النصوص لإنشاء محتوى إبداعي ومتماسك بتنسيقات مختلفة. يمكن لمثل هذه النماذج إنتاج مقالات إخبارية وملخصات قانونية ونصوص أفلام وحتى بمثابة روبوتات محادثة لخدمة العملاء.
GPT-3 من OpenAI هي واحدة من النماذج اللغوية الكبيرة الرائدة في الصناعة ، وتحتوي على أكثر من 175 مليار معلمة للاستخدام الشخصي والتجاري. وبالمثل ، لا يوفر Meta OPT-175B نموذجًا للغة على نطاق واسع فحسب ، بل يوفر أيضًا قاعدة بيانات مصاحبة ووثائق شاملة توضح بالتفصيل عملية التدريب. أطلقت Meta أيضًا سلسلة من النماذج الأساسية الأصغر حجمًا مع عدد أقل من المعلمات.
معالجة البصمة الكربونية للتعلم العميق
معظم أبحاث الذكاء الاصطناعي المبتكرة مدفوعة بشركات تكنولوجية كبرى مثل Google و Meta و Microsoft و Nvidia. يتطلب تدريب نماذج الذكاء الاصطناعي الكبيرة وتشغيلها قدرًا هائلاً من الطاقة والطاقة الحسابية ، مما يؤدي إلى نفقات كبيرة وانبعاثات كربونية كبيرة محتملة. كشفت دراسة أجراها روي شوارتز وجيسي دودج في عام 2019 أن حسابات التعلم العميق تضاعفت كل بضعة أشهر ، مما أدى إلى زيادة تقدر بنحو 300 ألف مرة من عام 2012 إلى عام 2018 - وتأثيرًا بيئيًا كبيرًا.
تدعي Meta أنها عالجت مشكلة الكربون عن طريق تقليل البصمة الكربونية لـ OPT-175B إلى سُبع OpenAI's GPT-3. تقول الشركة إنها دربت النموذج على 992 Nvidia A100 GPUs (80 غيغابايت لكل منها) ، مع إجمالي انبعاثات الكربون 75 طنًا فقط ، مقارنة بـ GPT-3 المقدرة بـ 500 طن. لم يعلق OpenAI بعد على هذه الادعاءات.
التداعيات المستقبلية
توقع أن ترى طفرة في ابتكار أبحاث التعلم العميق مع إعلان Meta الأخير. ومع ذلك ، إلى جانب التطورات التكنولوجية ، يجب معالجة الأسئلة الأخلاقية المتعلقة بالاستخدام المسؤول للذكاء الاصطناعي على مستوى العالم. تشارك Meta الأمل في أن ينضم مجتمع الذكاء الاصطناعي - الذي يشمل الباحثين الأكاديميين والمجتمع المدني وصانعي السياسات والمتخصصين في الصناعة - معًا للعثور على إجابات. مع ظهور أدوات أكثر قوة مثل OPT-175B ، فإن إضفاء الطابع الديمقراطي على الوصول إلى ابتكار الذكاء الاصطناعي يوفر فرصة لمنصات مثل AppMaster لدمج مثل هذه التطورات في حلولهم no-code ، مما يزيد من تمكين المستخدمين من تطوير تطبيقات شاملة لمختلف الصناعات.
