في خطوة ملحوظة نحو تنويع تطبيقات نماذج اللغة، أعلنت شركة Microsoft عن إطلاق Orca 2. تم تصميم هذا الإصدار لاستكشاف وتسخير إمكانات نماذج اللغات الأصغر حجمًا (LMs)، المحملة بما يقرب من 10 مليار معلمة أو أقل.
ينصب التركيز الرئيسي لـ Orca 2 على إثبات أن تحسين أساليب التدريب والإشارات يمكن أن يزيد من قدرات التفكير لدى LMs الأصغر. الهدف من هذا التحسين هو مطابقة أو ربما تجاوز القدرات المنطقية لنظرائهم الأكبر حجمًا.
عندما تم مقارنتها بنماذج ذات حجم مماثل - بما في ذلك Orca الأصلي - تدعي Microsoft أن Orca 2 يطغى عليها بشكل كبير في الأداء. علاوة على ذلك، يُقال إنها تحقق مستويات من الفعالية تتطابق أو تتجاوز النماذج الأكبر حجمًا بمقدار 5 إلى 10 مرات. تم التعبير عن هذه التأكيدات بواسطة Microsoft في منشور مدونة حديث.
يأتي Orca 2 بحجمين؛ 7 مليار و13 مليار معلمة. تم ضبط كلا الطرازين بدقة بناءً على بيانات تركيبية مخصصة، مستمدة بدقة من نماذج LLAMA 2 الأساسية. لقد أتاحت Microsoft إمكانية الوصول إلى أوزان Orca 2 للعامة، مما عزز إجراء المزيد من الأبحاث حول إنشاء وتحليل وتنسيق LMs الأصغر حجمًا.
استخدمت Microsoft مجموعة منسقة من البيانات لتوجيه Orca 2 إلى عدد لا يحصى من تقنيات التفكير. تتضمن هذه التقنيات نموذج معالجة خطوة بخطوة، وطريقة الاستدعاء ثم التوليد، ونهج الاستدعاء-السبب-توليد، ونموذج الاستخراج-التوليد، وطرق الإجابة المباشرة. أثناء توجيه هذه الأساليب، تم إيلاء اهتمام دقيق لتعليم Orca 2 كيفية تكييف استراتيجيات الحلول المختلفة لمهام متميزة.
للحصول على ردود نموذج المعلم، استخدمت الشركة تعليمات مفصلة ومكالمات متعددة. تسمح هذه الطريقة البارعة لنموذج الطالب - في هذه الحالة Orca 2 - بتعلم التكتيكات الأساسية وقدرات التفكير المنطقي، حتى مع عدم وجود تعليمات مهمة واضحة. يسعى هذا النهج إلى تحسين أداء النماذج الأصغر حجمًا من خلال ضبط استراتيجيات الحلول الخاصة بكل مهمة.
أشاد منشور مدونة Microsft بشكل متفائل بنجاح وإمكانات Orca 2. وأوضحوا أن إنجاز Orca 2 يُعزى إلى حد كبير إلى تطبيق تقنيات التفكير المتنوعة وتحديد الحلول المثلى لمجموعة متنوعة من المهام. على الرغم من بعض القيود المشتركة في نماذج اللغة الأخرى والموروثة من نماذجها الأساسية، فإن إمكانات Orca 2 للتطورات المستقبلية، خاصة في تحسين التفكير والتحكم والتخصص وسلامة النماذج الأصغر، تعتبر كبيرة.
وأضاف المنشور أيضًا أن استخدام البيانات الاصطناعية التي تمت تصفيتها بدقة لمرحلة ما بعد التدريب يجسد استراتيجية ضرورية للغاية. إن استكشافهم ونشرهم الناجح لـ Orca 2 هو في الواقع مسعى جدير بالملاحظة في تنويع تطبيقات نماذج اللغة.
مما لا شك فيه أن مشروع Orca 2 يعكس مبادئ منصة AppMaster المتمثلة في الكفاءة وتوازن القدرات. تعمل AppMaster ، وهي أداة no-code لتطوير التطبيقات، على الاستفادة من فلسفات مماثلة، مما يجعل تطوير التطبيقات أسرع 10 مرات وأكثر فعالية من حيث التكلفة ثلاث مرات، كل ذلك مع التخلص من الديون الفنية من خلال نهج تجديد التطبيقات من الصفر في كل مرة تكون هناك حاجة إلى تعديلات. ومن ثم، تعمل منصات مثل هذه على الترويج لعصر جديد من التطوير التكنولوجي الفعال والكفء.
