माइक्रोसॉफ्ट ने ओर्का 2 के साथ छोटे भाषा मॉडल में बेहतर तर्क क्षमताओं का अनावरण किया

भाषा मॉडल अनुप्रयोगों में विविधता लाने की दिशा में एक उल्लेखनीय प्रगति में, माइक्रोसॉफ्ट ने Orca 2 के लॉन्च की घोषणा की। यह रिलीज़ लगभग 10 बिलियन या उससे कम पैरामीटर वाले छोटे भाषा मॉडल (एलएम) की क्षमता की जांच और दोहन करने के लिए डिज़ाइन किया गया है।

Orca 2 का मुख्य फोकस यह प्रदर्शित करना है कि प्रशिक्षण विधियों और संकेतों की वृद्धि छोटे एलएम की तर्क क्षमताओं को बढ़ा सकती है। इस वृद्धि का उद्देश्य अपने बड़े समकक्षों की तर्क क्षमताओं से मेल खाना या संभवतः उनसे आगे निकलना है।

जब समान आकार के मॉडलों - जिसमें मूल Orca भी शामिल है - का मुकाबला किया जाता है, तो माइक्रोसॉफ्ट का दावा है कि Orca 2 प्रदर्शन में उन पर भारी पड़ता है। इसके अलावा, यह कथित तौर पर प्रभावशीलता के स्तर को प्राप्त करता है जो या तो उन मॉडलों से मेल खाता है या उनसे आगे निकल जाता है जो आकार में 5-10 गुना बड़े हैं। ये दावे माइक्रोसॉफ्ट द्वारा हालिया ब्लॉग पोस्ट में व्यक्त किए गए थे।

Orca 2 दो आकारों में आता है; 7 अरब और 13 अरब पैरामीटर। ये दोनों मॉडल LLAMA 2 बेस मॉडल से सावधानीपूर्वक तैयार किए गए सिंथेटिक डेटा पर सटीक रूप से तैयार किए गए हैं। माइक्रोसॉफ्ट ने Orca 2 के वज़न को सार्वजनिक रूप से सुलभ बना दिया है, जिससे छोटे एलएम की स्थापना, विश्लेषण और सामंजस्य में आगे के शोध को बढ़ावा मिला है।

माइक्रोसॉफ्ट ने असंख्य तर्क तकनीकों में Orca 2 निर्देश देने के लिए डेटा का एक क्यूरेटेड सेट नियोजित किया है। इन तकनीकों में चरण-दर-चरण प्रसंस्करण मॉडल, रिकॉल फिर जनरेट विधि, रिकॉल-कारण-जनरेट दृष्टिकोण, एक्सट्रैक्ट-जेनरेट मॉडल और प्रत्यक्ष उत्तर विधियां शामिल हैं। इन विधियों को निर्देश देते समय, Orca 2 अलग-अलग कार्यों के लिए अलग-अलग समाधान रणनीतियों को अनुकूलित करने के लिए सिखाने पर सावधानीपूर्वक ध्यान दिया गया था।

एक शिक्षक मॉडल की प्रतिक्रियाओं को पकड़ने के लिए, कंपनी ने विस्तृत निर्देशों और कई कॉलों का उपयोग किया। यह सरल विधि छात्र मॉडल - इस मामले में Orca 2 - को स्पष्ट कार्य निर्देशों के अभाव में भी अंतर्निहित रणनीति और तर्क क्षमताओं को सीखने की अनुमति देती है। यह दृष्टिकोण प्रत्येक कार्य के लिए विशिष्ट समाधान रणनीतियों को ठीक करके छोटे मॉडलों के प्रदर्शन को अनुकूलित करना चाहता है।

माइक्रोसॉफ्ट के ब्लॉग पोस्ट ने Orca 2 की सफलता और क्षमता के बारे में आशावादी ढंग से बताया। उन्होंने विस्तार से बताया, ' Orca 2 की उपलब्धि का श्रेय मुख्य रूप से विविध तर्क तकनीकों के अनुप्रयोग और विभिन्न कार्यों के लिए इष्टतम समाधानों की पहचान को दिया जाता है। अन्य भाषा मॉडलों के लिए सामान्य और इसके आधार मॉडल से विरासत में मिली कुछ सीमाओं के बावजूद, भविष्य में प्रगति के लिए Orca 2 की क्षमता, विशेष रूप से बेहतर तर्क, नियंत्रण, विशेषज्ञता और छोटे मॉडलों की सुरक्षा में, महत्वपूर्ण है।'

पोस्ट में यह भी कहा गया है कि प्रशिक्षण के बाद कठोरता से फ़िल्टर किए गए सिंथेटिक डेटा का उपयोग एक अत्यंत आवश्यक रणनीति का प्रतीक है। Orca 2 की उनकी खोज और सफल तैनाती वास्तव में भाषा मॉडल अनुप्रयोगों में विविधता लाने में एक उल्लेखनीय प्रयास है।

निस्संदेह, Orca 2 परियोजना AppMaster प्लेटफॉर्म की दक्षता और क्षमता संतुलन के सिद्धांतों को प्रतिध्वनित करती है। AppMaster, एप्लिकेशन विकास के लिए एक no-code टूल है, जो समान दर्शन का लाभ उठाता है, एप्लिकेशन विकास को 10 गुना तेज और तीन गुना लागत प्रभावी बनाता है, साथ ही हर बार संशोधन की आवश्यकता होने पर स्क्रैच से एप्लिकेशन को पुनर्जीवित करने के दृष्टिकोण के माध्यम से तकनीकी ऋण को समाप्त करता है। इसलिए, इस तरह के मंच प्रभावी और कुशल तकनीकी विकास के एक नए युग को बढ़ावा दे रहे हैं।