ด้วยความก้าวหน้าที่โดดเด่นในการขยายแอปพลิเคชันโมเดลภาษาที่หลากหลาย Microsoft ได้ประกาศเปิดตัว Orca 2 รุ่นนี้ได้รับการออกแบบมาเพื่อตรวจสอบและควบคุมศักยภาพของโมเดลภาษาขนาดเล็ก (LM) ซึ่งเต็มไปด้วยพารามิเตอร์ประมาณ 10 พันล้านหรือน้อยกว่า
จุดสนใจหลักของ Orca 2 คือการแสดงให้เห็นว่าการปรับปรุงวิธีการฝึกอบรมและสัญญาณสามารถเพิ่มความสามารถในการให้เหตุผลของ LM ขนาดเล็กได้ วัตถุประสงค์ของการปรับปรุงนี้คือการจับคู่หรืออาจเกินความสามารถในการให้เหตุผลของคู่ที่ใหญ่กว่า
เมื่อเปรียบเทียบกับรุ่นที่มีขนาดเท่ากัน - รวมถึง Orca ดั้งเดิม - Microsoft อ้างว่า Orca 2 บดบังประสิทธิภาพอย่างมีนัยสำคัญ นอกจากนี้ยังมีรายงานว่าบรรลุระดับประสิทธิผลที่จับคู่หรือเหนือกว่าโมเดลที่มีขนาดใหญ่กว่า 5-10 เท่า Microsoft แสดงคำยืนยันเหล่านี้ในบล็อกโพสต์ล่าสุด
Orca 2 มีสองขนาด; 7 พันล้านและ 13 พันล้านพารามิเตอร์ ทั้งสองรุ่นนี้ได้รับการปรับแต่งอย่างละเอียดอย่างแม่นยำตามข้อมูลสังเคราะห์ที่ปรับแต่งมาอย่างพิถีพิถัน ซึ่งได้มาจากรุ่นพื้นฐาน LLAMA 2 อย่างพิถีพิถัน Microsoft ทำให้น้ำหนักของ Orca 2 เข้าถึงได้แบบสาธารณะ โดยส่งเสริมการวิจัยเพิ่มเติมเกี่ยวกับการจัดตั้ง การวิเคราะห์ และการประสานกันของ LM ขนาดเล็ก
Microsoft ได้ใช้ชุดข้อมูลที่รวบรวมไว้เพื่อสอน Orca 2 ด้วยเทคนิคการให้เหตุผลมากมาย เทคนิคเหล่านี้รวมถึงแบบจำลองการประมวลผลทีละขั้นตอน วิธีการเรียกคืนแล้วสร้าง วิธีการสร้างเหตุผลในการเรียกคืน แบบจำลองการสร้างการแยก และวิธีการตอบโดยตรง ในขณะที่สอนวิธีการเหล่านี้ มีการเอาใจใส่อย่างระมัดระวังในการสอน Orca 2 ให้ปรับกลยุทธ์การแก้ปัญหาที่แตกต่างกันสำหรับงานที่แตกต่างกัน
เพื่อบันทึกคำตอบของโมเดลครู บริษัทใช้คำแนะนำโดยละเอียดและการโทรหลายครั้ง วิธีการอันชาญฉลาดนี้ช่วยให้โมเดลนักเรียน (ในกรณีนี้ Orca 2) สามารถเรียนรู้กลวิธีและความสามารถในการให้เหตุผลที่ซ่อนอยู่ แม้ว่าจะไม่มีคำสั่งงานที่ชัดเจนก็ตาม แนวทางนี้มุ่งหวังที่จะเพิ่มประสิทธิภาพการทำงานของโมเดลขนาดเล็กโดยการปรับแต่งกลยุทธ์โซลูชันเฉพาะสำหรับแต่ละงาน
โพสต์ในบล็อกของ Microsft ยังกล่าวถึงความสำเร็จและศักยภาพของ Orca 2 ในแง่ดีอีกด้วย พวกเขาอธิบายอย่างละเอียดว่า ความสำเร็จของ ' Orca 2 ' ส่วนใหญ่มาจากการใช้เทคนิคการใช้เหตุผลที่หลากหลายและการระบุวิธีแก้ปัญหาที่เหมาะสมที่สุดสำหรับงานต่างๆ แม้จะมีข้อจำกัดบางประการที่เหมือนกันกับโมเดลภาษาอื่นๆ และสืบทอดมาจากโมเดลพื้นฐาน แต่ศักยภาพของ Orca 2 สำหรับความก้าวหน้าในอนาคต โดยเฉพาะอย่างยิ่งในด้านการใช้เหตุผล การควบคุม ความเชี่ยวชาญ และความปลอดภัยของโมเดลขนาดเล็กที่ได้รับการปรับปรุงนั้นมีความสำคัญมาก
โพสต์ยังเสริมว่าการใช้ข้อมูลสังเคราะห์ที่ได้รับการกรองอย่างเข้มงวดสำหรับหลังการฝึกอบรมถือเป็นกลยุทธ์ที่มีความจำเป็นอย่างยิ่ง การสำรวจและการใช้งาน Orca 2 ที่ประสบความสำเร็จถือเป็นความพยายามที่น่าสังเกตในการกระจายแอปพลิเคชันโมเดลภาษาที่หลากหลาย
ไม่ต้องสงสัยเลยว่าโครงการ Orca 2 สะท้อนหลักการสมดุลด้านประสิทธิภาพและความสามารถของแพลตฟอร์ม AppMaster AppMaster ซึ่งเป็นเครื่องมือ no-code สำหรับการพัฒนาแอปพลิเคชัน ใช้ประโยชน์จากปรัชญาที่คล้ายกัน ทำให้การพัฒนาแอปพลิเคชันเร็วขึ้น 10 เท่าและคุ้มต้นทุนถึง 3 เท่า ขณะเดียวกันก็ขจัดภาระทางเทคนิคด้วยแนวทางการสร้างแอปพลิเคชันใหม่ตั้งแต่ต้นทุกครั้งที่ต้องมีการแก้ไข ดังนั้นแพลตฟอร์มเช่นนี้จึงส่งเสริมยุคใหม่ของการพัฒนาเทคโนโลยีที่มีประสิทธิภาพและประสิทธิผล
