Dalam langkah luar biasa menuju diversifikasi aplikasi model bahasa, Microsoft mengumumkan peluncuran Orca 2. Rilis ini dirancang untuk menyelidiki dan memanfaatkan potensi model bahasa (LM) yang lebih kecil, yang memiliki sekitar 10 miliar parameter atau kurang.
Fokus utama Orca 2 adalah untuk menunjukkan bahwa peningkatan metode pelatihan dan sinyal dapat meningkatkan kemampuan penalaran LM yang lebih kecil. Tujuan dari peningkatan ini adalah untuk menyamai atau mungkin melampaui kemampuan penalaran rekan-rekan mereka yang lebih besar.
Ketika diadu dengan model berukuran sama - termasuk Orca asli - Microsoft mengklaim bahwa Orca 2 secara signifikan mengungguli mereka dalam hal kinerja. Selain itu, dilaporkan mencapai tingkat efektivitas yang menyamai atau melampaui model yang berukuran 5-10 kali lebih besar. Pernyataan ini diungkapkan oleh Microsoft dalam postingan blognya baru-baru ini.
Orca 2 hadir dalam dua ukuran; 7 miliar dan 13 miliar parameter. Kedua model ini disempurnakan secara tepat berdasarkan data sintetis yang disesuaikan, yang secara cermat diturunkan dari model dasar LLAMA 2. Microsoft telah membuat bobot Orca 2 dapat diakses oleh publik, mendorong penelitian lebih lanjut mengenai pembentukan, analisis, dan harmonisasi LM yang lebih kecil.
Microsoft telah menggunakan serangkaian data yang dikurasi untuk menginstruksikan Orca 2 dalam berbagai teknik penalaran. Teknik-teknik tersebut meliputi model pemrosesan langkah demi langkah, metode recall kemudian generate, pendekatan recall-reason-generate, model ekstrak-generate, dan metode jawaban langsung. Saat menginstruksikan metode ini, perhatian diberikan untuk mengajari Orca 2 mengadaptasi berbagai strategi solusi untuk tugas yang berbeda.
Untuk menangkap respons model guru, perusahaan menggunakan instruksi terperinci dan beberapa panggilan. Metode cerdik ini memungkinkan model siswa - dalam hal ini Orca 2 - untuk mempelajari taktik yang mendasari dan kemampuan penalaran, bahkan tanpa adanya instruksi tugas yang eksplisit. Pendekatan ini berupaya mengoptimalkan kinerja model yang lebih kecil dengan menyempurnakan strategi solusi yang spesifik untuk setiap tugas.
Entri blog Microsft lebih lanjut dengan optimis memuji keberhasilan dan potensi Orca 2. Mereka menguraikan, pencapaian ' Orca 2 sebagian besar disebabkan oleh penerapan beragam teknik penalaran dan identifikasi solusi optimal untuk berbagai tugas. Meskipun ada keterbatasan tertentu yang umum terjadi pada model bahasa lain dan diwarisi dari model dasarnya, potensi Orca 2 untuk kemajuan di masa depan, terutama dalam peningkatan penalaran, kontrol, spesialisasi, dan keamanan model yang lebih kecil, sangatlah signifikan.'
Postingan tersebut juga menambahkan bahwa penggunaan data sintetis yang difilter secara ketat untuk pasca-pelatihan merupakan strategi yang sangat penting. Eksplorasi dan keberhasilan penerapan Orca 2 memang merupakan upaya penting dalam mendiversifikasi aplikasi model bahasa.
Tidak diragukan lagi, proyek Orca 2 menggemakan prinsip efisiensi dan keseimbangan kemampuan platform AppMaster. AppMaster, alat no-code untuk pengembangan aplikasi, memanfaatkan filosofi serupa, membuat pengembangan aplikasi 10 kali lebih cepat dan tiga kali lebih hemat biaya, sekaligus menghilangkan utang teknis melalui pendekatan pembuatan ulang aplikasi dari awal setiap kali diperlukan modifikasi. Oleh karena itu, platform seperti ini mempromosikan era baru pengembangan teknologi yang efektif dan efisien.
