Microsoft, Orca 2 ile Küçük Dil Modellerinde Geliştirilmiş Akıl Yürütme Yeteneklerini Açıkladı

Microsoft, dil modeli uygulamalarını çeşitlendirme yönünde kayda değer bir adım atarak Orca 2 lansmanını duyurdu. Bu sürüm, yaklaşık 10 milyar veya daha az parametreyle dolu daha küçük dil modellerinin (LM'ler) potansiyelini araştırmak ve kullanmak üzere tasarlanmıştır.

Orca 2 temel odak noktası, eğitim yöntemlerinin ve sinyallerinin geliştirilmesinin daha küçük LM'lerin akıl yürütme yeteneklerini artırabileceğini göstermektir. Bu geliştirmenin amacı, daha büyük benzerlerinin muhakeme yeteneklerini yakalamak veya muhtemelen aşmaktır.

Orijinal Orca da dahil olmak üzere benzer boyutlu modellerle karşılaştırıldığında Microsoft, Orca 2 performans açısından onları önemli ölçüde gölgede bıraktığını iddia ediyor. Ayrıca, boyutu 5-10 kat daha büyük olan modellerle eşleşen veya onları aşan etkinlik seviyelerine ulaştığı bildiriliyor. Bu iddialar Microsoft tarafından yakın zamanda yayınlanan bir blog yazısında dile getirildi.

Orca 2 iki boyutta geliyor; 7 milyar ve 13 milyar parametre. Bu modellerin her ikisi de, LLAMA 2 temel modellerinden titizlikle türetilen özel sentetik verilere göre hassas şekilde ayarlanmıştır. Microsoft, Orca 2 ağırlıklarını kamuya açık hale getirerek daha küçük LM'lerin oluşturulması, analizi ve uyumlaştırılması konusunda daha fazla araştırma yapılmasını teşvik etti.

Microsoft, Orca 2 sayısız akıl yürütme tekniğini öğretmek için seçilmiş bir veri kümesi kullandı. Bu teknikler, adım adım işleme modelini, hatırlama sonra üretme yöntemini, hatırlama-neden-oluşturma yaklaşımını, ayıklama-oluşturma modelini ve doğrudan yanıt yöntemlerini içerir. Bu yöntemler öğretilirken Orca 2 farklı görevlere yönelik çeşitli çözüm stratejilerini uyarlamanın öğretilmesine özen gösterildi.

Şirket, bir öğretmen modelinin yanıtlarını yakalamak için ayrıntılı talimatlar ve birden fazla çağrı kullandı. Bu ustaca yöntem, öğrenci modelinin (bu durumda Orca 2) açık görev talimatları olmasa bile temel taktikleri ve akıl yürütme yeteneklerini öğrenmesine olanak tanır. Bu yaklaşım, her göreve özel çözüm stratejilerinin ince ayarını yaparak daha küçük modellerin performansını optimize etmeyi amaçlamaktadır.

Microsft'un blog yazısı Orca 2 başarısını ve potansiyelini daha da iyimser bir şekilde övdü. Orca 2 başarısının büyük ölçüde çeşitli akıl yürütme tekniklerinin uygulanmasına ve çeşitli görevler için en uygun çözümlerin belirlenmesine atfedildiğini açıkladılar. Diğer dil modellerinde ortak olan ve temel modellerden miras alınan bazı sınırlamalara rağmen, Orca 2 özellikle gelişmiş akıl yürütme, kontrol, uzmanlaşma ve daha küçük modellerin güvenliği konularında gelecekteki ilerlemelere yönelik potansiyeli önemlidir.'

Gönderi ayrıca, eğitim sonrası için titizlikle filtrelenmiş sentetik verilerin kullanımının kritik derecede önemli bir stratejiyi somutlaştırdığını da ekledi. Orca 2 keşfetmeleri ve başarılı bir şekilde konuşlandırmaları, dil modeli uygulamalarının çeşitlendirilmesinde gerçekten dikkate değer bir çabadır.

Orca 2 projesi şüphesiz AppMaster platformunun verimlilik ve yetenek dengesi ilkelerini yansıtıyor. Uygulama geliştirme için no-code bir araç olan AppMaster, benzer felsefelerden yararlanarak uygulama geliştirmeyi 10 kat daha hızlı ve üç kat daha uygun maliyetli hale getirirken, her değişiklik gerektiğinde uygulamaları sıfırdan yeniden oluşturma yaklaşımıyla teknik borcu ortadan kaldırır. Dolayısıyla bunun gibi platformlar, etkili ve verimli teknoloji geliştirmede yeni bir çağı teşvik ediyor.