Microsoft、Orca 2 による小規模言語モデルの推論機能の向上を発表

言語モデル アプリケーションの多様化に向けた目覚ましい進歩の中で、Microsoft はOrca 2の発売を発表しました。このリリースは、約 100 億個以下のパラメータを含む、より小規模な言語モデル (LM) の可能性を調査し、活用するように設計されています。

Orca 2の主な焦点は、トレーニング方法と信号の強化により、より小型の LM の推論能力を高めることができることを実証することです。この強化の目的は、より大型の同等の推論能力と同等か、場合によってはそれを超えることです。

オリジナルのOrcaを含む同様のサイズのモデルと比較した場合、Microsoft は、 Orca 2のパフォーマンスがそれらのモデルに大きく影を落としていると主張しています。さらに、サイズが 5 ～ 10 倍のモデルと同等またはそれを超えるレベルの有効性を達成すると報告されています。これらの主張は、Microsoft によって最近のブログ投稿で表明されました。

Orca 2には 2 つのサイズがあります。パラメータは 70 億と 130 億。これらのモデルはどちらも、 LLAMA 2ベース モデルから細心の注意を払って導き出された、調整された合成データに基づいて正確に微調整されています。 Microsoft は、 Orca 2の重みを一般に公開し、より小規模な LM の確立、分析、調和に関するさらなる研究を促進しています。

Microsoft は、 Orca 2に無数の推論手法を指示するために厳選されたデータ セットを採用しました。これらの手法には、ステップバイステップの処理モデル、想起してから生成する方法、想起-理由-生成アプローチ、抽出-生成モデル、および直接回答方法が含まれます。これらの方法を指導する際には、 Orca 2個別のタスクに応じてさまざまな解決策を適応できるように指導することに細心の注意が払われました。

教師モデルの反応を把握するために、同社は詳細な指示と複数回の通話を使用しました。この独創的な方法により、明示的なタスク指示がない場合でも、学生モデル (この場合はOrca 2) が基礎となる戦術と推論能力を学習できるようになります。このアプローチは、各タスクに固有のソリューション戦略を微調整することで、より小さなモデルのパフォーマンスを最適化することを目指します。

Microsft のブログ投稿では、 Orca 2の成功と可能性をさらに楽観的に宣伝しました。彼らは、「 Orca 2の成果は、多様な推論技術の適用と、さまざまなタスクに対する最適な解決策の特定に主に起因している」と詳しく述べました。他の言語モデルに共通し、基本モデルから継承された特定の制限にもかかわらず、 Orca 2の将来の進歩の可能性、特に小規模なモデルの推論、制御、専門化、安全性の向上は重要です。

この投稿では、トレーニング後の厳密にフィルタリングされた合成データの使用が非常に重要な戦略を具体化しているとも付け加えました。彼らの探索とOrca 2の展開の成功は、言語モデル アプリケーションの多様化において確かに注目に値する取り組みです。

Orca 2プロジェクトは、 AppMasterプラットフォームの効率性と機能バランスの原則を反映していることは間違いありません。アプリケーション開発用のno-codeツールであるAppMaster 、同様の理念を活用し、アプリケーション開発を 10 倍高速化し、コスト効率を 3 倍向上させながら、変更が必要になるたびにアプリケーションを最初から再生成するアプローチにより技術的負債を排除します。したがって、このようなプラットフォームは、効果的かつ効率的な技術開発の新時代を促進しています。