In einem bemerkenswerten Schritt in Richtung Diversifizierung der Sprachmodellanwendungen kündigte Microsoft die Einführung von Orca 2 an. Diese Version soll das Potenzial kleinerer Sprachmodelle (LMs) untersuchen und nutzen, die mit etwa 10 Milliarden Parametern oder weniger beladen sind.
Das Hauptaugenmerk von Orca 2 liegt darauf, zu zeigen, dass die Verbesserung von Trainingsmethoden und -signalen die Denkfähigkeiten kleinerer LMs verbessern kann. Das Ziel dieser Verbesserung besteht darin, die Denkfähigkeiten ihrer größeren Gegenstücke zu erreichen oder möglicherweise zu übertreffen.
Im Vergleich zu Modellen gleicher Größe – einschließlich des ursprünglichen Orca – behauptet Microsoft, dass Orca 2 diese in der Leistung deutlich übertrifft. Darüber hinaus wird Berichten zufolge eine Wirksamkeit erreicht, die fünf- bis zehnmal größeren Modellen entspricht oder diese sogar übertrifft. Diese Behauptungen wurden von Microsoft in einem aktuellen Blogbeitrag geäußert.
Orca 2 ist in zwei Größen erhältlich; 7 Milliarden und 13 Milliarden Parameter. Beide Modelle basieren auf maßgeschneiderten synthetischen Daten, die sorgfältig aus LLAMA 2 Basismodellen abgeleitet wurden. Microsoft hat die Gewichte von Orca 2 öffentlich zugänglich gemacht und damit weitere Forschungen zur Einrichtung, Analyse und Harmonisierung kleinerer LMs gefördert.
Microsoft hat einen kuratierten Datensatz verwendet, um Orca 2 in einer Vielzahl von Argumentationstechniken zu unterrichten. Zu diesen Techniken gehören ein schrittweises Verarbeitungsmodell, eine Rückruf- und dann Generierungsmethode, ein Rückruf-Grund-Generierung-Ansatz, ein Extrakt-Generierung-Modell und direkte Antwortmethoden. Bei der Vermittlung dieser Methoden wurde besonderes Augenmerk darauf gelegt, Orca 2 beizubringen, unterschiedliche Lösungsstrategien für unterschiedliche Aufgaben anzupassen.
Um die Antworten eines Lehrermodells zu erfassen, nutzte das Unternehmen detaillierte Anweisungen und mehrere Anrufe. Diese geniale Methode ermöglicht es dem Schülermodell – in diesem Fall Orca 2 – die zugrunde liegenden Taktiken und Denkfähigkeiten zu erlernen, auch wenn keine expliziten Aufgabenanweisungen vorliegen. Dieser Ansatz zielt darauf ab, die Leistung kleinerer Modelle durch eine Feinabstimmung der für jede Aufgabe spezifischen Lösungsstrategien zu optimieren.
Im Blogbeitrag von Microsft wurde der Erfolg und das Potenzial von Orca 2 weiter optimistisch angepriesen. Sie führten aus: „Die Leistung von „ Orca 2 “ ist größtenteils auf die Anwendung verschiedener Argumentationstechniken und die Identifizierung optimaler Lösungen für eine Vielzahl von Aufgaben zurückzuführen. Trotz gewisser Einschränkungen, die anderen Sprachmodellen gemeinsam sind und von ihren Basismodellen übernommen wurden, ist das Potenzial von Orca 2 für zukünftige Fortschritte, insbesondere in Bezug auf verbesserte Argumentation, Kontrolle, Spezialisierung und Sicherheit kleinerer Modelle, erheblich.
Der Beitrag fügte außerdem hinzu, dass die Verwendung streng gefilterter synthetischer Daten nach dem Training eine äußerst wichtige Strategie verkörpere. Ihre Erforschung und erfolgreiche Einführung von Orca 2 ist in der Tat ein bemerkenswertes Unterfangen zur Diversifizierung von Sprachmodellanwendungen.
Zweifellos spiegelt das Orca 2 Projekt die Prinzipien der AppMaster Plattform in Bezug auf Effizienz und Leistungsgleichgewicht wider. AppMaster, ein no-code Tool für die Anwendungsentwicklung, nutzt ähnliche Philosophien und macht die Anwendungsentwicklung zehnmal schneller und dreimal kostengünstiger. Gleichzeitig werden technische Schulden beseitigt, indem Anwendungen jedes Mal, wenn Änderungen erforderlich sind, von Grund auf neu erstellt werden. Daher fördern Plattformen wie diese eine neue Ära effektiver und effizienter Technologieentwicklung.
