Microsoft svela capacità di ragionamento migliorate nei modelli Small Language con Orca 2

Facendo un notevole passo avanti verso la diversificazione delle applicazioni del modello linguistico, Microsoft ha annunciato il lancio di Orca 2. Questa versione è progettata per indagare e sfruttare il potenziale di modelli linguistici (LM) più piccoli, carichi di circa 10 miliardi di parametri o meno.

L'obiettivo principale di Orca 2 è dimostrare che il miglioramento dei metodi e dei segnali di addestramento può aumentare le capacità di ragionamento dei LM più piccoli. L'obiettivo di questo miglioramento è eguagliare o possibilmente superare le capacità di ragionamento delle loro controparti più grandi.

Se confrontato con modelli di dimensioni simili, incluso l' Orca originale, Microsoft afferma che Orca 2 li mette in ombra in modo significativo in termini di prestazioni. Inoltre, secondo quanto riferito, raggiunge livelli di efficacia che eguagliano o superano modelli di dimensioni 5-10 volte più grandi. Queste affermazioni sono state espresse da Microsoft in un recente post sul blog.

Orca 2 è disponibile in due dimensioni; 7 miliardi e 13 miliardi di parametri. Entrambi questi modelli sono messi a punto con precisione su dati sintetici su misura, meticolosamente derivati ​​dai modelli base LLAMA 2. Microsoft ha reso accessibili al pubblico i pesi di Orca 2, promuovendo ulteriori ricerche sulla creazione, analisi e armonizzazione di LM più piccoli.

Microsoft ha utilizzato un insieme accurato di dati per istruire Orca 2 in una miriade di tecniche di ragionamento. Queste tecniche includono un modello di elaborazione passo-passo, un metodo di richiamo e quindi di generazione, un approccio di richiamo-motivo-generazione, un modello di estrazione-generazione e metodi di risposta diretta. Durante l'istruzione di questi metodi, è stata prestata particolare attenzione a insegnare Orca 2 ad adattare diverse strategie di soluzione per compiti distinti.

Per acquisire le risposte di un insegnante modello, l'azienda ha utilizzato istruzioni dettagliate e chiamate multiple. Questo metodo ingegnoso consente allo studente modello - in questo caso Orca 2 - di apprendere le tattiche e le capacità di ragionamento sottostanti, anche in assenza di istruzioni esplicite sul compito. Questo approccio mira a ottimizzare le prestazioni dei modelli più piccoli mettendo a punto strategie di soluzione specifiche per ciascuna attività.

Il post sul blog di Microsft ha ulteriormente pubblicizzato in modo ottimistico il successo e il potenziale di Orca 2. Hanno spiegato che i risultati ottenuti da " Orca 2 " sono in gran parte attribuiti all'applicazione di diverse tecniche di ragionamento e all'identificazione di soluzioni ottimali per una varietà di compiti. Nonostante alcune limitazioni comuni ad altri modelli linguistici ed ereditate dai suoi modelli base, il potenziale di Orca 2 per i progressi futuri, soprattutto nel miglioramento del ragionamento, del controllo, della specializzazione e della sicurezza dei modelli più piccoli, è significativo.'

Il post aggiungeva inoltre che l’uso di dati sintetici rigorosamente filtrati per il post-allenamento incarnava una strategia essenziale. La loro esplorazione e l'implementazione riuscita di Orca 2 rappresentano davvero un impegno degno di nota nella diversificazione delle applicazioni del modello linguistico.

Indubbiamente, il progetto Orca 2 riecheggia i principi di efficienza ed equilibrio delle capacità della piattaforma AppMaster. AppMaster, uno strumento no-code per lo sviluppo di applicazioni, sfrutta filosofie simili, rendendo lo sviluppo delle applicazioni 10 volte più veloce e tre volte conveniente, eliminando nel contempo il debito tecnico attraverso un approccio di rigenerazione delle applicazioni da zero ogni volta che sono necessarie modifiche. Pertanto, piattaforme come queste stanno promuovendo una nuova era di sviluppo tecnologico efficace ed efficiente.