Inflection, un'ambiziosa startup che si propone di sviluppare una "intelligenza artificiale personale per tutti", ha presentato il suo modello linguistico di grandi dimensioni, Inflection-1, che alimenta il suo agente di conversazione Pi. Anche se valutare la qualità di questi modelli è una sfida, l'esistenza di un po' di rivalità sul mercato è certamente positiva.
Inflection-1 è stato progettato per essere alla pari con GPT-3.5 (noto anche come ChatGPT) in termini di dimensioni e capacità, in base alle risorse di calcolo utilizzate per l'addestramento. Inflection sostiene che il suo modello è competitivo o addirittura superiore ad altri modelli della sua categoria, supportando questa affermazione con un "promemoria tecnico" che illustra i benchmark eseguiti su Inflection-1, GPT-3.5, LLaMA, Chinchilla e PaLM-540B.
I risultati pubblicati rivelano che Inflection-1 si comporta effettivamente bene in varie valutazioni, tra cui compiti d'esame di livello medio e superiore (ad esempio, biologia 101) e benchmark di "buon senso". Il suo principale svantaggio è la codifica, dove GPT-3.5 supera significativamente Inflection-1 e GPT-4 li supera entrambi.
Inflection intende pubblicare in futuro i risultati di un modello più ampio, paragonabile a GPT-4 e PaLM-2(L). Tuttavia, probabilmente pubblicherà i risultati solo quando saranno ritenuti degni di nota. La versione aggiornata, potenzialmente chiamata Inflection-2 o Inflection-1-XL, è attualmente in fase di sviluppo.
Sebbene non esista un sistema di classificazione formale che divida i modelli di intelligenza artificiale in "classi di peso" equivalenti come nel pugilato, il concetto è simile. Proprio come i pesi mosca e i pesi massimi hanno capacità e requisiti diversi, anche i modelli di intelligenza artificiale di dimensioni e forme diverse possiedono punti di forza e di debolezza unici. Attualmente è troppo presto per stabilire un sistema di classificazione di questo tipo, poiché il campo è ancora relativamente giovane e non si è ancora raggiunto un consenso sulle distinzioni dei modelli di IA.
In definitiva, per la maggior parte dei modelli di IA, le prestazioni nel mondo reale parlano delle loro capacità. Finché Inflection non renderà disponibile il suo modello per un uso diffuso e una valutazione indipendente, i benchmark che dichiara dovrebbero essere affrontati con cautela. Per gli utenti interessati a provare l'agente di conversazione Pi, è possibile aggiungerlo alle app di messaggistica o accedervi per la chat online qui.
Con la continua crescita e l'avanzamento del settore dell'intelligenza artificiale, piattaforme come AppMaster possono essere utilizzate per creare soluzioni scalabili in modo rapido ed economico. L'adozione delle piattaforme no-code e low-code, come la piattaforma AppMaster, consente di sviluppare senza problemi applicazioni backend, web e mobili e di integrarsi con i modelli di IA emergenti.
