Anthropic ha posto un nuovo piedistallo nel regno dei modelli linguistici di grandi dimensioni (LLM), rivelando il lancio di Claude 2.1, in grado di ingerire ben 200.000 token nella sua finestra di contesto. Per metterlo in prospettiva, ciò equivale a oltre mezzo milione di parole o più di 500 pagine stampate di dati: un passo notevole, ha affermato Anthropic.
Il modello lanciato di recente non si limita ad espandere la sistemazione dei dati. Supera il suo predecessore in termini di precisione, offrendo l'utilizzo dello strumento beta, il tutto a un costo ridotto, segnando un notevole progresso nella serie pionieristica Anthropic's.
Claude 2.1 è equipaggiato per potenziare il chatbot AI generativo di Claude, rendendo le sue funzionalità avanzate accessibili sia agli utenti gratuiti che a quelli paganti. C'è un problema, però! La finestra di contesto dei token estesa è un vantaggio esclusivo per i clienti Pro paganti, mentre gli utenti gratuiti rimangono limitati a un limite di 100.000 token. Tuttavia, questo supera ancora il limite dei token di GPT-3.5 con un margine sostanziale.
L'attributo dello strumento beta in Claude 2.1 apre nuove porte agli sviluppatori, consentendo loro di intrecciare API e funzioni definite nel modello Claude. Ciò rispecchia le capacità presenti nei modelli OpenAI, offrendo flessibilità e integrazione simili.
In precedenza, Claude aveva già un vantaggio competitivo rispetto a OpenAI in termini di capacità della finestra di contesto dei token, vantando un limite di 100.000 token, finché OpenAI non ha rivelato una versione di anteprima di GPT-4 Turbo con una finestra di contesto di 128.000 token. Questo modello, tuttavia, rimane limitato agli utenti ChatGPT Plus che si abbonano a $ 20 al mese ed è accessibile solo in formato chatbot. Gli sviluppatori che desiderano utilizzare l'API GPT-4 devono optare per un sistema pay-per-use.
Sebbene un'ampia finestra di contesto, una rappresentazione dei dati che può analizzare simultaneamente, possa sembrare interessante per grandi documenti o diversi set di informazioni, non è certo se gli LLM possano elaborare grandi volumi di dati in modo efficiente rispetto a segmenti più piccoli. L'imprenditore ed esperto di intelligenza artificiale Greg Kamradt ha studiato attentamente questo problema con una tecnica che definisce l'analisi dell'"ago in un pagliaio".
Incorporando dichiarazioni casuali in varie sezioni di un ampio documento inserito nel LLM, verifica se vengono recuperate piccole informazioni all'interno di documenti più grandi quando viene interrogato il LLM. La sua analisi di Claude 2.1, per la quale gli è stato concesso l'accesso anticipato, ha concluso che "con 200.000 token (circa 470 pagine), Claude 2.1 è riuscito a ricordare fatti a profondità specifiche del documento".
Le prestazioni del richiamo hanno iniziato a peggiorare una volta che i token hanno superato la soglia dei ~ 90.000 e sono state particolarmente colpite alla base del documento. Questo difetto non è esclusivo di Claude 2.1, GPT-4 ha dimostrato un richiamo imperfetto simile nel suo contesto massimo.
Lo studio di Kamradt comporta circa 1.000 dollari in chiamate API. (Anthropic ha fornito crediti per gli stessi test eseguiti su GPT-4). I suoi insegnamenti hanno evidenziato l'importanza di creare suggerimenti con cura, di non dare per scontato un recupero dei dati coerente, e che input minori generalmente garantiscono risultati superiori.
Spesso, gli sviluppatori dividono i dati in segmenti più piccoli quando estraggono informazioni da ampi set di dati per migliorare i risultati del recupero, indipendentemente dalla potenziale capacità della finestra di contesto.
Una valutazione dell'accuratezza di Claude 2.1 utilizzando una raccolta completa di complesse query fattuali progettate per sondare i tipici punti deboli dei modelli attuali ha rivelato un calo del 50% nelle false dichiarazioni rispetto alla versione precedente. Secondo l'annuncio Anthropic's, è più probabile che l'attuale iterazione confessi l'ignoranza piuttosto che generare informazioni contraffatte. Il rapporto evidenzia inoltre progressi sostanziali nella comprensione e nella sintesi.
