Anthropic ha establecido un nuevo pedestal en el ámbito de los grandes modelos de lenguaje (LLM), revelando el lanzamiento de Claude 2.1, capaz de ingerir una cantidad sustancial de 200.000 tokens en su ventana de contexto. Para poner esto en perspectiva, eso equivale a más de medio millón de palabras o más de 500 páginas impresas de datos: un avance notable, afirmó Anthropic.
El modelo lanzado recientemente no se limita a ampliar el alojamiento de datos. Supera a su antecesor en precisión, ofreciendo el uso de la herramienta beta, todo ello a un costo reducido, lo que marca un avance considerable en la serie pionera Anthropic's.
Claude 2.1 viene equipado para potenciar el chatbot de IA generativa de Claude, haciendo que sus funciones mejoradas sean accesibles tanto para usuarios gratuitos como de pago. ¡Pero hay un problema! La ventana de contexto de token ampliada es un beneficio exclusivo para los clientes Pro que pagan, mientras que los usuarios gratuitos mantienen un límite de 100.000 tokens. Sin embargo, esto todavía supera el límite de tokens de GPT-3.5 por un margen sustancial.
El atributo de herramienta beta en Claude 2.1 abre nuevas puertas para los desarrolladores, permitiéndoles integrar API y funciones definidas en el modelo de Claude. Esto refleja las capacidades presentes en los modelos de OpenAI, ofreciendo flexibilidad e integración similares.
Antes de esto, Claude ya tenía una ventaja competitiva sobre OpenAI en términos de capacidad de la ventana de contexto de tokens, con un límite de 100.000 tokens, hasta que OpenAI reveló una versión preliminar de GPT-4 Turbo con una ventana de contexto de 128.000 tokens. Este modelo, sin embargo, sigue limitado a los usuarios de ChatGPT Plus que se suscriben por $20 al mes y solo es accesible en formato chatbot. Los desarrolladores que deseen utilizar la API GPT-4 deben optar por un sistema de pago por uso.
Aunque una ventana de contexto extensa (una representación de los datos que puede analizar simultáneamente) puede parecer atractiva para documentos extensos o conjuntos diversos de información, no es seguro si los LLM pueden procesar grandes volúmenes de datos de manera eficiente en comparación con segmentos más pequeños. El empresario y experto en inteligencia artificial, Greg Kamradt, ha estado investigando de cerca este tema con una técnica que él llama análisis de "aguja en un pajar".
Al incorporar declaraciones aleatorias en varias secciones de un documento amplio introducido en el LLM, prueba si se recuperan pequeños fragmentos de información dentro de documentos más grandes cuando se consulta el LLM. Su análisis de Claude 2.1, al que se le dio acceso anticipado, concluyó que "con 200.000 tokens (aproximadamente 470 páginas), Claude 2.1 logró recordar hechos en profundidades de documentos específicas".
El rendimiento del retiro comenzó a deteriorarse una vez que los tokens superaron la marca de ~90K y se vio particularmente afectado en la base del documento. Esta falla no es exclusiva de Claude 2.1, GPT-4 demostró una recuperación imperfecta similar en su contexto máximo.
El estudio de Kamradt incurre en aproximadamente 1.000 dólares en llamadas API. (Anthropic proporcionó créditos por las mismas pruebas realizadas en GPT-4). Sus conclusiones resaltaron la importancia de elaborar indicaciones con cuidado, no asumir una recuperación de datos consistente, y que menos entradas generalmente garantizan resultados superiores.
A menudo, los desarrolladores dividen los datos en segmentos más pequeños cuando extraen información de conjuntos de datos amplios para mejorar los resultados de la recuperación, independientemente de la capacidad potencial de la ventana de contexto.
Una evaluación de la precisión de Claude 2.1 utilizando una colección completa de consultas fácticas intrincadas diseñadas para sondear los puntos débiles típicos de los modelos actuales reveló una caída del 50% en declaraciones falsas en comparación con la versión anterior. Es más probable que la iteración actual confiese ignorancia en lugar de generar información falsificada, según el anuncio Anthropic's. El informe destaca además avances sustanciales en comprensión y resumen.
