Anthropic поднимает уровень игры по обработке языка с появлением Claude 2.1 LLM

Anthropic установила новый пьедестал в области больших языковых моделей (LLM), продемонстрировав запуск Claude 2.1, способного принимать значительные 200 000 токенов в своем контекстном окне. Для сравнения: это соответствует более чем полумиллиону слов или более 500 печатным страницам данных — выдающийся шаг, заявили Anthropic.

Недавно запущенная модель не ограничивается расширением размещения данных. Он превосходит своего предшественника по точности, предлагая использование бета-инструмента при снижении затрат, что знаменует собой значительный прогресс в новаторской серии Anthropic's.

Claude 2.1 оснащен оборудованием, расширяющим возможности чат-бота Claude с генеративным искусственным интеллектом, делая его расширенные функции доступными как для бесплатных, так и для платных пользователей. Однако есть одна загвоздка! Расширенное окно контекста токена является эксклюзивной привилегией для платящих клиентов Pro, тогда как для бесплатных пользователей остается ограничение в 100 000 токенов. Тем не менее, это все равно значительно превышает лимит токенов GPT-3.5.

Атрибут бета-инструмента в Claude 2.1 открывает новые двери для разработчиков, позволяя им объединять API и определенные функции в модель Claude. Это отражает возможности моделей OpenAI, предлагая аналогичную гибкость и интеграцию.

До этого Клод уже имел конкурентное преимущество над OpenAI с точки зрения емкости контекстного окна токенов, имея ограничение в 100 000 токенов, пока OpenAI не представила предварительную версию GPT-4 Turbo с контекстным окном в 128 000 токенов. Однако эта модель по-прежнему ограничена пользователями ChatGPT Plus, подписавшимися по цене 20 долларов США в месяц, и доступна только в формате чат-бота. Разработчики, желающие использовать API GPT-4, должны выбрать систему оплаты по факту использования.

Хотя обширное контекстное окно — представление данных, которые оно может анализировать одновременно — может показаться привлекательным для огромных документов или разнообразных наборов информации, неясно, смогут ли LLM эффективно обрабатывать большие объемы данных по сравнению с меньшими сегментами. Предприниматель и эксперт в области искусственного интеллекта Грег Камрадт внимательно исследовал эту проблему с помощью метода, который он называет анализом «иголки в стоге сена».

Встраивая случайные утверждения в различные разделы большого документа, подаваемого в LLM, он проверяет, извлекаются ли небольшие фрагменты информации из более крупных документов при запросе LLM. Его анализ Клода 2.1, для которого ему был предоставлен ранний доступ, пришел к выводу, что «при 200 тысячах токенов (приблизительно 470 страниц) Клоду 2.1 удалось вспомнить факты на определенной глубине документа».

Производительность отзыва начала ухудшаться после того, как токены превысили отметку ~90 тыс., и это особенно повлияло на основу документа. Этот недостаток не является эксклюзивным для Claude 2.1, GPT-4 продемонстрировал аналогичный несовершенный отзыв в максимальном контексте.

Исследование Камрадта требует около 1000 долларов США за вызовы API. (Anthropic действительно предоставила баллы за те же тесты, проведенные на GPT-4). Его выводы подчеркнули важность тщательного составления подсказок, не предполагающего последовательного получения данных, и то, что меньшие затраты обычно обеспечивают превосходные результаты.

Часто разработчики разбивают данные на более мелкие сегменты при извлечении информации из обширных наборов данных, чтобы улучшить результаты поиска, независимо от потенциальной емкости контекстного окна.

Оценка точности Claude 2.1 с использованием комплексного набора сложных фактических запросов, предназначенных для выявления типичных слабых мест в текущих моделях, выявила снижение количества ложных утверждений на 50% по сравнению с предыдущей версией. Согласно заявлению Anthropic's нынешняя версия скорее признает невежество, чем генерирует фальшивую информацию. В докладе также отмечается существенный прогресс в понимании и обобщении.