Anthropic LLM(대형 언어 모델) 영역에 새로운 기반을 마련하여 컨텍스트 창에서 상당한 200,000개의 토큰을 수집할 수 있는 Claude 2.1의 출시를 공개했습니다. 이를 관점에서 보면 이는 50만 단어가 넘는 단어 또는 인쇄된 500페이지 이상의 데이터에 해당하며 이는 놀라운 발전이라고 Anthropic 말했습니다.
최근 출시된 모델은 데이터 수용 확대에 그치지 않습니다. 이는 이전 버전의 정확성을 뛰어넘어 베타 도구 사용을 모두 비용 절감으로 제공함으로써 Anthropic's 선구적인 시리즈에서 상당한 발전을 이루었습니다.
Claude 2.1은 Claude 생성 AI 챗봇을 강화하여 무료 사용자와 유료 사용자 모두가 향상된 기능에 액세스할 수 있도록 해줍니다. 하지만 문제가 있습니다! 확장된 토큰 컨텍스트 창은 유료 Pro 고객을 위한 독점적인 혜택인 반면, 무료 사용자의 경우 토큰 한도는 100,000개로 제한됩니다. 그럼에도 불구하고 이는 여전히 GPT-3.5의 토큰 한도를 상당히 초과합니다.
Claude 2.1의 베타 도구 속성은 개발자가 API와 정의된 기능을 Claude 모델에 통합할 수 있도록 새로운 문을 열어줍니다. 이는 OpenAI 모델에 있는 기능을 반영하여 유사한 유연성과 통합을 제공합니다.
이에 앞서 Claude는 OpenAI가 128,000개의 토큰 컨텍스트 창을 갖춘 GPT-4 Turbo의 미리 보기 버전을 공개할 때까지 토큰 컨텍스트 창 용량 측면에서 이미 100,000개의 토큰 한도를 자랑하는 OpenAI보다 우위를 점했습니다. 그러나 이 모델은 월 20달러에 구독하는 ChatGPT Plus 사용자로 제한되며 챗봇 형식으로만 액세스할 수 있습니다. GPT-4 API를 활용하려는 개발자는 종량제 결제 시스템을 선택해야 합니다.
동시에 분석할 수 있는 데이터의 표현인 광범위한 컨텍스트 창은 방대한 문서나 다양한 정보 세트에 매력적으로 보일 수 있지만, LLM이 소규모 세그먼트에 비해 대량의 데이터를 효율적으로 처리할 수 있는지 여부는 확실하지 않습니다. AI 기업가이자 전문가인 Greg Kamradt는 '건초 더미 속의 바늘' 분석이라고 부르는 기술을 사용하여 이 문제를 면밀히 조사해 왔습니다.
LLM에 공급된 광범위한 문서의 다양한 섹션에 임의의 문을 삽입함으로써 LLM에 쿼리할 때 더 큰 문서 내의 작은 정보 조각이 검색되는지 테스트합니다. 초기 액세스 권한이 부여된 Claude 2.1에 대한 그의 분석은 '200,000개의 토큰(약 470페이지)에서 Claude 2.1이 특정 문서 깊이의 사실을 기억할 수 있었다'는 결론을 내렸습니다.
토큰이 ~90K 표시를 위반하고 특히 문서 기반에 영향을 미치면 리콜 성능이 악화되기 시작했습니다. 이 결함은 Claude 2.1에만 국한되지 않으며 GPT-4는 최대 컨텍스트에서 유사한 불완전한 회상을 보여주었습니다.
Kamradt의 연구에서는 API 호출로 약 1,000달러가 발생했습니다. (Anthropic은 GPT-4에서 수행된 동일한 테스트에 대한 크레딧을 제공했습니다). 그의 시사점은 일관된 데이터 검색을 가정하는 것이 아니라 신중하게 프롬프트를 작성하는 것의 중요성과 일반적으로 입력이 적을수록 우수한 결과가 보장된다는 점을 강조했습니다.
개발자는 컨텍스트 창의 잠재적 용량에 관계없이 검색 결과를 개선하기 위해 광범위한 데이터 세트에서 정보를 마이닝할 때 데이터를 더 작은 세그먼트로 분할하는 경우가 많습니다.
현재 모델의 일반적인 약점을 조사하기 위해 고안된 복잡하고 사실적인 쿼리의 포괄적인 컬렉션을 사용하여 Claude 2.1의 정확성을 평가한 결과, 이전 버전에 비해 허위 진술이 50% 감소한 것으로 나타났습니다. Anthropic's 발표에 따르면 현재 반복은 위조 정보를 생성하기보다는 무지를 고백할 가능성이 더 높습니다. 보고서는 이해와 요약에 있어서 상당한 진전을 더욱 강조합니다.
