Microsoft, Orca 2를 통해 소규모 언어 모델의 향상된 추론 기능 공개

언어 모델 응용 프로그램을 다양화하려는 놀라운 진전으로 Microsoft는 Orca 2 출시를 발표했습니다. 이 릴리스는 약 100억 개 이하의 매개변수가 포함된 소규모 언어 모델(LM)의 잠재력을 조사하고 활용하도록 설계되었습니다.

Orca 2 의 주요 초점은 훈련 방법과 신호의 향상이 소규모 LM의 추론 능력을 향상시킬 수 있음을 입증하는 것입니다. 이 개선 사항의 목적은 더 큰 상대의 추론 능력과 일치하거나 능가하는 것입니다.

원래 Orca 포함하여 비슷한 크기의 모델과 비교했을 때 Microsoft는 Orca 2 성능 면에서 이들 모델을 크게 압도한다고 주장합니다. 또한 크기가 5~10배 더 큰 모델과 동등하거나 능가하는 수준의 효율성을 달성하는 것으로 알려졌습니다. 이러한 주장은 Microsoft가 최근 블로그 게시물에서 표현한 것입니다.

Orca 2 두 가지 크기로 제공됩니다. 70억 개와 130억 개의 매개변수. 이 두 모델은 모두 LLAMA 2 기본 모델에서 세심하게 파생된 맞춤형 합성 데이터를 기반으로 정밀하게 미세 조정되었습니다. Microsoft는 Orca 2 의 가중치를 공개적으로 액세스할 수 있도록 하여 소규모 LM의 설정, 분석 및 조화에 대한 추가 연구를 촉진했습니다.

Microsoft는 Orca 2 에 다양한 추론 기술을 지시하기 위해 엄선된 데이터 세트를 사용했습니다. 이러한 기술에는 단계별 처리 모델, 회상 후 생성 방법, 회상-이유-생성 접근 방식, 추출-생성 모델 및 직접 답변 방법이 포함됩니다. 이러한 방법을 지시하는 동안 Orca 2 고유한 작업에 대해 다양한 솔루션 전략을 적용하도록 가르치는 데 세심한 주의를 기울였습니다.

교사 모델의 반응을 포착하기 위해 회사에서는 자세한 지침과 여러 번의 통화를 사용했습니다. 이 독창적인 방법을 사용하면 학생 모델(이 경우 Orca 2)은 명시적인 작업 지침이 없더라도 기본 전술과 추론 기능을 학습할 수 있습니다. 이 접근 방식은 각 작업에 맞는 솔루션 전략을 미세 조정하여 더 작은 모델의 성능을 최적화하려고 합니다.

Microsft의 블로그 게시물은 Orca 2 의 성공과 잠재력을 더욱 낙관적으로 홍보했습니다. 이들은 ' Orca 2 '의 성과는 다양한 추론 기법의 적용과 다양한 작업에 대한 최적의 솔루션을 찾아낸 데 크게 기인한다고 설명했다. 다른 언어 모델에 공통적으로 적용되고 기본 모델에서 상속된 특정 제한에도 불구하고 Orca 2 의 미래 발전 잠재력, 특히 향상된 추론, 제어, 전문화 및 소형 모델의 안전성은 중요합니다.'

이 게시물은 또한 훈련 후 엄격하게 필터링된 합성 데이터를 사용하는 것이 매우 필수적인 전략을 구현했다고 덧붙였습니다. Orca 2 의 탐색과 성공적인 배포는 실제로 언어 모델 응용 프로그램을 다양화하는 데 있어 주목할 만한 노력입니다.

의심할 여지 없이 Orca 2 프로젝트는 AppMaster 플랫폼의 효율성과 기능 균형 원칙을 반영합니다. 애플리케이션 개발을 위한 no-code 도구 AppMaster 는 유사한 철학을 활용하여 애플리케이션 개발을 10배 더 빠르게, 3배 비용 효율적으로 만드는 동시에 수정이 필요할 때마다 애플리케이션을 처음부터 다시 생성하는 접근 방식을 통해 기술적 부채를 제거합니다. 따라서 이와 같은 플랫폼은 효과적이고 효율적인 기술 개발의 새로운 시대를 촉진하고 있습니다.