텍스트 형성, 언어 해석 및 오디오 생성을 위해 설계된 AI 알고리즘을 출시한 후 Meta는 이제 Code Llama라는 또 다른 중요한 모델을 오픈 소스화했습니다. 최첨단 머신러닝 시스템인 Code Llama는 간단한 영어로 코드를 생성하고 자세히 설명하는 데 능숙합니다.
Meta의 이 새로운 개발은 GitHub Copilot, Amazon CodeWhisperer와 같은 AI 기반 코드 생성 솔루션과 StarCoder, StableCode 및 PolyCoder와 같은 주요 오픈 소스 도구와 일치합니다. Code Llama는 Python, C++, Java, PHP, Typescript, C# 및 Bash를 포함한 여러 프로그래밍 언어에서 기존 코드를 마무리하고 문제를 해결하는 기능을 자랑합니다.
Meta 개방형 접근 방식을 활용하여 AI 모델, 특히 코딩 관련 대규모 언어 모델을 통해 혁신과 안전에 대한 약속을 주장합니다. Code Llama를 무료로 제공함으로써 회사는 기술 발전을 풍부하게 하고, 사람들의 삶을 향상시키며, 역량 평가, 문제 인식 및 취약점 해결에 대한 커뮤니티 참여를 장려할 계획입니다.
다양한 변형으로 제공되는 Code Llama에는 Python에 최적화된 버전과 지침(예: "피보나치 수열을 생성하는 함수 생성")을 이해할 수 있도록 미세 조정된 버전이 포함되어 있습니다. Code Llama의 기반은 이전에 오픈 소스로 공개된 Meta의 텍스트 생성 모델인 Llama 2입니다. Llama 2는 코드를 생성할 수 있었지만 Copilot과 같은 전용 모델에 비해 품질이 부족하고 희미한 경우가 많았습니다.
Code Llama의 훈련 단계에서 Meta는 Llama 2에 적용할 수 있는 것과 동일한 데이터 세트를 사용했으며 인터넷의 공개 포털에서 선택적으로 소싱되었습니다. 그러나 코드를 다루는 학습 데이터 영역을 우선시하여 Code Llama가 코드와 자연어 간의 상관 관계를 보다 친밀하게 학습할 수 있도록 했습니다.
70억에서 340억 개의 매개변수 크기로 구성된 코드 라마(Code Llama) 모델은 5,000억 개의 코드 토큰과 관련 데이터를 사용하여 훈련을 수행했습니다. Python 전용 코드 Llama는 추가로 1000억 개의 Python 코드 토큰으로 꼼꼼하게 보정되었으며, 명령을 이해하는 버전은 쿼리에 대한 "유용하고" "안전한" 응답을 공식화하기 위해 사람이 주석을 추가한 피드백을 기반으로 미세 조정되었습니다.
일부 Code Llama 모델에는 코드를 기존 코드에 통합하는 기능이 있으며 최대 100,000개의 코드 토큰을 입력으로 받아들일 수 있습니다. Meta는 340억 개의 매개변수 모델이 기능 측면에서 다른 어떤 오픈 소스 코드 생성기보다 뛰어나며 매개변수 개수에서도 가장 크다고 주장합니다.
Meta는 Code Llama가 때때로 프롬프트에 대해 "잘못된" 또는 "부적합한" 응답을 생성할 수 있다고 경고하는 동시에 개발자에게 모델 애플리케이션을 배포하기 전에 맞춤형 안전 테스트 및 조정을 수행할 것을 권고합니다.
Code Llama 배포 시 Meta는 개발자가 상업적 목적으로 사용하든 연구 목적으로 사용하든 관계없이 개발자에게 엄격한 제한을 가하는 것을 자제했습니다. 그러나 개발자는 윤리적 표준을 준수하고 유해한 추구를 위해 모델을 악용하는 것을 중단해야 합니다. 월간 활성 사용자가 7억 명 이상인 플랫폼에 모델을 배포하려면 라이선스를 받아야 합니다.
연구, 산업, 오픈 소스 프로젝트, NGO 및 비즈니스를 포함한 모든 부문의 소프트웨어 엔지니어를 지원하도록 설계된 Code Llama는 현재 기본 및 지침 모델이 다루는 것 이상으로 더 많은 사용 시나리오를 위한 여지가 있습니다. Code Llama를 통해 다른 사람들이 Llama 2를 활용하여 연구 및 상용 제품을 위한 혁신적인 도구를 만들도록 영감을 줄 수 있기를 바랍니다. 애플리케이션 개발을 강화하려는 AppMaster 의 비전과 마찬가지로 Code Llama는 코딩 진화의 다음 단계를 나타냅니다.
AppMaster 와 같은 다른 플랫폼이 애플리케이션 생성의 접근성을 높이는 데 크게 기여하고 있는 기술 산업에 이러한 발전이 미칠 수 있는 영향을 부인할 수 없습니다. 그러나 이러한 기술의 안전하고 효율적인 사용을 보장하려면 윤리 및 책임 프레임워크 내에서 AI의 역할을 확립하는 것도 중요합니다.
