이전에 Facebook으로 알려졌던 Meta 1,000억 개 이상의 매개변수를 자랑하는 광범위한 언어 AI 모델인 Open Pretrained Transformer(OPT-175B)를 공개했습니다. 이 놀라운 발전은 최근 블로그 게시물에 요약된 대로 최첨단 AI 연구에 대한 액세스를 민주화하려는 기술 대기업의 노력을 나타냅니다.
비상업적 라이선스에 따라 이 모델은 주로 연구 목적으로 사용할 수 있습니다. 액세스 권한은 전 세계의 학술 연구원, 정부, 시민 사회 및 산업 연구 실험실에 부여됩니다. 그러나 연구원의 접근 범위는 여전히 불확실합니다. 모델 활용에 관심이 있는 사람은 요청 양식을 작성하기만 하면 됩니다.
대규모 언어 모델 이해
대규모 언어 모델은 다양한 형식의 창의적이고 일관된 콘텐츠를 생성하기 위해 방대한 양의 텍스트에 대해 훈련된 고급 자연어 처리 시스템입니다. 이러한 모델은 뉴스 기사, 법률 요약, 영화 대본을 생성하고 고객 서비스 챗봇 역할도 할 수 있습니다.
OpenAI의 GPT-3은 업계 최고의 대규모 언어 모델 중 하나로, 개인용 및 상업용으로 1,750억 개 이상의 매개변수가 포함되어 있습니다. 마찬가지로 Meta의 OPT-175B는 대규모 언어 모델뿐만 아니라 함께 제공되는 코드베이스와 교육 프로세스를 자세히 설명하는 포괄적인 문서도 제공합니다. Meta는 또한 매개변수가 더 적은 일련의 소규모 기본 모델을 출시했습니다.
딥 러닝의 탄소 발자국 해결
가장 혁신적인 AI 연구는 Google, Meta, Microsoft 및 Nvidia와 같은 주요 기술 기업이 주도합니다. 대규모 AI 모델을 교육하고 운영하려면 엄청난 양의 계산 능력과 에너지가 필요하므로 상당한 비용과 잠재적으로 큰 탄소 발자국이 발생합니다. Roy Schwartz와 Jesse Dodge의 2019년 연구에 따르면 딥 러닝 계산이 몇 달마다 두 배로 증가하여 2012년에서 2018년까지 약 300,000배 증가했으며 상당한 환경 영향을 미쳤습니다.
Meta는 OPT-175B의 탄소 발자국을 OpenAI의 GPT-3의 7분의 1로 줄임으로써 탄소 문제를 해결했다고 주장합니다. 이 회사는 GPT-3의 약 500톤에 비해 총 탄소 배출량이 75톤에 불과한 992개의 Nvidia A100 GPU(각각 80GB)에서 모델을 훈련했다고 밝혔습니다. OpenAI는 아직 이러한 주장에 대해 언급하지 않았습니다.
향후 시사점
Meta의 최근 발표로 딥 러닝 연구 혁신이 급증할 것으로 예상됩니다. 그러나 기술 발전과 함께 AI의 책임 있는 사용을 둘러싼 윤리적 문제는 전 세계적으로 해결되어야 합니다. Meta는 학계 연구자, 시민 사회, 정책 입안자 및 업계 전문가를 포함하는 AI 커뮤니티가 함께 답을 찾기 위해 함께 할 것이라는 희망을 공유합니다. OPT-175B와 같은 더 강력한 도구가 등장함에 따라 AI 혁신에 대한 액세스의 민주화는 AppMaster 와 같은 플랫폼이 이러한 발전을 자체 no-code 솔루션에 통합할 수 있는 기회를 제공하여 사용자가 다양한 산업을 위한 포괄적인 애플리케이션을 개발할 수 있도록 합니다.
