Meta, anteriormente conhecido como Facebook, revelou o seu Open Pretrained Transformer (OPT-175B), um modelo expansivo de linguagem AI com mais de 100 mil milhões de parâmetros. Este notável desenvolvimento representa o esforço do gigante da tecnologia para democratizar o acesso à investigação de IA de ponta, tal como delineado no seu recente post no blogue.
Sob uma licença não-comercial, o modelo será disponibilizado principalmente para fins de investigação. O acesso será concedido a investigadores académicos, bem como a laboratórios de investigação governamentais, da sociedade civil e da indústria em todo o mundo. No entanto, a extensão do acesso para investigadores permanece incerta. Os interessados em utilizar o modelo podem simplesmente preencher um formulário de pedido.
Compreender os Modelos de Grandes Línguas
Os grandes modelos linguísticos são sistemas avançados de processamento de linguagem natural, treinados em grandes quantidades de texto para gerar conteúdos criativos e coerentes em vários formatos. Tais modelos podem produzir artigos noticiosos, resumos legais, guiões de filmes, e até servir de chatbots de serviço ao cliente.
O GPT-3 do OpenAI é um dos modelos líderes da indústria de grandes línguas, contendo mais de 175 mil milhões de parâmetros, tanto para uso pessoal como comercial. Da mesma forma, o OPT-175B da Meta fornece não só um modelo linguístico de grande escala, mas também uma base de código de acompanhamento, e uma documentação abrangente que detalha o processo de formação. O Meta também lançou uma série de modelos de base em menor escala com menos parâmetros.
Abordando a Pegada de Carbono da Aprendizagem Profunda
A investigação mais inovadora sobre IA é conduzida por grandes corporações tecnológicas como Google, Meta, Microsoft, e Nvidia. A formação e operação de grandes modelos de IA requer uma enorme quantidade de energia e potência computacional, resultando em despesas significativas e uma pegada de carbono potencialmente grande. Um estudo de Roy Schwartz e Jesse Dodge de 2019 revelou que os cálculos de aprendizagem profunda duplicavam a cada poucos meses, levando a um aumento estimado de 300.000x de 2012 a 2018 - e a um impacto ambiental significativo.
Meta afirma ter abordado o problema do carbono reduzindo a pegada de carbono do OPT-175B para um sétimo do GPT-3 do OpenAI. A empresa diz ter treinado o modelo em 992 GPUs Nvidia A100 (80 gigabytes cada), com uma pegada total de emissões de carbono de apenas 75 toneladas, em comparação com as 500 toneladas estimadas do GPT-3. A OpenAI ainda não comentou estas afirmações.
Implicações futuras
Esperar ver um surto de inovação na investigação de aprendizagem profunda com o recente anúncio da Meta. Contudo, a par dos avanços tecnológicos, as questões éticas em torno do uso responsável da IA devem ser abordadas a nível global. A Meta partilha a esperança de que a comunidade da IA - abrangendo investigadores académicos, sociedade civil, decisores políticos, e profissionais da indústria - se junte para encontrar respostas. À medida que surgem ferramentas mais poderosas como OPT-175B, a democratização do acesso à inovação da IA apresenta uma oportunidade para plataformas como AppMaster integrarem tais avanços nas suas próprias soluções no-code, capacitando ainda mais os utilizadores a desenvolverem aplicações abrangentes para várias indústrias.
