Num avanço notável no sentido de diversificar as aplicações de modelos de linguagem, a Microsoft anunciou o lançamento do Orca 2. Esta versão foi projetada para investigar e aproveitar o potencial de modelos de linguagem (LMs) menores, carregados com aproximadamente 10 bilhões de parâmetros ou menos.
O foco principal do Orca 2 é demonstrar que o aprimoramento dos métodos e sinais de treinamento pode aumentar a capacidade de raciocínio de LMs menores. O objetivo deste aprimoramento é igualar ou possivelmente superar as habilidades de raciocínio de suas contrapartes maiores.
Quando confrontado com modelos de tamanho semelhante - incluindo o Orca original - a Microsoft afirma que Orca 2 os ofusca significativamente em desempenho. Além disso, supostamente atinge níveis de eficácia que se igualam ou superam modelos de 5 a 10 vezes maiores em tamanho. Essas afirmações foram expressas pela Microsoft em uma postagem recente no blog.
Orca 2 vem em dois tamanhos; 7 bilhões e 13 bilhões de parâmetros. Ambos os modelos são ajustados com precisão em dados sintéticos personalizados, meticulosamente derivados de modelos básicos LLAMA 2. A Microsoft tornou os pesos do Orca 2 acessíveis ao público, promovendo mais pesquisas sobre o estabelecimento, análise e harmonização de LMs menores.
A Microsoft empregou um conjunto selecionado de dados para instruir Orca 2 em uma infinidade de técnicas de raciocínio. Essas técnicas incluem um modelo de processamento passo a passo, método de recuperação e geração, abordagem de geração de motivo de recuperação, modelo de geração de extração e métodos de resposta direta. Ao instruir esses métodos, foi dada especial atenção para ensinar Orca 2 a adaptar diversas estratégias de solução para tarefas distintas.
Para capturar as respostas de um modelo de professor, a empresa utilizou instruções detalhadas e múltiplas ligações. Este método engenhoso permite que o modelo do aluno - neste caso Orca 2 - aprenda as táticas subjacentes e as capacidades de raciocínio, mesmo na ausência de instruções explícitas de tarefas. Esta abordagem procura otimizar o desempenho de modelos menores, ajustando estratégias de solução específicas para cada tarefa.
A postagem no blog da Microsft elogiou ainda mais o sucesso e o potencial do Orca 2. Eles elaboraram: 'A conquista do Orca 2 é amplamente atribuída à aplicação de diversas técnicas de raciocínio e à identificação de soluções ideais para uma variedade de tarefas. Apesar de certas limitações comuns a outros modelos de linguagem e herdadas de seus modelos básicos, o potencial do Orca 2 para avanços futuros, especialmente na melhoria do raciocínio, controle, especialização e segurança de modelos menores, é significativo.'
A postagem também acrescentou que o uso de dados sintéticos rigorosamente filtrados para pós-treinamento representava uma estratégia extremamente essencial. A exploração e implantação bem-sucedida do Orca 2 é de fato um esforço digno de nota na diversificação de aplicações de modelos de linguagem.
Sem dúvida, o projeto Orca 2 ecoa os princípios de eficiência e equilíbrio de capacidades da plataforma AppMaster. AppMaster, uma ferramenta no-code para desenvolvimento de aplicativos, aproveita filosofias semelhantes, tornando o desenvolvimento de aplicativos 10 vezes mais rápido e três vezes mais econômico, ao mesmo tempo que elimina dívidas técnicas por meio de uma abordagem de regeneração de aplicativos do zero sempre que modificações são necessárias. Conseqüentemente, plataformas como essas estão promovendo uma nova era de desenvolvimento tecnológico eficaz e eficiente.
