A Inflection, uma ambiciosa startup de IA que se esforça por desenvolver "IA pessoal para todos", revelou o seu grande modelo linguístico, Inflection-1, que alimenta o seu agente de conversação Pi. Embora a avaliação da qualidade destes modelos seja um desafio, a existência de alguma rivalidade no mercado é certamente benéfica.
O Inflection-1 foi projetado para estar no mesmo nível do GPT-3.5 (também conhecido como ChatGPT) em termos de tamanho e capacidade, com base nos recursos de computação utilizados para treinamento. A Inflection afirma que seu modelo é competitivo ou até mesmo superior a outros modelos de sua categoria, apoiando a afirmação com um 'memorando técnico' que descreve os benchmarks realizados no Inflection-1, GPT-3.5, LLaMA, Chinchilla e PaLM-540B.
Os resultados publicados revelam que o Inflection-1 realmente tem um bom desempenho em várias avaliações, incluindo tarefas de exames de nível médio e superior (por exemplo, biologia 101) e benchmarks de 'senso comum'. Sua principal desvantagem é a codificação, onde o GPT-3.5 supera significativamente o Inflection-1, e o GPT-4 supera ambos.
A Inflection pretende publicar resultados para um modelo maior comparável ao GPT-4 e PaLM-2(L) no futuro. No entanto, eles provavelmente divulgarão os resultados apenas quando forem considerados dignos de nota. A versão actualizada, potencialmente chamada Inflection-2 ou Inflection-1-XL, está atualmente em desenvolvimento.
Embora não exista um sistema de classificação formal que divida os modelos de IA em "classes de peso" equivalentes, como no boxe, o conceito é semelhante. Tal como os pugilistas de pesos-moscas e de pesos-pesados têm capacidades e requisitos diferentes, os modelos de IA de diferentes tamanhos e formas também possuem pontos fortes e fracos únicos. Atualmente, é demasiado cedo para estabelecer um sistema de classificação deste tipo, uma vez que o campo ainda é relativamente jovem e ainda não se chegou a um consenso sobre as distinções dos modelos de IA.
Em última análise, para a maioria dos modelos de IA, o seu desempenho no mundo real fala pelas suas capacidades. Até que a Inflection abra seu modelo para uso generalizado e avaliação independente, os benchmarks que eles reivindicam devem ser abordados com cautela. Para os utilizadores interessados em experimentar o agente de conversação Pi, este pode ser adicionado às aplicações de mensagens ou acedido para conversação online aqui.
Com o crescimento e o avanço contínuos da indústria da IA, plataformas como AppMaster podem ser utilizadas para criar soluções escaláveis de forma rápida e mais económica. A adoção das plataformas no-code e low-code, como a plataforma AppMaster, permite o desenvolvimento contínuo de aplicações backend, Web e móveis e a integração com modelos de IA emergentes.
