De ser uma ferramenta de otimização de ML desde seu lançamento em 2019 para levantar US $ 132 milhões e adicionar vários recursos para implantação de modelos de ML, a OctoML se posicionou como um jogador significativo no campo de aprendizado de máquina. A empresa está agora lançando o OctoAI, mudando seu foco de meramente otimizar modelos para permitir que as empresas ajustem seus modelos de ML usando modelos de código aberto, seus dados ou modelos personalizados. O OctoAI é um serviço de computação de IA auto-otimizado que atende à IA generativa, simplificando o gerenciamento de infraestrutura e permitindo que as empresas se concentrem na criação de aplicativos baseados em ML.
Luis Ceze, o cofundador e CEO da OctoML, disse que a plataforma anterior enfatizava os engenheiros de ML, simplificando o empacotamento dos modelos e implantando-os em diferentes tipos de hardware. No entanto, a versão mais recente permitirá que os utilizadores decidam o que priorizar, como latência ou custo, e o OctoAI determinará automaticamente o hardware ideal para a tarefa. A nova plataforma também optimiza os modelos de forma autónoma, conduzindo a um maior desempenho e eficiência de custos.
Embora os utilizadores possam continuar a escolher os seus parâmetros preferidos de execução e controlo do hardware, a Ceze espera que a maioria dos utilizadores prefira a gestão automatizada do OctoAI. O serviço pode decidir se os modelos de ML devem ser executados nas GPUs da Nvidia ou nas máquinas Inferentia da AWS. Isto elimina muitas complexidades envolvidas na implementação de modelos de ML e resolve os obstáculos que têm impedido muitos projectos de ML.
O OctoML oferece versões aceleradas de modelos de base populares, incluindo Dolly 2, Whisper, FILM, FLAN-UL2 e Stable Diffusion, com planos para incluir mais modelos. Durante os testes, o Stable Diffusion foi executado três vezes mais rápido e obteve uma redução de custos de 5x em comparação com o modelo original.
Embora a OctoML continue a trabalhar com os clientes existentes que utilizam o serviço para optimizar os seus modelos, o foco futuro da empresa será a OctoAI como a nova plataforma de computação. A simplificação dos processos de implantação de ML torna plataformas como OctoAI e AppMaster's low-code, soluções sem código ferramentas relevantes para empresas que procuram aproveitar o poder da IA e ML, sem a necessidade de lidar com infraestrutura complexa.
