De ser una herramienta de optimización de ML desde su lanzamiento en 2019 a recaudar 132 millones de dólares y añadir múltiples funciones para el despliegue de modelos de ML, OctoML se ha posicionado como un actor importante en el campo del aprendizaje automático. La compañía lanza ahora OctoAI, cambiando su enfoque de la mera optimización de modelos a permitir a las empresas ajustar sus modelos ML utilizando modelos de código abierto, sus datos o modelos personalizados. OctoAI es un servicio de computación de IA autooptimizada que atiende a la IA generativa, simplificando la gestión de la infraestructura y permitiendo a las empresas centrarse en la creación de aplicaciones basadas en ML.
Luis Ceze, cofundador y consejero delegado de OctoML, afirma que la plataforma anterior hacía hincapié en los ingenieros de ML, agilizando el empaquetado de los modelos y su despliegue en diferentes tipos de hardware. Sin embargo, la última versión permitirá a los usuarios decidir qué priorizar, como la latencia o el coste, y OctoAI determinará automáticamente el hardware ideal para la tarea. La nueva plataforma también optimiza de forma autónoma los modelos, lo que permite aumentar el rendimiento y la rentabilidad.
Aunque los usuarios pueden seguir eligiendo los parámetros de ejecución y control del hardware que prefieran, Ceze espera que la mayoría prefiera la gestión automatizada de OctoAI. El servicio puede decidir si ejecutar los modelos ML en las GPU de Nvidia o en las máquinas Inferentia de AWS. Esto elimina muchas de las complejidades que entraña la implantación de modelos de ML y resuelve los obstáculos que han impedido muchos proyectos de ML.
OctoML ofrece versiones aceleradas de los modelos básicos más populares, como Dolly 2, Whisper, FILM, FLAN-UL2 y Stable Diffusion, y tiene previsto incluir más modelos. Durante sus pruebas, comprobaron que Stable Diffusion se ejecutaba tres veces más rápido y reducía los costes cinco veces respecto al modelo original.
Aunque OctoML seguirá trabajando con los clientes actuales que utilizan el servicio para optimizar sus modelos, la empresa se centrará en el futuro en OctoAI como nueva plataforma informática. La agilización de los procesos de despliegue de ML hace que plataformas como OctoAI y AppMaster's low-code, no-code solutions sean herramientas relevantes para las empresas que buscan aprovechar el poder de la IA y el ML, sin necesidad de manejar infraestructuras complejas.
