De l'outil d'optimisation ML depuis son lancement en 2019 à la levée de fonds de 132 millions de dollars en passant par l'ajout de multiples fonctionnalités pour le déploiement de modèles ML, OctoML s'est positionné comme un acteur important dans le domaine de l'apprentissage automatique. La société lance maintenant OctoAI, déplaçant son objectif de la simple optimisation des modèles pour permettre aux entreprises d'affiner leurs modèles ML en utilisant des modèles open-source, leurs données ou des modèles personnalisés. OctoAI est un service de calcul d'IA auto-optimisant qui s'adresse à l'IA générative, simplifiant la gestion de l'infrastructure et permettant aux entreprises de se concentrer sur la création d'applications basées sur la ML.
Luis Ceze, cofondateur et PDG d'OctoML, a déclaré que la plateforme précédente mettait l'accent sur les ingénieurs ML, en rationalisant l'emballage des modèles et en les déployant sur différents types de matériel. Cependant, la dernière version permettra aux utilisateurs de décider des priorités, comme la latence ou le coût, et OctoAI déterminera automatiquement le matériel idéal pour la tâche. La nouvelle plateforme optimise également les modèles de manière autonome, ce qui permet d'améliorer les performances et la rentabilité.
Bien que les utilisateurs puissent toujours choisir leurs paramètres d'exécution et de contrôle du matériel, Ceze s'attend à ce que la plupart d'entre eux préfèrent la gestion automatisée d'OctoAI. Le service peut décider d'exécuter les modèles de ML sur les GPU de Nvidia ou sur les machines Inferentia d'AWS. Cela permet d'éliminer de nombreuses complexités liées au déploiement des modèles de ML et de surmonter les obstacles qui ont entravé de nombreux projets de ML.
OctoML propose des versions accélérées de modèles de base populaires, notamment Dolly 2, Whisper, FILM, FLAN-UL2 et Stable Diffusion, et prévoit d'inclure d'autres modèles. Au cours de leurs tests, ils ont constaté que Stable Diffusion fonctionnait trois fois plus vite et permettait de réduire les coûts de cinq fois par rapport au modèle original.
Bien qu'OctoML continue à travailler avec les clients existants qui utilisent le service pour optimiser leurs modèles, l'entreprise se concentrera à l'avenir sur OctoAI en tant que nouvelle plateforme de calcul. La rationalisation des processus de déploiement de la ML fait des plateformes comme OctoAI et AppMaster's des outils pertinents pour les entreprises qui cherchent à exploiter la puissance de l'IA et de la ML, sans avoir à gérer une infrastructure complexe.
