OctoML представляет OctoAI: самооптимизирующийся вычислительный сервис ИИ

С момента своего запуска в 2019 году в качестве инструмента для оптимизации ML, до привлечения 132 миллионов долларов и добавления множества функций для развертывания ML-моделей, OctoML позиционирует себя как значимого игрока в области машинного обучения. Теперь компания запускает OctoAI, смещая фокус с простой оптимизации моделей на предоставление предприятиям возможности точной настройки своих ML-моделей с использованием моделей с открытым исходным кодом, своих данных или пользовательских моделей. OctoAI - это самооптимизирующаяся вычислительная служба ИИ, которая предназначена для генеративного ИИ, упрощая управление инфраструктурой и позволяя компаниям сосредоточиться на создании приложений на основе ML.

Луис Цезе, соучредитель и генеральный директор OctoML, сказал, что предыдущая платформа была ориентирована на инженеров ML, упрощая упаковку моделей и их развертывание на различных типах оборудования. Однако последняя версия позволит пользователям решать, чему отдать приоритет, например, латентности или стоимости, а OctoAI автоматически определит идеальное оборудование для выполнения задачи. Новая платформа также автономно оптимизирует модели, что приведет к повышению производительности и экономичности.

Хотя пользователи по-прежнему могут выбирать предпочтительные параметры запуска и управления оборудованием, Ceze ожидает, что большинство пользователей предпочтут автоматизированное управление OctoAI. Сервис может решить, на чем запускать ML-модели - на графических процессорах Nvidia или на машинах Inferentia от AWS. Это устраняет многие сложности, связанные с развертыванием ML-моделей, и решает проблемы, которые мешали многим ML-проектам.

OctoML предлагает ускоренные версии популярных базовых моделей, включая Dolly 2, Whisper, FILM, FLAN-UL2 и Stable Diffusion, и планирует включить еще больше моделей. Во время тестирования они увидели, что Stable Diffusion работает в три раза быстрее и достигла снижения затрат в 5 раз по сравнению с оригинальной моделью.

Хотя OctoML будет продолжать работать с существующими клиентами, которые используют сервис для оптимизации своих моделей, в будущем компания сосредоточится на OctoAI как новой вычислительной платформе. Упрощение процессов развертывания ML делает такие платформы, как OctoAI и AppMaster's low-code, no-code решения, актуальными инструментами для предприятий, желающих использовать возможности AI и ML без необходимости работы со сложной инфраструктурой.