OctoML przedstawia OctoAI: samooptymalizującą się usługę obliczeniową AI

Od bycia narzędziem do optymalizacji ML od czasu jego uruchomienia w 2019 r. do pozyskania 132 mln USD i dodania wielu funkcji do wdrażania modeli ML, OctoML stał się znaczącym graczem w dziedzinie uczenia maszynowego. Firma uruchamia teraz OctoAI, przenosząc nacisk z samej optymalizacji modeli na umożliwienie firmom dostrajania modeli ML przy użyciu modeli open source, ich danych lub modeli niestandardowych. OctoAI to samooptymalizująca się usługa obliczeniowa AI, która obsługuje generatywną sztuczną inteligencję, upraszczając zarządzanie infrastrukturą i pozwalając firmom skupić się na tworzeniu aplikacji opartych na ML.

Luis Ceze, współzałożyciel i dyrektor generalny OctoML, powiedział, że poprzednia platforma kładła nacisk na inżynierów ML, usprawniając pakowanie modeli i wdrażanie ich na różnych typach sprzętu. Jednak najnowsza wersja pozwoli użytkownikom zdecydować, co ma być priorytetem, na przykład opóźnienie lub koszt, a OctoAI automatycznie określi idealny sprzęt do tego zadania. Nowa platforma autonomicznie optymalizuje również modele, prowadząc do zwiększenia wydajności i efektywności kosztowej.

Podczas gdy użytkownicy nadal mogą wybierać preferowane parametry uruchamiania i sterowania sprzętem, Ceze oczekuje, że większość użytkowników będzie preferować zautomatyzowane zarządzanie OctoAI. Usługa może zdecydować, czy uruchomić modele ML na procesorach graficznych Nvidia, czy na maszynach AWS Inferentia. Eliminuje to wiele zawiłości związanych z wdrażaniem modeli ML i rozwiązuje przeszkody, które utrudniały wiele projektów ML.

OctoML oferuje przyspieszone wersje popularnych modeli fundamentalnych, w tym Dolly 2, Whisper, FILM, FLAN-UL2 i Stable Diffusion, a w planach jest włączenie kolejnych modeli. Podczas testów zaobserwowano, że Stable Diffusion działa trzykrotnie szybciej i osiągnął redukcję kosztów o 5x w porównaniu do oryginalnego modelu.

Chociaż OctoML będzie nadal współpracować z istniejącymi klientami, którzy korzystają z usługi w celu optymalizacji swoich modeli, w przyszłości firma skupi się na OctoAI jako nowej platformie obliczeniowej. AppMaster Usprawnienie procesów wdrażania uczenia maszynowego sprawia, że platformy takie jak OctoAI i są odpowiednimi narzędziami dla firm, które chcą wykorzystać moc sztucznej inteligencji i uczenia maszynowego , bez konieczności obsługi złożonej infrastruktury.