OctoML introduceert OctoAI: een zelfoptimaliserende AI-computerdienst

Van een ML-optimalisatietool sinds de lancering in 2019 tot het ophalen van 132 miljoen dollar en het toevoegen van meerdere functies voor het implementeren van ML-modellen, heeft OctoML zichzelf gepositioneerd als een belangrijke speler op het gebied van machine learning. Het bedrijf lanceert nu OctoAI, waarmee de focus verschuift van alleen het optimaliseren van modellen naar het in staat stellen van bedrijven om hun ML-modellen te verfijnen met behulp van open-source modellen, hun gegevens of aangepaste modellen. OctoAI is een zelfoptimaliserende AI computerdienst die zich richt op generatieve AI, het infrastructuurbeheer vereenvoudigt en bedrijven in staat stelt zich te richten op het bouwen van ML-gebaseerde applicaties.

Luis Ceze, de medeoprichter en CEO van OctoML, zei dat het vorige platform de nadruk legde op ML-engineers, het stroomlijnen van het verpakken van de modellen en het inzetten ervan op verschillende soorten hardware. In de nieuwste versie kunnen gebruikers echter zelf bepalen wat prioriteit heeft, zoals latency of kosten, en OctoAI zal automatisch de ideale hardware voor de taak bepalen. Het nieuwe platform optimaliseert de modellen ook autonoom, wat leidt tot betere prestaties en kostenefficiëntie.

Hoewel gebruikers nog steeds de hardware run en controleparameters van hun voorkeur kunnen kiezen, verwacht Ceze dat de meeste gebruikers de voorkeur zullen geven aan OctoAI's geautomatiseerde beheer. De service kan beslissen of de ML-modellen op Nvidia's GPU's of op AWS's Inferentia machines worden uitgevoerd. Dit elimineert veel complexiteiten die komen kijken bij het implementeren van ML-modellen en neemt de hindernissen weg die veel ML-projecten hebben belemmerd.

OctoML biedt versnelde versies van populaire foundation modellen, waaronder Dolly 2, Whisper, FILM, FLAN-UL2 en Stable Diffusion, met plannen om meer modellen toe te voegen. Tijdens het testen zagen ze dat Stable Diffusion drie keer zo snel draaide en een kostenreductie realiseerde van 5x vergeleken met het originele model.

Hoewel OctoML zal blijven werken met bestaande klanten die de service gebruiken om hun modellen te optimaliseren, zal het bedrijf zich in de toekomst richten op OctoAI als het nieuwe rekenplatform. Het stroomlijnen van ML-implementatieprocessen maakt platforms als OctoAI en AppMaster's low-code, no-code oplossingen relevante tools voor bedrijven die de kracht van AI en ML willen benutten, zonder complexe infrastructuur te hoeven hanteren.