Dal lancio nel 2019 come strumento di ottimizzazione dei modelli di ML, alla raccolta di 132 milioni di dollari e all'aggiunta di diverse funzionalità per l'implementazione dei modelli di ML, OctoML si è posizionata come un attore significativo nel campo dell'apprendimento automatico. L'azienda sta ora lanciando OctoAI, spostando l'attenzione dalla mera ottimizzazione dei modelli alla possibilità per le aziende di perfezionare i propri modelli di ML utilizzando modelli open-source, i propri dati o modelli personalizzati. OctoAI è un servizio di calcolo AI auto-ottimizzante che si rivolge all'AI generativa, semplificando la gestione dell'infrastruttura e consentendo alle aziende di concentrarsi sulla creazione di applicazioni basate sulla ML.
Luis Ceze, cofondatore e CEO di OctoML, ha dichiarato che la precedente piattaforma poneva l'accento sugli ingegneri di ML, semplificando il confezionamento dei modelli e la loro distribuzione su diversi tipi di hardware. Tuttavia, l'ultima versione permetterà agli utenti di decidere a cosa dare priorità, come la latenza o il costo, e OctoAI determinerà automaticamente l'hardware ideale per il compito. La nuova piattaforma ottimizza inoltre autonomamente i modelli, aumentando le prestazioni e l'efficienza dei costi.
Anche se gli utenti possono ancora scegliere i parametri di esecuzione e controllo dell'hardware che preferiscono, Ceze prevede che la maggior parte degli utenti preferirà la gestione automatizzata di OctoAI. Il servizio può decidere se eseguire i modelli di ML sulle GPU di Nvidia o sulle macchine Inferentia di AWS. Questo elimina molte complessità legate all'implementazione dei modelli di ML e risolve gli ostacoli che hanno impedito molti progetti di ML.
OctoML offre versioni accelerate dei più diffusi modelli di base, tra cui Dolly 2, Whisper, FILM, FLAN-UL2 e Stable Diffusion, con l'intenzione di includere altri modelli. Durante i loro test, hanno visto Stable Diffusion funzionare tre volte più velocemente e ridurre i costi di cinque volte rispetto al modello originale.
Anche se OctoML continuerà a lavorare con i clienti esistenti che utilizzano il servizio per ottimizzare i loro modelli, l'azienda si concentrerà in futuro su OctoAI come nuova piattaforma di calcolo. La semplificazione dei processi di implementazione del ML rende piattaforme come OctoAI e le soluzioni low-code e no-code di AppMaster strumenti importanti per le aziende che vogliono sfruttare la potenza dell'AI e del ML, senza dover gestire infrastrutture complesse.
