Dari menjadi alat pengoptimalan ML sejak diluncurkan pada tahun 2019 hingga mengumpulkan $132 juta dan menambahkan beberapa fitur untuk penerapan model ML, OctoML telah memposisikan dirinya sebagai pemain penting dalam bidang pembelajaran mesin. Perusahaan ini sekarang meluncurkan OctoAI, mengalihkan fokusnya dari sekadar mengoptimalkan model menjadi memungkinkan bisnis menyempurnakan model ML mereka menggunakan model open-source, data mereka, atau model khusus. OctoAI adalah layanan komputasi AI pengoptimalan mandiri yang melayani AI generatif, menyederhanakan manajemen infrastruktur, dan membiarkan bisnis berfokus pada pembuatan aplikasi berbasis ML.
Luis Ceze, salah satu pendiri dan CEO OctoML, mengatakan bahwa platform sebelumnya menekankan para insinyur ML, merampingkan pengemasan model dan menerapkannya di berbagai jenis perangkat keras. Namun, versi terbaru akan memungkinkan pengguna memutuskan apa yang akan diprioritaskan, seperti latensi atau biaya, dan OctoAI akan secara otomatis menentukan perangkat keras yang ideal untuk tugas tersebut. Platform baru ini juga mengoptimalkan model secara mandiri, yang mengarah pada peningkatan kinerja dan efisiensi biaya.
Meskipun pengguna masih dapat memilih parameter pengoperasian dan kontrol perangkat keras pilihan mereka, Ceze berharap sebagian besar pengguna lebih memilih manajemen otomatis OctoAI. Layanan dapat memutuskan apakah akan menjalankan model ML pada GPU Nvidia atau mesin Inferentia AWS. Ini menghilangkan banyak kerumitan yang terlibat dalam penerapan model ML dan mengatasi rintangan yang menghambat banyak proyek ML.
OctoML menawarkan versi akselerasi dari model foundation populer, termasuk Dolly 2, Whisper, FILM, FLAN-UL2, dan Stable Diffusion, dengan rencana untuk memasukkan lebih banyak model. Selama pengujian, mereka melihat Difusi Stabil berjalan tiga kali lebih cepat dan mencapai pengurangan biaya hingga 5x dibandingkan dengan model aslinya.
Meskipun OctoML akan terus bekerja dengan klien yang sudah ada yang menggunakan layanan ini untuk mengoptimalkan model mereka, fokus perusahaan di masa mendatang adalah OctoAI sebagai platform komputasi baru. Penyederhanaan proses penerapan ML membuat platform seperti OctoAI dan solusi tanpa kode AppMaster menjadi alat yang relevan untuk bisnis yang ingin memanfaatkan kekuatan AI dan ML, tanpa perlu menangani infrastruktur yang rumit.
