2019'daki lansmanından bu yana bir makine öğrenimi optimizasyon aracı olmaktan 132 milyon ABD doları toplamaya ve makine öğrenimi modellerinin dağıtımı için birden çok özellik eklemeye kadar, OctoML kendisini makine öğrenimi alanında önemli bir oyuncu olarak konumlandırdı. Şirket şimdi OctoAI'yı piyasaya sürüyor ve odak noktasını yalnızca modelleri optimize etmekten işletmelerin açık kaynak modelleri, verilerini veya özel modelleri kullanarak makine öğrenimi modellerinde ince ayar yapmalarını sağlamaya kaydırıyor. OctoAI, üretken yapay zekaya hitap eden, altyapı yönetimini basitleştiren ve işletmelerin makine öğrenimi tabanlı uygulamalar oluşturmaya odaklanmasına izin veren, kendi kendini optimize eden bir yapay zeka bilgi işlem hizmetidir.
OctoML'nin kurucu ortağı ve CEO'su Luis Ceze, önceki platformun makine öğrenimi mühendislerini vurguladığını, modelleri paketlemeyi ve farklı donanım türlerinde dağıtmayı kolaylaştırdığını söyledi. Bununla birlikte, en son sürüm, kullanıcıların gecikme veya maliyet gibi neye öncelik vereceğine karar vermesine izin verecek ve OctoAI, görev için ideal donanımı otomatik olarak belirleyecek. Yeni platform aynı zamanda modelleri otonom olarak optimize ederek performansın ve maliyet verimliliğinin artmasına yol açar.
Kullanıcılar yine de tercih ettikleri donanım çalıştırma ve kontrol parametrelerini seçebilse de, Ceze çoğu kullanıcının OctoAI'nin otomatikleştirilmiş yönetimini tercih etmesini beklemektedir. Hizmet, makine öğrenimi modellerinin Nvidia'nın GPU'larında mı yoksa AWS'nin Inferentia makinelerinde mi çalıştırılacağına karar verebilir. Bu, makine öğrenimi modellerinin dağıtımında yer alan birçok karmaşıklığı ortadan kaldırır ve birçok makine öğrenimi projesini engelleyen engelleri giderir.
OctoML, Dolly 2, Whisper, FILM, FLAN-UL2 ve Stable Diffusion dahil olmak üzere popüler temel modellerin hızlandırılmış sürümlerini sunar ve daha fazla model eklemeyi planlar. Testleri sırasında Stable Diffusion'ın orijinal modele göre üç kat daha hızlı çalıştığını ve maliyeti 5 kat azalttığını gördüler.
OctoML, modellerini optimize etmek için hizmeti kullanan mevcut müşterilerle çalışmaya devam edecek olsa da, şirketin gelecekte yeni bilgi işlem platformu olarak OctoAI'ye odaklanması bekleniyor. Makine öğrenimi devreye alma süreçlerinin modernleştirilmesi, OctoAI ve AppMaster düşük kodlu, kodsuz çözümleri gibi platformları, karmaşık altyapıyı yönetmeye gerek kalmadan yapay zeka ve makine öğreniminin gücünden yararlanmak isteyen işletmeler için uygun araçlar haline getirir.
