Từ việc trở thành một công cụ tối ưu hóa ML kể từ khi ra mắt vào năm 2019 đến việc huy động được 132 triệu đô la và bổ sung nhiều tính năng để triển khai các mô hình ML, OctoML đã định vị mình là một người chơi quan trọng trong lĩnh vực máy học. Công ty hiện đang tung ra OctoAI, chuyển trọng tâm từ việc chỉ tối ưu hóa các mô hình sang cho phép các doanh nghiệp tinh chỉnh các mô hình ML của họ bằng cách sử dụng các mô hình nguồn mở, dữ liệu của họ hoặc các mô hình tùy chỉnh. OctoAI là một dịch vụ điện toán AI tự tối ưu hóa phục vụ cho AI tổng quát, đơn giản hóa việc quản lý cơ sở hạ tầng và cho phép các doanh nghiệp tập trung vào việc xây dựng các ứng dụng dựa trên ML.
Luis Ceze, người đồng sáng lập và Giám đốc điều hành của OctoML, cho biết nền tảng trước đó nhấn mạnh đến các kỹ sư ML, hợp lý hóa việc đóng gói các mô hình và triển khai chúng trên các loại phần cứng khác nhau. Tuy nhiên, phiên bản mới nhất sẽ cho phép người dùng quyết định những gì cần ưu tiên, chẳng hạn như độ trễ hoặc chi phí và OctoAI sẽ tự động xác định phần cứng lý tưởng cho tác vụ. Nền tảng mới cũng tự động tối ưu hóa các mô hình, giúp tăng hiệu suất và tiết kiệm chi phí.
Mặc dù người dùng vẫn có thể chọn các tham số điều khiển và chạy phần cứng ưa thích của họ, nhưng Ceze hy vọng hầu hết người dùng sẽ thích quản lý tự động của OctoAI hơn. Dịch vụ có thể quyết định chạy các mô hình ML trên GPU của Nvidia hay máy Inferentia của AWS. Điều này giúp loại bỏ nhiều sự phức tạp liên quan đến việc triển khai các mô hình ML và giải quyết các rào cản đã cản trở nhiều dự án ML.
OctoML cung cấp các phiên bản tăng tốc của các mô hình nền tảng phổ biến, bao gồm Dolly 2, Whisper, FILM, FLAN-UL2 và Stable Diffusion, với kế hoạch bao gồm nhiều mô hình hơn. Trong quá trình thử nghiệm của mình, họ đã thấy Khuếch tán ổn định chạy nhanh hơn ba lần và giảm chi phí xuống 5 lần so với mô hình ban đầu.
Mặc dù OctoML sẽ tiếp tục làm việc với các khách hàng hiện tại sử dụng dịch vụ để tối ưu hóa các mô hình của họ, trọng tâm trong tương lai của công ty sẽ là OctoAI như một nền tảng điện toán mới. Việc hợp lý hóa các quy trình triển khai ML làm cho các nền tảng như giải pháp ít mã, không mã của OctoAI và AppMaster trở thành công cụ phù hợp cho các doanh nghiệp muốn khai thác sức mạnh của AI và ML mà không cần phải xử lý cơ sở hạ tầng phức tạp.
