2019年のローンチ以来、ML最適化ツールであったことから、1億3200万ドルを調達し、MLモデル展開のための複数の機能を追加したOctoMLは、機械学習分野における重要なプレーヤーとして位置づけられている。同社は今回、OctoAIを発表し、単にモデルを最適化することから、企業がオープンソースモデルや自社のデータ、あるいはカスタムモデルを使用してMLモデルを微調整できるようにすることに焦点を移した。OctoAIは、生成型AIに対応した自己最適化AIコンピュートサービスで、インフラ管理を簡素化し、企業がMLベースのアプリケーションの構築に集中できるようにします。
OctoMLの共同創設者兼CEOであるLuis Cezeは、以前のプラットフォームはMLエンジニアを重視し、モデルのパッケージ化と異なるタイプのハードウェアへの展開を効率化していたと述べています。しかし、最新版では、レイテンシーやコストなど、何を優先するかをユーザーに決めてもらい、OctoAIがそのタスクに最適なハードウェアを自動的に決定します。また、新しいプラットフォームは自律的にモデルを最適化し、パフォーマンスの向上とコスト効率につなげます。
ユーザーが好みのハードウェアの実行や制御パラメータを選択することは可能ですが、セズは、ほとんどのユーザーがOctoAIの自動管理を好むと予想しています。このサービスでは、MLモデルをNvidiaのGPUで実行するか、AWSのInferentiaマシンで実行するかを決定できます。これにより、MLモデルの展開に関わる多くの複雑さが解消され、多くのMLプロジェクトを妨げてきたハードルに対処することができます。
OctoMLは、Dolly 2、Whisper、FILM、FLAN-UL2、Stable Diffusionといった人気の高い基礎モデルの加速バージョンを提供しており、さらに多くのモデルを追加する予定です。今回のテストでは、Stable Diffusionがオリジナルモデルに比べて3倍速く動作し、5倍のコスト削減を達成したことが確認されました。
OctoMLは、同サービスを利用している既存の顧客と協力してモデルの最適化を進めていくが、同社の今後の焦点は、新しい計算プラットフォームとしてのOctoAIにある。 ML導入プロセスの合理化により、OctoAIやAppMaster'のようなプラットフォームは、複雑なインフラを扱う必要なく、AIやMLの力を活用しようとする企業にとって、ローコード、ノーコードソリューションの関連ツールとなっています。
