从2019年推出的ML优化工具，到融资1.32亿美元并增加ML模型部署的多种功能，OctoML已经将自己定位为机器学习领域的一个重要参与者。该公司现在推出OctoAI，将其重点从仅仅优化模型转移到使企业能够使用开源模型、他们的数据或自定义模型来微调他们的ML模型。OctoAI是一种自我优化的人工智能计算服务，迎合了生成性人工智能，简化了基础设施管理，让企业专注于构建基于ML的应用。
OctoML的联合创始人兼首席执行官Luis Ceze说，以前的平台强调ML工程师，简化了模型的打包，并在不同类型的硬件上部署。然而，最新版本将让用户决定优先考虑什么，如延迟或成本，而OctoAI将自动确定任务的理想硬件。新平台还自主优化模型，从而提高性能和成本效率。
虽然用户仍然可以选择他们喜欢的硬件运行和控制参数，但Ceze预计大多数用户会更喜欢OctoAI的自动管理。该服务可以决定是否在Nvidia的GPU或AWS的Inferentia机器上运行ML模型。这消除了ML模型部署中涉及的许多复杂问题，解决了阻碍许多ML项目的障碍。
OctoML提供流行基础模型的加速版本，包括Dolly 2、Whisper、FILM、FLAN-UL2和Stable Diffusion，并计划包括更多模型。在他们的测试中，他们看到稳定扩散的运行速度比原来的模型快三倍，并实现了成本降低5倍。
尽管OctoML将继续与使用该服务优化其模型的现有客户合作，但该公司未来的重点将是OctoAI作为新的计算平台。ML部署流程的简化使得OctoAI等平台和AppMaster's 低代码、无代码解决方案成为希望利用AI和ML力量的企业的相关工具，而不需要处理复杂的基础设施。
