2019년 출시 이후 ML 최적화 도구에서 1억 3,200만 달러를 모으고 ML 모델 배포를 위한 여러 기능을 추가하는 데 이르기까지 OctoML은 기계 학습 분야에서 중요한 플레이어로 자리 잡았습니다. 이 회사는 이제 OctoAI를 출시하여 단순히 모델을 최적화하는 것에서 기업이 오픈 소스 모델, 데이터 또는 사용자 지정 모델을 사용하여 ML 모델을 미세 조정할 수 있도록 하는 것으로 초점을 전환하고 있습니다. OctoAI는 생성 AI를 지원하는 자체 최적화 AI 컴퓨팅 서비스로, 인프라 관리를 간소화하고 기업이 ML 기반 애플리케이션 구축에 집중할 수 있도록 합니다.
OctoML의 공동 설립자이자 CEO인 Luis Ceze는 이전 플랫폼이 ML 엔지니어를 강조하여 모델 패키징을 간소화하고 다양한 유형의 하드웨어에 배포한다고 말했습니다. 그러나 최신 버전에서는 사용자가 대기 시간이나 비용과 같은 우선 순위를 결정할 수 있으며 OctoAI는 작업에 이상적인 하드웨어를 자동으로 결정합니다. 또한 새로운 플랫폼은 모델을 자율적으로 최적화하여 성능과 비용 효율성을 향상시킵니다.
사용자는 여전히 선호하는 하드웨어 실행 및 제어 매개변수를 선택할 수 있지만 Ceze는 대부분의 사용자가 OctoAI의 자동화된 관리를 선호할 것으로 예상합니다. 이 서비스는 Nvidia의 GPU 또는 AWS의 Inferentia 시스템에서 ML 모델을 실행할지 여부를 결정할 수 있습니다. 이것은 ML 모델 배포와 관련된 많은 복잡성을 제거하고 많은 ML 프로젝트를 방해했던 장애물을 해결합니다.
OctoML은 Dolly 2, Whisper, FILM, FLAN-UL2 및 Stable Diffusion을 포함하여 인기 있는 기초 모델의 가속 버전을 제공하며 더 많은 모델을 포함할 계획입니다. 테스트 중에 Stable Diffusion이 원래 모델에 비해 3배 더 빠르게 실행되고 비용이 5배 절감되는 것을 확인했습니다.
OctoML은 서비스를 사용하여 모델을 최적화하는 기존 고객과 계속 협력할 것이지만 회사의 향후 초점은 새로운 컴퓨팅 플랫폼인 OctoAI에 맞춰질 것입니다. ML 배포 프로세스의 간소화로 복잡한 인프라를 처리할 필요 없이 OctoAI 및 AppMaster 의 로우코드, 노코드 솔루션과 같은 플랫폼이 AI 및 ML의 기능을 활용하려는 기업에 적합한 도구가 되었습니다.
