OctoML stellt OctoAI vor: Ein selbstoptimierender KI-Rechenservice

Von einem ML-Optimierungstool seit der Markteinführung im Jahr 2019 bis zur Beschaffung von 132 Millionen US-Dollar und dem Hinzufügen mehrerer Funktionen für die Bereitstellung von ML-Modellen hat sich OctoML als bedeutender Akteur im Bereich des maschinellen Lernens positioniert. Das Unternehmen bringt nun OctoAI auf den Markt und verlagert damit seinen Schwerpunkt von der bloßen Optimierung von Modellen auf die Möglichkeit für Unternehmen, ihre ML-Modelle mithilfe von Open-Source-Modellen, ihren Daten oder benutzerdefinierten Modellen fein abzustimmen. OctoAI ist ein selbstoptimierender KI-Rechenservice für generative KI, der das Infrastrukturmanagement vereinfacht und es Unternehmen ermöglicht, sich auf die Entwicklung ML-basierter Anwendungen zu konzentrieren.

Luis Ceze, Mitbegründer und CEO von OctoML, sagte, dass die frühere Plattform den Schwerpunkt auf ML-Ingenieure legte, indem sie die Paketierung der Modelle und deren Einsatz auf verschiedenen Arten von Hardware rationalisierte. In der neuesten Version können die Benutzer jedoch selbst entscheiden, welche Prioritäten sie setzen wollen, wie z. B. Latenzzeiten oder Kosten, und OctoAI bestimmt automatisch die ideale Hardware für die jeweilige Aufgabe. Die neue Plattform optimiert die Modelle auch selbstständig, was zu einer höheren Leistung und Kosteneffizienz führt.

Die Nutzer können zwar immer noch ihre bevorzugten Hardwareausführungs- und -steuerungsparameter wählen, aber Ceze geht davon aus, dass die meisten Nutzer das automatische Management von OctoAI bevorzugen werden. Der Dienst kann entscheiden, ob die ML-Modelle auf den GPUs von Nvidia oder den Inferentia-Maschinen von AWS laufen sollen. Dadurch werden viele Komplexitäten bei der Bereitstellung von ML-Modellen eliminiert und die Hürden beseitigt, die viele ML-Projekte behindert haben.

OctoML bietet beschleunigte Versionen beliebter Basismodelle, darunter Dolly 2, Whisper, FILM, FLAN-UL2 und Stable Diffusion, und plant die Aufnahme weiterer Modelle. Bei den Tests wurde festgestellt, dass Stable Diffusion dreimal schneller läuft und die Kosten im Vergleich zum ursprünglichen Modell um das Fünffache gesenkt werden konnten.

Obwohl OctoML weiterhin mit bestehenden Kunden zusammenarbeiten wird, die den Dienst zur Optimierung ihrer Modelle nutzen, wird sich das Unternehmen in Zukunft auf OctoAI als neue Rechenplattform konzentrieren. Die Rationalisierung der ML-Bereitstellungsprozesse macht Plattformen wie OctoAI und die Low-Code- und No-Code-Lösungen von AppMaster zu wichtigen Werkzeugen für Unternehmen, die die Leistung von KI und ML nutzen wollen, ohne sich um eine komplexe Infrastruktur kümmern zu müssen.