Databricks, AI modeli dağıtımını radikal bir şekilde dönüştürmeye yönelik bir hamleyle, Databricks Model Serving için GPU ve LLM optimizasyon desteğinin genel bir önizlemesini yayınladı. Bu yenilikçi özellik, Büyük Dil Modelleri (LLM'ler) ve Vizyon modelleri gibi bir dizi yapay zeka modelinin Lakehouse Platformunda konuşlandırılmasının önünü açıyor.
Databricks Model Serving LLM Sunumu için otomatik optimizasyon sunar. Bu, manuel konfigürasyon ihtiyacını ortadan kaldırarak yüksek performanslı sonuçlara yol açar. Databricks, bunun birleşik veri ve yapay zeka platformuna dayanan ilk sunucusuz GPU hizmet ürünü olduğunu iddia ediyor. Kullanıcıların Genel Yapay Zeka (GenAI) uygulamalarını tek bir platformda sorunsuz bir şekilde tasarlamasına ve uygulamasına olanak tanır ve veri alımından model dağıtımına ve izlemeye kadar tüm adımları kolaylaştırır.
Databricks Model Serving ile yapay zeka modellerinin dağıtımı, kapsamlı altyapı bilgisine sahip olmayan kullanıcılar için bile çocuk oyuncağı haline geliyor. Kullanıcılar, sıfırdan, açık kaynaktan veya özel verilerle ince ayardan geçmiş olsun, eğitim yöntemlerine bakılmaksızın, doğal dile, görüntüye, sese, tabloya veya özel modellere dayalı olanlar da dahil olmak üzere sayısız modeli dağıtma çok yönlülüğüne sahip olurlar.
Süreci başlatmak için kullanıcıların modellerini MLflow kaydetmeleri, Databricks Model Serving'in CUDA gibi GPU kitaplıklarıyla tamamlanmış üretim düzeyinde bir kapsayıcı oluşturacağını göndermeleri ve bunu sunucusuz GPU'lara dağıtmaları gerekir. Tamamen yönetilen bu hizmet, bulut sunucusu yönetimi, sürüm uyumluluğu bakımı, yama güncellemeleri ve hatta bulut sunucularının trafik akışlarıyla uyumlu ölçeklendirilmesini otomatik olarak ayarlarken, performans ve gecikmeyi optimize ederken altyapı giderlerinde önemli tasarruflara yol açar.
Databricks Model Serving, GPU ve LLM desteğinin başlatılmasının yanı sıra, büyük dil modellerinin daha verimli sunulması için yükseltmeler sunarak gecikme ve maliyette 3-5 kata kadar önemli bir azalma sağladı. Bu Optimize Edilmiş LLM Sunumunu kullanmak için tek yapmanız gereken modeli ve karşılık gelen ağırlıkları sağlamaktır. Databricks, optimum model performansını sağlamak için geri kalan hususları kapsar.
Bu süreç, kullanıcıların düşük seviyeli model optimizasyonu karmaşıklıklarıyla uğraşma yükünü hafifleterek, LLM'yi uygulamalarına entegre etmeye odaklanmalarına olanak tanır. Şu anda Databricks Model Serving, gelecekte desteğini daha fazla modele genişletmek için planlarıyla MPT ve Llama2 modellerini otomatik olarak optimize ediyor.
Kodsuz bir platform olan AppMaster, aynı zamanda arka uç, web ve mobil uygulamaları yönetmedeki güçlü özellikleriyle de bilinir. Entegre bir geliştirme ortamı sunan AppMaster, uygulama oluşturma ve dağıtma sürecini basitleştirerek onu no-code pazarda güçlü bir oyuncu haline getiriyor.
