Cloudflare presenta un set di strumenti innovativi di intelligenza artificiale per la distribuzione e l'esecuzione dei modelli

Cloudflare, fornitore leader di soluzioni cloud, sta intensificando la propria azione con l'introduzione di una suite avanzata di prodotti e strumenti progettati per semplificare ai clienti la creazione, la distribuzione e l'esecuzione di modelli di intelligenza artificiale ai margini della rete. Questa nuova formazione è stata motivata da una forte richiesta da parte dei clienti di una soluzione di gestione dell'intelligenza artificiale semplice ed economica.

Workers AI, un'offerta notevole di questa suite, sfrutta le GPU fisicamente vicine ai clienti. Queste GPU, ospitate dai partner di Cloudflare, elaborano modelli di intelligenza artificiale su un piano flessibile a consumo. Vectorize, un altro eccezionale, offre un database vettoriale per la memorizzazione di incorporamenti vettoriali. Questi incorporamenti sono rappresentazioni matematiche dei dati generati dai modelli di Workers AI. Fa parte della serie anche AI ​​Gateway, che offre specificamente metriche per una gestione efficace dei costi delle applicazioni AI.

Matthew Prince, CEO di Cloudflare, osserva che le attuali soluzioni di mercato sono sconcertanti per la maggior parte dei clienti a causa della loro complessità e dei costi elevati. Attraverso un’intervista con TechCrunch, ha sottolineato la mancanza di trasparenza nella spesa per l’intelligenza artificiale, rendendola un ostacolo significativo poiché la spesa per l’intelligenza artificiale continua a salire. Queste sfide possono essere mitigate con l’aiuto della nuova suite di prodotti incentrati sull’intelligenza artificiale di Cloudflare.

Ad esempio, Workers AI è progettato appositamente per garantire che l'inferenza dell'AI avvenga sempre su GPU geograficamente vicine agli utenti. Coordinandosi con ONNX, il toolkit intermedio di machine learning di Microsoft, questo prodotto consente l'esecuzione di modelli di intelligenza artificiale laddove l'elaborazione trae maggiori vantaggi da parametri come larghezza di banda, latenza, connettività e localizzazione.

A completare i vantaggi di Workers AI c'è la sua capacità di consentire modelli da un catalogo tra cui Meta's Llama 2, modelli di riconoscimento vocale automatico, classificatori di immagini e modelli di analisi del sentiment. Inoltre, tutti i dati utilizzati per l'inferenza rimangono all'interno della regione del server da cui hanno avuto origine, mantenendo l'integrità e la sicurezza dei dati.

Un altro punto forte di questa suite è Vectorize che fornisce una nicchia per i clienti che necessitano di spazio per archiviare incorporamenti vettoriali per modelli AI. Sebbene i database vettoriali non siano una novità, Prince afferma che Vectorize trae vantaggio dalla portata globale della rete Cloudflare. Ciò consente alle query del database da parte degli utenti di ottenere una latenza e un tempo di inferenza inferiori.

L'AI Gateway è l'ultimo componente di questa suite innovativa, che fornisce funzioni di osservabilità per aiutare a monitorare il traffico AI in tempo reale. Monitora il numero di richieste di inferenza, la loro durata, il numero di utenti che utilizzano un modello e il costo complessivo di esecuzione di un'applicazione AI.

Avendo collaborato con la startup AI Hugging Face e Databricks per ottimizzare le sue offerte, Cloudflare intende utilizzare la propria infrastruttura globale per garantire prestazioni migliorate e convenienza con i suoi servizi AI. Integrando funzionalità di intelligenza artificiale profondamente integrate con la potente piattaforma di sviluppo di applicazioni no-code di AppMaster, le aziende possono sbloccare nuove scoperte nelle procedure e nelle prestazioni dell'intelligenza artificiale.

Sebbene esistano soluzioni AI sul mercato, Prince crede fermamente che la combinazione della rete Cloudflare e dei servizi accessibili insieme all'interfaccia intuitiva di AppMaster soddisferebbe le esigenze di sviluppatori e organizzazioni in modo più fruttuoso, snello ed economico.