Microsoft introduce Semantic Kernel SDK , rendendo molto più semplice l'integrazione di modelli di linguaggio di grandi dimensioni (LLM) come GPT-4 nel codice. Le complessità della gestione di prompt, input e output focalizzati sono semplificate con questo SDK, colmando il divario tra i modelli linguistici e gli sviluppatori.
Il processo di integrazione di un modello di intelligenza artificiale nel tuo codice può essere piuttosto impegnativo, in quanto comporta l'attraversamento di un confine tra due diversi modi di calcolo. I metodi di programmazione tradizionali non sono sufficienti per interagire con gli LLM. Ciò che serve è un'astrazione di livello superiore che si traduca tra i diversi domini, fornendo un modo per gestire il contesto e mantenere gli output radicati nei dati di origine.
Qualche settimana fa, Microsoft ha rilasciato il suo primo wrapper LLM chiamato Prompt Engine . Partendo da ciò, il gigante del software ha ora svelato il suo strumento C# più potente, Semantic Kernel , per lavorare con Azure OpenAI e le API di OpenAI. Questo strumento open source è disponibile su GitHub, insieme a diverse applicazioni di esempio.
La scelta del nome indica una comprensione dello scopo principale di un LLM. Semantic Kernel si concentra su input e output in linguaggio naturale dirigendo il modello utilizzando la richiesta iniziale dell'utente (la richiesta) per orchestrare i passaggi attraverso le risorse associate, soddisfacendo la richiesta e restituendo una risposta (la richiesta).
Semantic Kernel funziona come un sistema operativo per le API LLM, prendendo input, elaborandoli lavorando con il modello linguistico e restituendo output. Il ruolo di orchestrazione del kernel è essenziale nella gestione non solo dei prompt e dei token associati, ma anche delle memorie, dei connettori ad altri servizi di informazione e delle competenze predefinite che mescolano prompt e codice convenzionale.
Semantic Kernel gestisce il contesto attraverso il concetto di ricordi, lavorando con i file e l'archiviazione di valori-chiave. Una terza opzione, la memoria semantica , tratta il contenuto come vettori o incorporamenti, che sono matrici di numeri che LLM utilizza per rappresentare i significati dei testi. Questi vettori incorporati aiutano il modello sottostante a mantenere pertinenza, coerenza e ridurre la probabilità di generare output casuali.
Utilizzando gli incorporamenti, gli sviluppatori possono suddividere i prompt di grandi dimensioni in blocchi di testo per creare prompt più mirati senza esaurire i token disponibili per una richiesta (ad esempio, GPT-4 ha un limite di 8.192 token per input).
I connettori svolgono un ruolo importante nel kernel semantico, consentendo l'integrazione delle API esistenti con gli LLM. Ad esempio, un connettore Microsoft Graph può inviare l'output di una richiesta in un messaggio di posta elettronica o creare una descrizione delle relazioni nell'organigramma. I connettori forniscono anche una forma di controllo degli accessi basato sui ruoli per garantire che gli output siano personalizzati per l'utente, in base ai suoi dati.
Il terzo componente principale di Semantic Kernel è skills , che sono contenitori di funzioni che combinano prompt LLM e codice convenzionale, simili a Funzioni di Azure. Possono essere utilizzati per concatenare prompt specializzati e creare applicazioni basate su LLM.
Gli output di una funzione possono essere concatenati a un'altra, consentendo la costruzione di una pipeline di funzioni che uniscono l'elaborazione nativa e le operazioni LLM. In questo modo, gli sviluppatori possono creare competenze flessibili che possono essere selezionate e utilizzate secondo necessità.
Sebbene il kernel semantico sia uno strumento potente, richiede un'attenta riflessione e pianificazione per creare applicazioni efficaci. Utilizzando strategicamente l'SDK insieme al codice nativo, gli sviluppatori possono sfruttare il potenziale degli LLM, rendendo il processo di sviluppo più efficiente e produttivo. Per aiutare a iniziare, Microsoft fornisce un elenco di linee guida sulle best practice apprese dalla creazione di applicazioni LLM all'interno della propria azienda.
Nel contesto del moderno sviluppo del software, Semantic Kernel SDK di Microsoft si posiziona come un abilitatore chiave per l'integrazione di modelli di linguaggio di grandi dimensioni in varie applicazioni. La sua implementazione può avvantaggiare notevolmente strumenti come la piattaforma no-code di AppMaster e i costruttori di siti Web , offrendo soluzioni più flessibili ed efficienti per un'ampia gamma di utenti.
