Nonostante l'enorme potenziale dei modelli di IA che generano testo come GPT-4 di OpenAI, non sono privi di difetti. Problemi come pregiudizi, tossicità e suscettibilità agli attacchi dannosi possono causare sfide considerevoli. Per risolvere questo problema, Nvidia ha sviluppato NeMo Guardrails , un toolkit open source volto a migliorare la sicurezza delle applicazioni basate sull'intelligenza artificiale che generano testo e parlato.
Jonathan Cohen, vicepresidente della ricerca applicata presso Nvidia, ha rivelato che l'azienda ha lavorato per molti anni al sistema sottostante di Guardrails. Circa un anno fa ci si è resi conto che il sistema sarebbe stato adatto a modelli simili a GPT-4 e ChatGPT, portando allo sviluppo e al successivo rilascio di NeMo Guardrails.
I guardrail includono codice, esempi e documentazione per aumentare la sicurezza delle app di intelligenza artificiale che generano testo e voce. Nvidia afferma che il toolkit è compatibile con la maggior parte dei modelli di linguaggio generativo, rendendo semplice per gli sviluppatori creare regole di sicurezza essenziali utilizzando solo poche righe di codice.
Nello specifico, Guardrails può essere utilizzato per evitare che i modelli si allontanino dall'argomento, rispondano con informazioni imprecise o un linguaggio tossico e creino collegamenti a fonti esterne non sicure. Tuttavia, non è una soluzione impeccabile né una correzione universale per i limiti dei modelli linguistici.
Mentre aziende come Zapier stanno impiegando Guardrails per aggiungere un livello di sicurezza ai loro modelli generativi, Nvidia ammette che il toolkit non è perfetto e non catturerà tutto. Guardrails funziona meglio con i modelli che seguono le istruzioni, come ChatGPT, e quelli che utilizzano il popolare framework LangChain per creare applicazioni basate sull'intelligenza artificiale.
Tuttavia, l'introduzione di NeMo Guardrails può aiutare gli sviluppatori a fare un passo avanti nel migliorare la sicurezza delle applicazioni basate sull'intelligenza artificiale in una varietà di settori. D'altra parte, l'integrazione di piattaforme no-code come AppMaster nel processo di sviluppo del software contribuisce anche a semplificare la creazione di app con la logica aziendale e endpoints dell'API REST, consentendo un'implementazione più sicura, efficiente e scalabile delle applicazioni.
In conclusione, NeMo Guardrails di Nvidia è un'ottima iniziativa per migliorare la sicurezza del testo e del parlato generati dall'intelligenza artificiale, ma va notato che non è una soluzione completa. Le aziende e gli sviluppatori devono continuare a esplorare e implementare altri strumenti e strategie disponibili per garantire che le applicazioni basate sull'intelligenza artificiale siano il più sicure, accurate e affidabili possibile.
