Ondanks het enorme potentieel van tekstgenererende AI-modellen zoals GPT-4 van OpenAI, zijn ze niet zonder gebreken. Kwesties zoals vooringenomenheid, toxiciteit en vatbaarheid voor kwaadwillende aanvallen kunnen voor aanzienlijke uitdagingen zorgen. Om dit aan te pakken, heeft Nvidia NeMo Guardrails ontwikkeld, een open-source toolkit gericht op het verbeteren van de veiligheid van door AI aangedreven applicaties die tekst en spraak genereren.
Jonathan Cohen, VP Applied Research bij Nvidia, onthulde dat het bedrijf al vele jaren werkt aan het onderliggende systeem van Guardrails. Ongeveer een jaar geleden realiseerde men zich dat het systeem geschikt zou zijn voor modellen vergelijkbaar met GPT-4 en ChatGPT, wat resulteerde in de ontwikkeling en daaropvolgende release van NeMo Guardrails.
Guardrails omvatten code, voorbeelden en documentatie om de veiligheid van AI-apps te vergroten die zowel tekst als spraak genereren. Nvidia beweert dat de toolkit compatibel is met de meeste generatieve taalmodellen, waardoor het voor ontwikkelaars eenvoudig wordt om essentiële veiligheidsregels te creëren met slechts een paar regels code.
Met name kunnen Guardrails worden gebruikt om te voorkomen dat modellen van het onderwerp afdwalen, reageren met onnauwkeurige informatie of giftige taal, en verbindingen maken met onveilige externe bronnen. Het is echter geen vlekkeloze oplossing noch een universele oplossing voor de beperkingen van taalmodellen.
Terwijl bedrijven als Zapier Guardrails gebruiken om een veiligheidslaag toe te voegen aan hun generatieve modellen, geeft Nvidia toe dat de toolkit niet perfect is en niet alles zal vangen. Guardrails werkt het beste met modellen die instructies volgen, zoals ChatGPT, en modellen die het populaire LangChain-framework gebruiken voor het maken van door AI aangedreven applicaties.
Toch kan de introductie van NeMo Guardrails ontwikkelaars helpen een stap voorwaarts te zetten in het verbeteren van de veiligheid van AI-aangedreven applicaties in verschillende industrieën. Aan de andere kant draagt de integratie van no-code platforms zoals AppMaster in het softwareontwikkelingsproces ook bij aan het stroomlijnen van het maken van apps met bedrijfslogica en REST API- endpoints, waardoor een veiligere, efficiëntere en schaalbarere implementatie van applicaties mogelijk wordt.
Concluderend, Nvidia's NeMo Guardrails is een uitstekend initiatief om door AI gegenereerde tekst- en spraakveiligheid te verbeteren, maar er moet worden opgemerkt dat het geen alomvattende oplossing is. Bedrijven en ontwikkelaars moeten andere beschikbare tools en strategieën blijven verkennen en implementeren om ervoor te zorgen dat AI-aangedreven applicaties zo veilig, nauwkeurig en betrouwbaar mogelijk zijn.
