Terlepas dari potensi besar model AI penghasil teks seperti GPT-4 OpenAI, mereka bukannya tanpa kekurangan. Masalah seperti bias, toksisitas, dan kerentanan terhadap serangan jahat dapat menimbulkan tantangan yang cukup besar. Untuk mengatasinya, Nvidia telah mengembangkan NeMo Guardrails , perangkat sumber terbuka yang ditujukan untuk meningkatkan keamanan aplikasi bertenaga AI yang menghasilkan teks dan ucapan.
Jonathan Cohen, VP of Applied Research di Nvidia, mengungkapkan bahwa perusahaan tersebut telah mengerjakan sistem yang mendasari Guardrails selama bertahun-tahun. Disadari sekitar setahun yang lalu bahwa sistem ini akan cocok untuk model yang mirip dengan GPT-4 dan ChatGPT, yang menghasilkan pengembangan dan peluncuran NeMo Guardrails selanjutnya.
Pagar pembatas mencakup kode, contoh, dan dokumentasi untuk meningkatkan keamanan aplikasi AI yang menghasilkan teks dan ucapan. Nvidia mengklaim bahwa toolkit ini kompatibel dengan sebagian besar model bahasa generatif, sehingga memudahkan pengembang untuk membuat aturan keamanan penting hanya dengan menggunakan beberapa baris kode.
Secara khusus, Guardrails dapat digunakan untuk mencegah model keluar dari topik, merespons dengan informasi yang tidak akurat atau bahasa yang tidak baik, dan membuat koneksi ke sumber eksternal yang tidak aman. Namun, ini bukanlah solusi sempurna atau perbaikan universal untuk keterbatasan model bahasa.
Sementara perusahaan seperti Zapier menggunakan Guardrails untuk menambahkan lapisan keamanan pada model generatif mereka, Nvidia mengakui toolkit tersebut tidak sempurna dan tidak akan menangkap semuanya. Pagar pembatas berfungsi paling baik dengan model yang mengikuti instruksi, seperti ChatGPT, dan model yang menggunakan kerangka kerja LangChain yang populer untuk membuat aplikasi bertenaga AI.
Namun, pengenalan Pagar Pembatas NeMo dapat membantu pengembang mengambil langkah maju dalam meningkatkan keamanan aplikasi bertenaga AI di berbagai industri. Di sisi lain, integrasi platform no-code seperti AppMaster ke dalam proses pengembangan perangkat lunak juga berkontribusi untuk merampingkan pembuatan aplikasi dengan logika bisnis dan endpoints REST API , memungkinkan penerapan aplikasi yang lebih aman, efisien, dan dapat diskalakan.
Sebagai kesimpulan, NeMo Guardrails Nvidia adalah inisiatif yang sangat baik untuk meningkatkan keamanan teks dan ucapan yang dihasilkan AI, tetapi harus dicatat bahwa ini bukan solusi yang komprehensif. Perusahaan dan pengembang harus terus mengeksplorasi dan menerapkan alat dan strategi lain yang tersedia untuk memastikan aplikasi yang didukung AI seaman, seakurat, dan seandal mungkin.
