على الرغم من الإمكانات الهائلة لنماذج الذكاء الاصطناعي لتوليد النصوص مثل GPT-4 من OpenAI ، إلا أنها لا تخلو من العيوب. يمكن أن تسبب مشكلات مثل التحيز والسمية والقابلية للهجمات الضارة تحديات كبيرة. لمعالجة هذا الأمر ، طورت Nvidia NeMo Guardrails ، وهي مجموعة أدوات مفتوحة المصدر تهدف إلى تعزيز أمان التطبيقات التي تعمل بالذكاء الاصطناعي والتي تولد النص والكلام.
كشف Jonathan Cohen ، نائب الرئيس للأبحاث التطبيقية في Nvidia ، أن الشركة تعمل على نظام Guardrails الأساسي لسنوات عديدة. لقد أدرك منذ حوالي عام أن النظام سيكون مناسبًا جيدًا لنماذج مماثلة لـ GPT-4 و ChatGPT ، مما أدى إلى تطوير NeMo Guardrails وإصداره لاحقًا.
تتضمن حواجز الحماية تعليمات برمجية وأمثلة ووثائق لتعزيز أمان تطبيقات الذكاء الاصطناعي التي تولد كلًا من النص والكلام. تدعي Nvidia أن مجموعة الأدوات متوافقة مع معظم نماذج اللغة التوليدية ، مما يجعل من السهل على المطورين إنشاء قواعد أمان أساسية باستخدام بضعة أسطر من التعليمات البرمجية.
على وجه التحديد ، يمكن استخدام حواجز الحماية لمنع النماذج من الانحراف عن الموضوع ، والاستجابة بمعلومات غير دقيقة أو لغة سامة ، وإجراء اتصالات بمصادر خارجية غير آمنة. ومع ذلك ، فهو ليس حلاً لا تشوبه شائبة ولا حلًا عالميًا لقيود نماذج اللغة.
بينما تستخدم شركات مثل Zapier Guardrails لإضافة طبقة أمان إلى نماذجها التوليدية ، تعترف Nvidia بأن مجموعة الأدوات ليست مثالية ولن تلتقط كل شيء. تعمل Guardrails بشكل أفضل مع النماذج التي تتبع التعليمات ، مثل ChatGPT ، وتلك التي تستخدم إطار عمل LangChain الشهير لإنشاء تطبيقات مدعومة بالذكاء الاصطناعي.
ومع ذلك ، يمكن أن يساعد إدخال NeMo Guardrails المطورين على اتخاذ خطوة إلى الأمام في تعزيز أمان التطبيقات التي تعمل بالذكاء الاصطناعي في مجموعة متنوعة من الصناعات. من ناحية أخرى ، يساهم دمج الأنظمة الأساسية no-code مثل AppMaster في عملية تطوير البرامج أيضًا في تبسيط إنشاء التطبيقات باستخدام منطق الأعمال endpoints REST API ، مما يسمح بنشر التطبيقات بشكل أكثر أمانًا وفعالية وقابلية للتوسع.
في الختام ، يعد NeMo Guardrails من Nvidia مبادرة ممتازة لتحسين أمان النص والكلام الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي ، ولكن يجب ملاحظة أنه ليس حلاً شاملاً. يجب على الشركات والمطورين الاستمرار في استكشاف وتنفيذ الأدوات والاستراتيجيات المتاحة الأخرى لضمان أن تكون التطبيقات التي تعمل بالذكاء الاصطناعي آمنة ودقيقة وموثوقة قدر الإمكان.
