Несмотря на огромный потенциал моделей искусственного интеллекта, генерирующих текст, таких как OpenAI GPT-4, они не лишены недостатков. Такие проблемы, как предвзятость, токсичность и подверженность злонамеренным атакам, могут вызвать серьезные проблемы. Чтобы решить эту проблему, Nvidia разработала NeMo Guardrails , набор инструментов с открытым исходным кодом, предназначенный для повышения безопасности приложений на основе ИИ, которые генерируют текст и речь.
Jonathan Cohen, вице-президент Nvidia по прикладным исследованиям, сообщил, что компания уже много лет работает над базовой системой Guardrails. Около года назад стало понятно, что система будет хорошо подходить для моделей, подобных GPT-4 и ChatGPT, что привело к разработке и последующему выпуску NeMo Guardrails.
Guardrails включает в себя код, примеры и документацию для повышения безопасности приложений ИИ, которые генерируют как текст, так и речь. Nvidia утверждает, что набор инструментов совместим с большинством генеративных языковых моделей, что позволяет разработчикам легко создавать основные правила безопасности, используя всего несколько строк кода.
В частности, Guardrails можно использовать, чтобы модели не отклонялись от темы, не давали неверную информацию или нецензурную лексику, а также не подключались к небезопасным внешним источникам. Однако это не безупречное решение и не универсальное исправление ограничений языковых моделей.
В то время как такие компании, как Zapier используют Guardrails, чтобы добавить уровень безопасности к своим генеративным моделям, Nvidia признает, что этот набор инструментов не идеален и не будет охватывать все. Guardrails лучше всего работает с моделями следования инструкциям, такими как ChatGPT, и моделями, использующими популярную платформу LangChain для создания приложений на основе ИИ.
Тем не менее, внедрение NeMo Guardrails может помочь разработчикам сделать шаг вперед в повышении безопасности приложений на основе ИИ в различных отраслях. С другой стороны, интеграция платформ no-code, таких как AppMaster , в процесс разработки программного обеспечения также способствует оптимизации создания приложений с помощью бизнес-логики и endpoints REST API, обеспечивая более безопасное, эффективное и масштабируемое развертывание приложений.
В заключение, NeMo Guardrails от Nvidia — отличная инициатива по улучшению безопасности текста и речи, генерируемых ИИ, но следует отметить, что это не комплексное решение. Компании и разработчики должны продолжать изучать и внедрять другие доступные инструменты и стратегии, чтобы приложения на основе ИИ были максимально безопасными, точными и надежными.
