OpenAI의 GPT-4와 같은 텍스트 생성 AI 모델의 엄청난 잠재력에도 불구하고 결함이 없는 것은 아닙니다. 편견, 독성, 악의적인 공격에 대한 민감성과 같은 문제는 상당한 문제를 야기할 수 있습니다. 이 문제를 해결하기 위해 Nvidia는 텍스트와 음성을 생성하는 AI 기반 애플리케이션의 안전을 강화하기 위한 오픈 소스 툴킷인 NeMo Guardrails를 개발했습니다.
Nvidia의 Applied Research 부사장인 Jonathan Cohen Nvidia가 수년 동안 Guardrails의 기본 시스템에 대해 작업해 왔다고 밝혔습니다. 약 1년 전에 이 시스템이 GPT-4 및 ChatGPT와 유사한 모델에 적합하다는 사실을 깨닫고 NeMo Guardrails가 개발 및 출시되었습니다.
가드레일에는 텍스트와 음성을 모두 생성하는 AI 앱의 안전성을 강화하는 코드, 예제 및 문서가 포함되어 있습니다. Nvidia는 이 툴킷이 대부분의 생성 언어 모델과 호환되므로 개발자가 단 몇 줄의 코드를 사용하여 필수 안전 규칙을 간단하게 만들 수 있다고 주장합니다.
특히, 가드레일은 모델이 주제에서 벗어나 부정확한 정보나 유독한 언어로 응답하고 안전하지 않은 외부 소스에 연결하는 것을 방지하는 데 활용할 수 있습니다. 그러나 이것은 완벽한 솔루션이 아니며 언어 모델의 한계에 대한 보편적인 해결책도 아닙니다.
Zapier 와 같은 회사는 생성 모델에 안전 계층을 추가하기 위해 Guardrails를 사용하고 있지만 Nvidia는 툴킷이 완벽하지 않으며 모든 것을 포착하지 못할 것임을 인정합니다. Guardrails는 ChatGPT와 같은 명령을 따르는 모델과 AI 기반 애플리케이션을 만들기 위해 널리 사용되는 LangChain 프레임워크를 활용하는 모델에서 가장 잘 작동합니다.
그럼에도 불구하고 NeMo Guardrails의 도입은 개발자가 다양한 산업 분야에서 AI 기반 애플리케이션의 안전성을 향상하는 데 한 걸음 더 나아갈 수 있도록 도울 수 있습니다. 한편, AppMaster 와 같은 no-code 플랫폼을 소프트웨어 개발 프로세스에 통합하면 비즈니스 로직 및 REST API endpoints 로 앱 생성을 간소화하여 보다 안전하고 효율적이며 확장 가능한 애플리케이션 배포가 가능합니다.
결론적으로 Nvidia의 NeMo Guardrails는 AI 생성 텍스트 및 음성 안전을 개선하기 위한 탁월한 이니셔티브이지만 포괄적인 솔루션은 아니라는 점에 유의해야 합니다. 기업과 개발자는 AI 기반 애플리케이션이 최대한 안전하고 정확하며 신뢰할 수 있도록 보장하기 위해 사용 가능한 다른 도구와 전략을 계속 탐색하고 구현해야 합니다.
