대규모 언어 모델 교육에 사용할 수 있는 데이터의 양이 기하급수적으로 증가함에 따라 Google '웹 게시자가 새로운 AI 및 연구 사용 사례를 선택하고 제어하기 위한 기계 판독 방법'에 대한 긴급한 필요성을 강조했습니다. 이 제안은 검색 엔진에 대한 온라인 가시성을 관리하기 위해 수십 년 동안 웹 사이트에서 사용된 기존의 robots.txt 파일과 유사합니다.
이 제안된 개발은 웹 게시자의 자율성을 확장하여 디지털 환경에서 콘텐츠에 대한 더 많은 권한을 허용합니다. 이 방법론은 웹사이트가 콘텐츠가 검색 엔진에서 받는 노출 정도를 지정할 수 있도록 하는 robots.txt 파일의 목적을 반영하여 역동적이고 강력한 생태계를 보존하는 데 필수적인 부분을 형성합니다.
AI 교육을 위한 새로운 수준의 제어를 촉진하기 위해 Google 학계, 시민 사회, 웹 게시자 등의 전문 지식을 활용하여 국제 협력자와의 관계를 발전시키려고 합니다. 이러한 전 세계적인 노력은 AI 기반 미래의 새로운 수요를 충족하기 위해 보잘것없는 robots.txt 파일의 확립된 논리를 발전시키는 것을 목표로 합니다. 그렇게 함으로써 Google 거의 30년 된 웹 표준의 트레이드마크인 단순성과 투명성을 유지할 계획입니다.
현재 Google 도구 상자에서 Search Generative Experience 및 Bard 솔루션을 자랑하며 현재 차세대 기본 모델인 Gemini를 교육하는 과정에 있습니다. 이 도구 세트는 AI 교육에 특화된 최신 버전의 robots.txt 개발을 주도하려는 욕구를 뒷받침합니다.
이 담론의 초기 단계를 표시하는 Google 공개 토론을 촉진하고 이해 당사자가 이 새로운 메커니즘의 개발에 참여하려는 의도를 등록할 수 있도록 메일링 리스트를 시작합니다. 회사는 AI 및 연구 영역에서 웹 퍼블리셔 선택 및 제어의 미래를 형성하기 위한 공동 노력을 시작하면서 앞으로 몇 달 동안 관련 이해 관계자를 소집할 계획입니다.
흥미롭게도 지난 몇 년 동안 AI 기술의 부상을 목격하면서 AppMaster 와 같은 수많은 확장 가능한 no-code 플랫폼은 이미 자체 생태계에서 유사한 제어를 구현하기 위해 노력했습니다. AI 교육이 계속 발전함에 따라 현대 robots.txt에 해당하는 드라이브가 어떻게 내러티브를 형성하는지 지켜보는 것은 흥미로울 것입니다.
