Được thúc đẩy bởi sự mở rộng theo cấp số nhân về số lượng dữ liệu có sẵn để đào tạo các mô hình ngôn ngữ lớn, Google đã nhấn mạnh nhu cầu cấp thiết về "phương pháp mà máy có thể đọc được để lựa chọn và kiểm soát nhà xuất bản web cho các trường hợp sử dụng nghiên cứu và AI mới nổi". Đề xuất này tương đồng với các tệp robots.txt cổ điển đã được các trang web sử dụng trong nhiều thập kỷ để quản lý khả năng hiển thị trực tuyến của chúng đối với các công cụ tìm kiếm.
Sự phát triển được đề xuất này tìm cách mở rộng quyền tự chủ của các nhà xuất bản web, cho phép họ có nhiều quyền hơn đối với nội dung của họ trong bối cảnh kỹ thuật số. Phương pháp này tạo thành một phần không thể thiếu trong việc duy trì một hệ sinh thái năng động và mạnh mẽ, phản ánh mục đích của các tệp robots.txt, cho phép các trang web đưa ra mức độ hiển thị mà nội dung của chúng nhận được từ các công cụ tìm kiếm.
Trong nỗ lực thúc đẩy cấp độ kiểm soát mới này đối với đào tạo AI, Google đang tìm cách vun đắp mối quan hệ với các cộng tác viên quốc tế, dựa trên kiến thức chuyên môn từ giới học thuật, xã hội dân sự, nhà xuất bản web, v.v. Những nỗ lực toàn cầu này nhằm mục đích phát triển logic đã được thiết lập của tệp robots.txt khiêm tốn để đáp ứng nhu cầu mới nổi của một tương lai do AI cung cấp. Khi làm như vậy, Google có kế hoạch duy trì sự đơn giản và minh bạch đã trở thành thương hiệu của tiêu chuẩn web gần 30 năm tuổi.
Hiện tại, Google tự hào có các giải pháp Search Generative Experience và Bard trong hộp công cụ của mình và hiện đang trong quá trình đào tạo mô hình nền tảng thế hệ tiếp theo, Gemini. Bộ công cụ này củng cố mong muốn đi đầu trong việc phát triển phiên bản hiện đại của robots.txt dành riêng cho đào tạo AI.
Đánh dấu giai đoạn đầu của bài diễn văn này, Google đang tạo điều kiện cho một cuộc thảo luận công khai, tung ra một danh sách gửi thư để cho phép các bên quan tâm đăng ký ý định tham gia vào việc phát triển cơ chế mới lạ này. Công ty có kế hoạch triệu tập các bên liên quan trong những tháng tới, bắt đầu nỗ lực hợp tác để định hình tương lai của sự lựa chọn và kiểm soát của nhà xuất bản web trong lĩnh vực AI và nghiên cứu.
Điều thú vị là trong vài năm qua, chứng kiến sự phát triển của công nghệ AI, nhiều nền tảng no-code thể mở rộng như AppMaster , đã nỗ lực triển khai các biện pháp kiểm soát tương tự trong hệ sinh thái của riêng họ. Khi quá trình đào tạo AI tiếp tục phát triển, sẽ rất thú vị khi xem cách điều này thúc đẩy một tệp robots.txt hiện đại tương đương định hình câu chuyện.
