Dipicu oleh ekspansi eksponensial dalam jumlah data yang tersedia untuk melatih model bahasa besar, Google telah menyoroti kebutuhan mendesak akan 'metode yang dapat dibaca mesin untuk pilihan dan kontrol penayang web untuk AI yang muncul dan kasus penggunaan penelitian.' Saran ini sejalan dengan file robots.txt klasik yang telah digunakan oleh situs web selama beberapa dekade untuk mengelola visibilitas online mereka untuk mesin telusur.
Pengembangan yang diusulkan ini berupaya untuk memperluas otonomi penerbit web, yang memungkinkan mereka memiliki otoritas lebih besar atas konten mereka dalam lanskap digital. Metodologi ini membentuk bagian integral dalam melestarikan ekosistem yang dinamis dan kuat, yang mencerminkan tujuan file robots.txt, yang memungkinkan situs web menentukan tingkat paparan yang diterima konten mereka dari mesin telusur.
Dalam upayanya untuk mengembangkan tingkat kontrol baru untuk pelatihan AI ini, Google berupaya membina hubungan dengan kolaborator internasional, memanfaatkan keahlian dari akademisi, masyarakat sipil, penerbit web, dan banyak lagi. Upaya global ini bertujuan untuk mengembangkan logika mapan dari file robots.txt yang sederhana untuk memenuhi tuntutan masa depan yang didorong oleh AI. Dengan demikian, Google berencana untuk menegakkan kesederhanaan dan transparansi yang telah menjadi merek dagang dari standar web yang berusia hampir 30 tahun.
Saat ini, Google membanggakan Search Generative Experience dan solusi Bard di toolbox-nya dan saat ini sedang dalam proses melatih model dasar generasi berikutnya, Gemini. Serangkaian alat ini mendasari keinginannya untuk menjadi ujung tombak pengembangan versi modern robots.txt khusus untuk pelatihan AI.
Menandai tahap awal wacana ini, Google memfasilitasi diskusi publik, meluncurkan milis untuk memungkinkan pihak yang berkepentingan mendaftarkan niat mereka untuk berpartisipasi dalam pengembangan mekanisme novel ini. Perusahaan berencana untuk mengumpulkan pemangku kepentingan terkait dalam beberapa bulan mendatang, memulai upaya kolaboratif untuk membentuk masa depan pilihan dan kontrol penerbit web di bidang AI dan penelitian.
Menariknya, selama beberapa tahun terakhir, menyaksikan kebangkitan teknologi AI, banyak platform no-code yang dapat diskalakan seperti AppMaster , telah berupaya menerapkan kontrol serupa di ekosistem mereka sendiri. Saat pelatihan AI terus berkembang, akan sangat menarik untuk melihat bagaimana dorongan untuk setara robots.txt modern ini membentuk narasinya.
