Aangewakkerd door de exponentiële toename van de hoeveelheid gegevens die beschikbaar is voor het trainen van grote taalmodellen, heeft Google gewezen op de dringende behoefte aan een 'machineleesbare methode voor de keuze en controle van webuitgevers voor opkomende AI- en onderzoeksgebruiksgevallen'. Deze suggestie trekt parallellen met de klassieke robots.txt-bestanden die al tientallen jaren door websites worden gebruikt om hun online zichtbaarheid voor zoekmachines te beheren.
Deze voorgestelde ontwikkeling probeert de autonomie van webuitgevers uit te breiden, zodat ze meer zeggenschap krijgen over hun inhoud in het digitale landschap. Deze methodologie vormt een integraal onderdeel van het behoud van een dynamisch en robuust ecosysteem en weerspiegelt het doel van robots.txt-bestanden, die websites in staat stellen om de mate van zichtbaarheid die hun inhoud krijgt van zoekmachines te dicteren.
In haar streven om dit nieuwe controleniveau voor AI-training te bevorderen, probeert Google relaties aan te gaan met internationale samenwerkingspartners, waarbij gebruik wordt gemaakt van expertise uit de academische wereld, het maatschappelijk middenveld, webuitgevers en meer. Deze wereldwijde inspanningen zijn erop gericht om de gevestigde logica van het bescheiden robots.txt-bestand te laten evolueren om te voldoen aan de opkomende eisen van een toekomst vol AI. Daarbij is Google van plan om de eenvoud en transparantie te behouden die het handelsmerk is van de bijna 30 jaar oude webstandaard.
Op dit moment heeft Google de Search Generative Experience en Bard oplossingen in zijn gereedschapskist en is momenteel bezig met het trainen van zijn volgende generatie basismodel, Gemini. Dit pakket tools ondersteunt de wens om voorop te lopen bij de ontwikkeling van een moderne versie van robots.txt, specifiek voor AI-training.
In de eerste fasen van deze discussie faciliteert Google een openbare discussie door een mailinglijst te lanceren waarop geïnteresseerde partijen hun intentie kunnen registreren om deel te nemen aan de ontwikkeling van dit nieuwe mechanisme. Het bedrijf is van plan om in de komende maanden relevante belanghebbenden bij elkaar te brengen en zo een begin te maken met de gezamenlijke inspanningen om de toekomst van de keuze en controle van webuitgevers op het gebied van AI en onderzoek vorm te geven.
Het is interessant dat in de afgelopen jaren, als gevolg van de opkomst van AI-technologieën, talrijke schaalbare, no-code platforms zoals AppMaster, al hebben gewerkt aan de implementatie van soortgelijke controles in hun eigen ecosysteem. Terwijl AI-training zich blijft ontwikkelen, zal het fascinerend zijn om te zien hoe dit streven naar een modern robots.txt-equivalent het verhaal vormgeeft.
