В связи с экспоненциальным ростом количества данных, доступных для обучения больших языковых моделей, сайт Google подчеркнул острую необходимость в "машиночитаемом методе выбора и контроля веб-издателей для возникающих случаев использования ИИ и исследований". Это предложение проводит параллели с классическими файлами robots.txt, которые использовались веб-сайтами в течение нескольких десятилетий для управления их онлайн видимостью для поисковых систем.
Предлагаемая разработка направлена на расширение автономии веб-издателей, позволяя им иметь больше власти над своим контентом в цифровом ландшафте. Эта методология является неотъемлемой частью сохранения динамичной и надежной экосистемы, отражая цель файлов robots.txt, которые позволяют веб-сайтам диктовать степень воздействия поисковых систем на их контент.
В своем стремлении обеспечить новый уровень контроля над обучением ИИ Google стремится наладить отношения с международными партнерами, используя опыт научных кругов, гражданского общества, веб-издателей и многих других. Эти глобальные усилия направлены на развитие устоявшейся логики скромного файла robots.txt для удовлетворения новых требований будущего, основанного на ИИ. При этом Google планирует поддерживать простоту и прозрачность, которые являются визитной карточкой почти 30-летнего веб-стандарта.
В настоящее время Google имеет в своем арсенале инструменты Search Generative Experience и решения Bard и находится в процессе обучения основополагающей модели нового поколения Gemini. Этот набор инструментов подкрепляет желание компании возглавить разработку современной версии robots.txt для обучения ИИ.
Отмечая начальные этапы этого обсуждения, Google способствует публичной дискуссии, запуская список рассылки, чтобы заинтересованные стороны могли зарегистрировать свое намерение принять участие в разработке этого нового механизма. Компания планирует собрать в ближайшие месяцы соответствующие заинтересованные стороны, начав совместные усилия по формированию будущего выбора и контроля веб-издателей в сфере ИИ и исследований.
Интересно, что за последние несколько лет, наблюдая за ростом технологий ИИ, многочисленные масштабируемые платформы no-code, такие как AppMaster, уже работали над внедрением подобных механизмов контроля в собственную экосистему. Поскольку обучение ИИ продолжает развиваться, будет интересно наблюдать за тем, как это стремление к созданию современного эквивалента robots.txt формирует повествование.
