Google уточнил поддержку полей robots.txt с небольшими изменениями

Как опытный веб-мастер с более чем двадцатилетним опытом работы за плечами, я видел немало обновлений и изменений Google в их правилах robots.txt. Этот последний шаг Google не только заслуживает похвалы, но и давно назрел.


Google вставил несколько дополнительных слов в круглые скобки, чтобы объяснить, что неуказанные поля в файле robots.txt не распознаются. Эту акцию провели в первую очередь из-за часто задаваемых вопросов по этому поводу.

Google включил новые термины в синтаксическую часть руководства robots.txt, заявив:

(другие поля, такие как задержка сканирования, не поддерживаются)

Вот до и после, где дополнение выделено синим цветом:

Вот как это выглядит сейчас:

По словам Джаскарана Сингха, серебряного эксперта по продуктам Google в сообществе веб-мастеров/поисковой консоли, если вы используете неподдерживаемые поля, такие как задержка сканирования, Google проигнорирует их. Обязательно соблюдайте эти поддерживаемые директивы, чтобы гарантировать правильное сканирование вашего сайта. Полезный совет: всегда используйте комментарии (#) для ясности и убедитесь, что пути начинаются с косой черты /, чтобы избежать ошибок.

Смотрите также

2024-10-08 15:44