Google обновляет политику Robots.txt: неподдерживаемые поля игнорируются

Google обновляет политику Robots.txt: неподдерживаемые поля игнорируются

Как опытный специалист по цифровому маркетингу с более чем десятилетним опытом работы за плечами, я не могу переоценить важность того, чтобы быть в курсе обновлений и рекомендаций поисковых систем. В этой последней разработке Google становится ясно, что они предпринимают шаги, чтобы обеспечить большую ясность и избежать путаницы для владельцев веб-сайтов и разработчиков.


Google недавно разъяснил в своих рекомендациях Центра поиска неиспользуемые или нераспознанные разделы в файлах robots.txt.

Ключевое обновление

Google пояснил, что их сканеры распознают только поля, указанные в их руководстве по robots.txt, то есть они не поддерживают поля, не указанные в списке.

Это объяснение способствует достижению цели Google — предложить четкие указания создателям сайтов и программистам.

Гугл утверждает:

Иногда мы получаем запросы относительно областей, не упомянутых конкретно в поддерживаемых нами полях. Уточним: эти поля, не указанные в списке, выходят за рамки нашей текущей области применения.

Это обновление должно устранить путаницу и предотвратить использование веб-сайтами неподдерживаемых директив.

Что это значит:

  1. Придерживайтесь поддерживаемых полей: используйте только поля, явно упомянутые в документации Google.
  2. Просмотр существующих файлов robots.txt. Проверьте текущие файлы robots.txt, чтобы убедиться, что они не содержат неподдерживаемых директив.
  3. Понимание ограничений. Сканеры Google могут не распознавать определенные сторонние или пользовательские директивы.

Поддерживаемые поля:

В соответствии с пересмотренными рекомендациями Google признает использование следующих разделов в файлах robots.txt: [Список поддерживаемых разделов]

  • пользовательский агент
  • позволять
  • запретить
  • карта сайта

Заметные упущения:

Хотя это не упоминается напрямую, это объяснение, похоже, предполагает, что Google не признает и не соблюдает общие инструкции, такие как «задержка сканирования», в отличие от некоторых других поисковых систем, которые могут распознавать их и реагировать на них.

«Кроме того, стоит отметить, что Google прекращает поддержку директивы noarchive.

Заглядывая вперед:

Это обновление является напоминанием о необходимости быть в курсе официальных рекомендаций и лучших практик.

Это подчеркивает необходимость использования документированных функций, а не поддержки недокументированных директив.

Чтобы узнать больше о том, как эффективно использовать и оптимизировать файл robots.txt, обратитесь к подробным рекомендациям Google в документации Центра поиска.

Смотрите также

2024-10-07 17:08