Как специалист по цифровому маркетингу, я недавно узнал от Джона Мюллера из Google, что частое обновление файла robots.txt в течение одного дня не дает существенных преимуществ для контроля скорости сканирования или индексации из-за того, что Google кэширует файл robots.txt. примерно на 24 часа. Поэтому, возможно, было бы более эффективно вносить изменения реже, чем пытаться динамически обновлять их в течение дня.
Как специалист по цифровому маркетингу, я понимаю, что контролировать, когда Google сканирует определенные страницы, может быть непросто. Важно отметить, что если вы не хотите, чтобы Google сканировал страницу в 7 утра, это все равно может произойти из-за обычного графика сканирования Google. Однако, если Google потребуется просканировать ту же самую страницу в 9 утра, вам потребуется внести соответствующие изменения в настройки или контент вашего сайта, чтобы эффективно сигнализировать об этом намерении.
Джон Мюллер написал на Bluesky в ответ на этот пост:
ВОПРОС:
Один из наших технических специалистов спросил, могут ли они загрузить файл robots.txt утром, чтобы заблокировать робота Googlebot, а еще один — днем, чтобы разрешить ему сканирование, поскольку веб-сайт большой, и они опасались, что это может перегрузить сервер. Как вы думаете, это будет хорошей практикой?
Конечно, скорость сканирования Googlebot регулируется в зависимости от скорости реагирования вашего сервера. Было интересно узнать, знали ли вы об этом факте. Ваше здоровье!
ОТВЕЧАТЬ:
Это плохая идея, поскольку файл robots.txt может храниться в кэше до 24 часов (developers.google.com/search/docs/…). Мы не рекомендуем динамически изменять файл robots.txt таким образом в течение дня. Вместо этого используйте 503/429, если сканирования слишком много.
С 2010 года мы знали, что файл robots.txt не следует делать динамическим, и уже некоторое время знакомы с правилом 24 часов в Google.
Смотрите также
- В Google Analytics отсутствуют данные за вчерашний день/Данные
- Акции VSEH. ВИ.РУ: прогноз акций.
- Акции KZOS. Казаньоргсинтез: прогноз акций.
- Google уточняет заголовки H1-H6 для SEO
- Google запускает новый вид «24 часа» в консоли поиска
- Обновление локального рейтинга Google, январь 2025 г. (не подтверждено)
- Акции ELMT. Элемент: прогноз акций.
- Meta предпринимает шаги по замене индекса Google в поиске AI
- Отчеты о производительности Google Search Console теперь экспортируют почасовые данные
- Google показывает, как исправить LCP Core Web Vitals
2025-01-20 16:44