Как специалист по цифровому маркетингу, я недавно узнал от Джона Мюллера из Google, что частое обновление файла robots.txt в течение одного дня не дает существенных преимуществ для контроля скорости сканирования или индексации из-за того, что Google кэширует файл robots.txt. примерно на 24 часа. Поэтому, возможно, было бы более эффективно вносить изменения реже, чем пытаться динамически обновлять их в течение дня.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Как специалист по цифровому маркетингу, я понимаю, что контролировать, когда Google сканирует определенные страницы, может быть непросто. Важно отметить, что если вы не хотите, чтобы Google сканировал страницу в 7 утра, это все равно может произойти из-за обычного графика сканирования Google. Однако, если Google потребуется просканировать ту же самую страницу в 9 утра, вам потребуется внести соответствующие изменения в настройки или контент вашего сайта, чтобы эффективно сигнализировать об этом намерении.
Джон Мюллер написал на Bluesky в ответ на этот пост:
ВОПРОС:
Один из наших технических специалистов спросил, могут ли они загрузить файл robots.txt утром, чтобы заблокировать робота Googlebot, а еще один — днем, чтобы разрешить ему сканирование, поскольку веб-сайт большой, и они опасались, что это может перегрузить сервер. Как вы думаете, это будет хорошей практикой?
Конечно, скорость сканирования Googlebot регулируется в зависимости от скорости реагирования вашего сервера. Было интересно узнать, знали ли вы об этом факте. Ваше здоровье!
ОТВЕЧАТЬ:
Это плохая идея, поскольку файл robots.txt может храниться в кэше до 24 часов (developers.google.com/search/docs/…). Мы не рекомендуем динамически изменять файл robots.txt таким образом в течение дня. Вместо этого используйте 503/429, если сканирования слишком много.
С 2010 года мы знали, что файл robots.txt не следует делать динамическим, и уже некоторое время знакомы с правилом 24 часов в Google.
Смотрите также
- Google: заманчиво оптимизировать показатели инструментов; Нет ярлыков для SEO
- Публикации в Google Business Profiles Объединяют изображения, улучшенные с помощью искусственного интеллекта
- Google заявляет, что временные аномалии влияют на сканирование Googlebot
- Резкое падение Bitcoin: утонет ли он в супе за $60k? 🍲💰
- Издатели утверждают, что Google использовал их данные для обмана, судебный иск Raptive.
- Великий поворот: почему агентства заменяют PPC предсказуемым SEO
- WordPress объявляет об AI Agent Skill для ускорения разработки
- 8 из 10 видеороликов брендов в TikTok не привлекают внимание
- ДжейПи Морган против Близнецы: Сказка о гигантах банковского дела и двойных нарушителях спокойствия 💸
- Google утверждает, что внутренние ссылки Nofollow служат сигналом качества
2025-01-20 16:44