Как специалист по цифровому маркетингу, я недавно узнал от Джона Мюллера из Google, что частое обновление файла robots.txt в течение одного дня не дает существенных преимуществ для контроля скорости сканирования или индексации из-за того, что Google кэширует файл robots.txt. примерно на 24 часа. Поэтому, возможно, было бы более эффективно вносить изменения реже, чем пытаться динамически обновлять их в течение дня.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Как специалист по цифровому маркетингу, я понимаю, что контролировать, когда Google сканирует определенные страницы, может быть непросто. Важно отметить, что если вы не хотите, чтобы Google сканировал страницу в 7 утра, это все равно может произойти из-за обычного графика сканирования Google. Однако, если Google потребуется просканировать ту же самую страницу в 9 утра, вам потребуется внести соответствующие изменения в настройки или контент вашего сайта, чтобы эффективно сигнализировать об этом намерении.
Джон Мюллер написал на Bluesky в ответ на этот пост:
ВОПРОС:
Один из наших технических специалистов спросил, могут ли они загрузить файл robots.txt утром, чтобы заблокировать робота Googlebot, а еще один — днем, чтобы разрешить ему сканирование, поскольку веб-сайт большой, и они опасались, что это может перегрузить сервер. Как вы думаете, это будет хорошей практикой?
Конечно, скорость сканирования Googlebot регулируется в зависимости от скорости реагирования вашего сервера. Было интересно узнать, знали ли вы об этом факте. Ваше здоровье!
ОТВЕЧАТЬ:
Это плохая идея, поскольку файл robots.txt может храниться в кэше до 24 часов (developers.google.com/search/docs/…). Мы не рекомендуем динамически изменять файл robots.txt таким образом в течение дня. Вместо этого используйте 503/429, если сканирования слишком много.
С 2010 года мы знали, что файл robots.txt не следует делать динамическим, и уже некоторое время знакомы с правилом 24 часов в Google.
Смотрите также
- Золото прогноз
- Серебро прогноз
- Анализ динамики цен на криптовалюту OP: прогнозы OP
- Прогноз нефти
- Какой самый низкий курс доллара к рублю?
- Google: использование генеративного искусственного интеллекта для создания контента для ссылок против политики спама
- Какой самый низкий курс евро к турецкой лире?
- Акции MSRS. Россети Московский регион: прогноз акций.
- Хакеры взломали аккаунт a16z в Твиттере — хаос, клоуны и фантомные токены!
- Анализ динамики цен на криптовалюту HYPE: прогнозы HYPE
2025-01-20 16:44