Google: размещайте ресурсы на разных именах хостов, чтобы сэкономить бюджет сканирования

Google: размещайте ресурсы на разных именах хостов, чтобы сэкономить бюджет сканирования

Как опытный специалист по цифровому маркетингу с более чем десятилетним опытом работы за плечами, я считаю последнюю инициативу Google Search Central «Crawling October» невероятно проницательной и своевременной. Тонкости сканирования веб-сайтов всегда были увлекательным, но сложным аспектом SEO, и эта серия обещает пролить свет на аспекты, которые часто упускаются из виду.


Google Search Central представил новую серию под названием «Статистика сканирования роботом Google за декабрь», в которой содержится ценная информация о том, как робот Googlebot просматривает и каталогизирует веб-страницы.

Каждую неделю в этом месяце Google планирует публиковать статьи, посвященные менее известным, но важным аспектам процесса сканирования веб-страниц, которые оказывают существенное влияние на индексацию веб-сайтов.

Основы сканирования

Современные веб-сайты сложны из-за сложного JavaScript и CSS, что может усложнить навигацию поисковым системам по сравнению с простыми HTML-сайтами прошлого. Однако бот Google функционирует аналогично веб-браузеру, но работает по отдельному графику.

Вот шаги по порядку:

  1. Первоначальная загрузка HTML
  2. Обработка службой веб-рендеринга
  3. Окончательная конструкция страницы

Управление бюджетом сканирования

Важно отметить, что кеш WRS сохраняется до 30 дней и на него не влияют правила кэширования HTTP, установленные разработчиками.

Эта стратегия кэширования помогает сэкономить бюджет сканирования сайта.

Рекомендации

В этом посте владельцы сайтов получают советы о том, как оптимизировать краулинговый бюджет:

    Инструменты мониторинга

    Вы можете узнать робота Googlebot по его IP-адресу, поскольку он попадает в диапазоны IP-адресов, указанные в документации для разработчиков Google.

    Почему это важно

    В этой статье объясняются три основных аспекта, влияющих на то, как Google находит и обрабатывает контент на вашем веб-сайте.

      Смотрите также

      2024-12-03 19:08