Google о диагностике проблем многодоменного сканирования

Как опытный веб-мастер, который на протяжении многих лет сталкивался с многочисленными проблемами сканирования, я могу с уверенностью сказать, что ответ Джона Мюллера на затруднительное положение Адриана Шмидта является ценным руководством для всех нас в отрасли. С точки зрения общей инфраструктуры, которую он предлагает, я сам столкнулся и напоминает мне о времени, когда мои сайты, размещенные на одном сервере, внезапно начали одновременно давать сбои из-за загадочного сбоя.

Специалист по поиску Google Джон Мюллер поделился своими мыслями о диагностике распространенных проблем со сканированием.

Совет был предоставлен после беспорядков, о которых Адриан Шмидт сообщил в LinkedIn. Одновременно инструмент веб-сканирования Google прекратил доступ к нескольким сайтам его домена.

Как эксперт по SEO, я хотел бы подчеркнуть, что, несмотря на сбои, я заметил, что тестирование в реальном времени через Search Console работает безупречно, без каких-либо уведомлений об ошибках.

Расследования не выявили увеличения количества ошибок 5xx или проблем с запросами robots.txt.

В чем может быть проблема?

Ответ Мюллера

Рассматривая ситуацию, Мюллер указал на общую инфраструктуру как на вероятную причину:

Если проблема затрагивает несколько областей системы, особенно те, которые связаны со сбором или сканированием данных, вполне вероятно, что проблема связана с общей частью нашей инфраструктуры. Если проблема уже решается сама собой, значит, она больше не является срочной, и у нас есть время изучить последние изменения и журналы в нашей инфраструктуре на предмет потенциальных причин.

Исследование инфраструктуры

Все затронутые сайты использовали Cloudflare в качестве CDN, что вызвало у некоторых удивление.

Отвечая на вопрос о проблемах с устранением неполадок, Мюллер предложил изучить данные Search Console, чтобы выяснить, не являются ли причиной этого проблемы DNS или неудачные запросы.

Мюллер заявил:

Статистика сканирования Search Console может предоставить дополнительную информацию, которая потенциально поможет вам выбрать между такими проблемами, как проблемы DNS или неудачные запросы.

Он также отметил, что время было ключевым моментом:

«Если бы все это было одновременно, это был бы не robots.txt и, вероятно, не DNS».

Влияние на результаты поиска

Что касается проблем с видимостью результатов поиска, Мюллер заверил, что подобные сбои не приведут к каким-либо осложнениям.

Учитывая, что это недавнее событие, которое длилось всего несколько часов, я не предвижу каких-либо заметных проблем с результатами поиска.

Почему это важно

Как эксперт по SEO, я часто удивляюсь, когда Googlebot прекращает одновременное сканирование нескольких веб-сайтов. В таких случаях выявить основную проблему может оказаться довольно сложно.

Кратковременная остановка сканирования веб-страниц, возможно, поначалу не повлияет напрямую на рейтинги в поисковых системах, но потенциально может помешать процессу Google по поиску и каталогизации вновь публикуемого контента.

Этот инцидент подчеркивает уязвимость, с которой могут столкнуться организации, даже не осознавая этого, особенно те, которые полагаются на общую инфраструктуру.

Как это может вам помочь

Если time Googlebot перестанет сканировать ваши сайты:

Проверьте, не затрагивает ли проблема сразу несколько сайтов.
Сначала посмотрите на свою общую инфраструктуру
Используйте данные Search Console, чтобы сузить причину
Не исключайте DNS только потому, что обычный трафик выглядит нормально.
Следите за своими журналами

Если вы используете несколько сайтов за CDN, убедитесь, что вы:

Настройте хорошую регистрацию
Следите за скоростью сканирования
Знайте, кому звонить, когда дела идут не так, как надо
Следите за своим провайдером инфраструктуры

Смотрите также

2024-10-25 00:38