Google в Поисковой консоли обнаружены ошибки noindex

Джон Мюллер из Google ответил на вопрос о Reddit о кажущейся ложной «noindex, обнаруженной в ошибке HTTP HTTP-http», сообщаемой в консоли поиска Google для страниц, на которых нет конкретной рентгеновской-Tag или какой-либо другой связанной директивы или блока. Мюллер предложил некоторые возможные причины, и несколько красных изданий предоставили разумные объяснения и решения.

Нет обнаружено индекса

Проще говоря, человек, который инициировал обсуждение Reddit, представил ситуацию, которая может резонировать со многими. Похоже, что поисковая консоль Google указывает, что она не может включать конкретную веб -страницу в результаты поиска из -за того, что страница намеренно исключена из индексации (отличается от предотвращения ее ползания). После изучения страницы не было найдено метатеги «noindex», и нет никакого файла robots.txt, ограничивающего страницу от ползания.

«GSC показывает« noindex, обнаруженный в заголовке x-robots-tag http »для большей части моих URL. Однако:

Нет noindex в robots.txt

Noindex не видим в заголовках ответов при тестировании

Живой тест в GSC показывает страницу как индексируемый

Сайт стоит за CloudFlare (мы проверили правила страницы/WAF и т. Д.) »

Подозреваемая облачная вспышка

Один из участников этого разговора предложил исследовать потенциальные решения, если проблема, казалось, проистекает из CloudFlare.

Они предоставили подробное последовательное руководство для определения того, может ли CloudFlare или любой другой фактор препятствовать индексации веб -страницы.

1. Первоначально, проверьте живой тест и страницу ползания в консоли поиска Google (GSC), чтобы определить, получает ли Google устаревший ответ.

2. Изучите правила преобразования, заголовки ответов и работников в CloudFlare для любых модификаций.

3. Используйте инструмент командной строки «Curl» с помощью пользовательского агента, имитирующего Googlebot и обход кэша (используя контроль кэша: без Cache) для проверки ответов на сервера.

4. Если использовать WordPress, деактивируйте плагины SEO, чтобы устранить динамические заголовки в качестве возможной причины.

5. Запросы журнала с GoogleBot на вашем сервере и убедитесь, появляется ли x-Robots-Tag в журналах.

6. В случае, если все предыдущие шаги не решают проблему, обходите CloudFlare, изменяя настройки DNS, чтобы указать непосредственно на ваш сервер и повторно провести результаты.

Первоначальный плакат упомянул, что они опробовали все предложенные методы, но они сочли невозможным проверить кэш веб -сайта с помощью консоли поиска Google; Они могли бы исследовать живой сайт только непосредственно с сервера, а не через такую услугу, как CloudFlare.

Как тестировать с помощью реального Googlebot

Вполне интригует, что оригинальный плакат упомянул, что они не могут проверить свой сайт с помощью Googlebot. Тем не менее, важно отметить, что действительно есть метод для тестирования сайтов с этим конкретным ботом.

Как специалист по цифровому маркетингу, я часто использую тестер Google Result, чтобы получить представление о том, как мой веб -сайт появляется в Google. Этот мощный инструмент работает, имитируя пользовательский агент Googlebot и исходя из IP -адреса Google, что позволяет мне видеть мой сайт, когда Google видит его. В тех случаях, когда эксплуатация может привести к тому, что мой сайт отображает скрытую страницу, богатый тестер результатов служит ценным инструментом для разоблачения того, что Google фактически индексирует, гарантируя, что мои усилия по оптимизации поисковой системы были прозрачными и эффективными.

Страница поддержки Google на богатых результатов подтверждает:

«Этот инструмент обращается к странице как Googlebot (то есть не использует ваши учетные данные, а как Google)».

An error occurred during processing.

Следующее, вероятно, не было решением, но это интересное количество технических знаний SEO.

Ошибка в индексе Google Search Console

Джон Мюллер присоединился к разговору, готовый протянуть руку к решению проблемы под рукой. Он упомянул, что столкнулся с аналогичными проблемами с сетями доставки контента (CDN), и добавил интригующую точку — он также заметил, что это происшествие также с чрезвычайно древними URL -адресами. В то время как он не углубился в этот вопрос, он, по -видимому, предполагает потенциальный индексирующий сбой, связанный со старыми индексированными URL.

Не стесняйтесь поделиться со мной некоторыми примерами! За годы работы в качестве веб -мастера я сталкивался с аналогичными ситуациями с сетями доставки контента (CDN) и веб -сайтами, которые заполнялись очень долго, накапливая многочисленные старые URL -адреса. Возможно, в этом случае может быть что -то уникальное, что требует дальнейшей проверки.

Google Search Console Index Noindex Detected{

Консоль поиска Google (GSC) может сообщать о «noindex, обнаруженном в заголовке x-robots-tag http», даже если этот заголовок отсутствует.
CDN, такие как CloudFlare, могут мешать индексации. Шаги были переданы, чтобы проверить, влияют ли правила преобразования CloudFlare, заголовки ответов или кэш, как GoogleBot видит страницу.
Устаревшие данные индексации на стороне Google также могут быть фактором.
Богатый тестер Google может проверить то, что видит Googlebot, потому что он использует пользовательский агент Googlebot и IP, раскрывая расхождения, которые могут быть не видны из подготовки пользовательского агента.
401 несанкционированные ответы могут предотвратить индексацию. Пользователь поделился, что их проблема включала в себя страницы входа в систему, которые необходимо заблокировать через robots.txt.
Джон Мюллер предложил CDN и исторически ползал URL в качестве возможных причин.

Смотрите также

2025-02-28 00:39