Недавно Джон Мюллер из Google отреагировал на сообщения об ошибках ‘phantom noindex‘, появляющихся в Google Search Console. Он подтвердил, что эти ошибки могут быть вполне законными.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Noindex в Google Search Console
Директива ‘noindex’ в файле robots сайта – это мощная команда, которую Google действительно выполняет. Это один из основных способов, с помощью которого владельцы веб-сайтов могут указать Google не включать определенные страницы в результаты поиска.
Иногда Google Search Console сообщает, что не может проиндексировать страницу, утверждая, что есть тег ‘noindex’, который этому препятствует – даже когда вы не можете найти такой тег в коде страницы. Это может сбить с толку, но такое случается время от времени.
Как SEO-эксперт, одна из наиболее озадачивающих ошибок, которые я часто вижу в Google Search Console (GSC), — это сообщение ‘Submitted URL marked ‘noindex». Звучит странно, правда? По сути, Google сообщает вам, что обнаружил тег ‘noindex’ на странице, которую *вы хотите* проиндексировать. Это предупреждение о том, что вы случайно (или намеренно, но неправильно) сообщили Google, что не следует показывать эту страницу в результатах поиска, хотя вы отправили ее на индексацию. Это подчеркивает конфликт между тем, что вы сказали Google сделать (отправить на индексацию), и тем, что сама страница говорит Google (не индексируй меня!).
- Сайт запросил у Google индексацию страницы через запись в Sitemap.
- Страница отправила Google сигнал не индексировать её (через директиву noindex).
Search Console иногда показывает сообщение о том, что Google не может проиндексировать страницу, даже если владелец веб-сайта или SEO-специалист не видит никаких технических проблем, вызывающих эту проблему в коде страницы. Это запутанное предупреждение, потому что оно не всегда отражает то, что происходит на сайте.
Человек, задавший вопрос, опубликовал пост в Bluesky:
Noindex Отображается Только Для Google
Джон Мюллер из Google объяснил, что на страницах, которые он просматривал, где возникала эта проблема, всегда присутствовал тег ‘noindex’, указывающий на то, что Google уже знал, что эти страницы не следует индексировать.
Я сталкивался с ситуациями, когда тег ‘noindex’ присутствовал, но Google всё равно показывал страницу в результатах поиска – это может быть непросто выяснить. Если у вас есть примеры URL-адресов, пожалуйста, пришлите их мне в личные сообщения.
Хотя Мюллер не объяснил причину, есть шаги, которые вы можете предпринять, чтобы выяснить, что происходит, и исправить проблему.
Как устранить ошибки Phantom Noindex
Как SEO-эксперт, я уже сталкивался с этой проблемой: иногда страница может *казаться* имеющей тег noindex в Google, даже если в данный момент его там нет. Это часто происходит из-за кэширования. Предположим, страница *раньше* была помечена как noindex. Кэш на стороне сервера (например, используемый плагинами WordPress) или CDN (например, Cloudflare) мог сохранить эти старые инструкции ‘noindex’. Googlebot, поскольку он часто пересматривает сайты, все еще может получать эту кэшированную, устаревшую инструкцию, в то время как когда *вы* посещаете страницу, вы видите текущую, правильную версию. По сути, это случай, когда старые инструкции застревают в системе!
Проверить HTTP-заголовки просто. Несколько онлайн-инструментов могут помочь, например, тот, что на KeyCDN или SecurityHeaders.com.
Код ответа сервера 520 — это код, который отправляется Cloudflare при блокировке пользовательского агента.
Скриншот: 520 Cloudflare Код ответа
Ниже представлен снимок экрана кода ответа 200 сервера, сгенерированного cloudflare:
Скриншот: Код ответа сервера 200
Я использовал два разных инструмента для проверки одного и того же веб-адреса. Один инструмент показал сообщение «заблокировано» (код 520), в то время как другой показал, что все в порядке (код 200). Это демонстрирует, что Cloudflare может реагировать по-разному в зависимости от того, как он проверяется. Чтобы получить надежный результат, лучше всего использовать несколько инструментов и посмотреть, последовательно ли вы получаете сообщение «заблокировано» от Cloudflare.
Если веб-страница отображает отличное от кода страницы содержимое, вам необходимо, чтобы Google сам просмотрел страницу так, как она обычно отображается. Лучший способ сделать это — отправить URL в инструмент Google Rich Results Test. Это запускает сканирование страницы Google с использованием собственных серверов и IP-адреса. Если сервер (или сеть доставки контента) отправляет сигнал о том, что страницу не следует индексировать, тест это обнаружит. Помимо проверки структурированных данных, Rich Results Test также показывает HTTP-ответ и снимок того, что именно Google видит на странице.
Когда вы запускаете URL через Google Rich Results Test, запрос:
- Происходит из центров обработки данных Google: бот использует реальный IP-адрес Google.
- Проходит обратную проверку DNS: Если сервер, плагин безопасности или CDN проверяет IP-адрес, он должен разрешаться обратно в googlebot.com или google.com.
Если на странице присутствует тег ‘noindex’, наш инструмент не сможет отобразить какие-либо структурированные данные. Вместо этого вы увидите сообщение, например, «Страница не подходит» или «Ошибка сканирования». Если это произойдет, нажмите на ссылку «Посмотреть подробности» или разверните сообщение об ошибке. Это покажет вам, что тег ‘noindex’ является причиной, например, указанием «Robots meta tag: noindex» или просто «‘noindex’ обнаружен в robots meta tag.»
Этот метод не выдает себя за обычного пользователя Google; вместо этого он идентифицирует себя, используя user agent ‘Google-InspectionTool/1.0’. Это полезно, потому что если сервер блокирует доступ на основе IP-адреса, этот метод все равно сможет его обнаружить.
Если случайно добавленный тег ‘noindex’ намеренно блокирует Google от сканирования вашего сайта, вы можете протестировать это, имитируя сканер Google. Вы можете сделать это, используя расширение Google User Agent Switcher для Chrome, или настроив такой инструмент, как Screaming Frog, чтобы он идентифицировал себя как Googlebot. Это поможет вам определить, нацелен ли тег конкретно на Google.
Скриншот: Chrome User Agent Switcher
Ошибки Phantom Noindex в Search Console
Эти ошибки могут быть неприятными для решения, но не сдавайтесь! Попробуйте пройти по шагам, описанным ниже, чтобы помочь выявить причину проблемы.
Смотрите также
- Акции TGKN. ТГК-14: прогноз акций.
- Акции привилегированные SBERP. Сбербанк: прогноз акций привилегированных.
- Google: мы обычно не пробуем варианты URL-адресов
- Контролируя Вашу Розничную Позицию Онлайн С помощью SEO
- Использование AI среди бизнеса достигает 78%, когда снижаются затраты
- Акции NMTP. НМТП: прогноз акций.
- Google запускает генерацию видео в Product Studio
- Инструменты Bing для веб-мастеров показывают данные для Bing и Yahoo; Не ChatGPT
- Акции привилегированные MTLRP. Мечел: прогноз акций привилегированных.
- SEO-мошенничество, когда вы платите Google, чтобы исправить свой рейтинг в поиске
2026-01-18 02:40