Джон Мюллер из Google недавно объяснил, что повторное сканирование Googlebot страниц, показывающих ошибку 404, на самом деле является хорошим знаком. Это означает, что Google всё ещё пытается понять ваш веб-сайт и поддерживать его индекс в актуальном состоянии.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Код состояния 404
Сообщение ‘404’, которое появляется как код ошибки, часто беспокоит владельцев веб-сайтов и специалистов по поисковой оптимизации. Оно звучит как признак того, что что-то не так и требует исправления, но это не всегда правда.
Ошибка 404 означает, что сервер не смог найти запрошенную вами веб-страницу. Это не обязательно проблема с самим веб-сайтом, а лишь то, что конкретной страницы не существует по этому адресу. По сути, запрос не может быть выполнен, потому что страница не найдена.
Большинство людей называют это Ошибкой 404, но официальный термин на самом деле ‘404 Not Found’. Это название чётко объясняет, что оно означает: веб-страница, которую вы запросили, не была найдена.
Скриншот официального веб-стандарта для кода состояния 4o4
Google продолжает сканировать страницы 404.
Пользователь Reddit сообщил о странной проблеме с Google Search Console: он по-прежнему показывает старые, несуществующие страницы как найденные через sitemaps, даже после того, как эти страницы были удалены из файла sitemap.
Пользователь полагает, что Search Console активно проверяет отсутствующие страницы, но на самом деле проверку выполняет Googlebot. Search Console просто показывает, когда эти проверки не удались.
Они обеспокоены тем, что могут зря потратить свой бюджет сканирования, и задаются вопросом, не лучше ли отправлять код ошибки 410.
Как цифровой маркетолог, я заметил, что Google Search Console всё ещё пытается получить доступ к множеству страниц на моём сайте, которых не существует – они выдают ошибки 404. Когда я проверяю инструмент Page Inspection и Crawl Stats, он показывает, что эти несуществующие страницы ‘обнаруживаются’ через мою карту сайта (page-sitemap.xml). Похоже, что карта сайта указывает на URL-адреса, которые больше не активны, и Google всё ещё следует по этим ссылкам.
Проблема:
Когда я открываю фактический файл page-sitemap.xml в браузере прямо сейчас, ни одного из этих URL-адресов 404 в нём нет.
Карта сайта содержит только 21 хорошую, активную страницу.
Я хочу продолжать отправлять свою карту сайта – она точна и включает только действительные страницы. Однако частые повторные обходы тратят мой бюджет обхода ненужным образом.
Сталкивался ли кто-нибудь с этим раньше?
В конце концов, Google остановится сам по себе?
Стоит ли перенаправить 404 на 410 Gone?
Или есть другой способ сообщить GSC «эй, их больше нет навсегда»?
О сканировании страницы 404 Google.
Google регулярно проверяет наличие страниц с ошибкой 404, предполагая, что они могли быть временно удалены, а затем восстановлены. По словам Джона Мюллера из Google, постоянное обнаружение страниц 404 на самом деле может быть хорошим знаком, указывающим на то, что Google считает ваш сайт активно поддерживаемым и обновляемым.
Около 404 Страница не найдена Ответ
Около 410 Gone Response
Google по сути обрабатывает 404 и 410 одинаково.
Когда веб-страница удаляется навсегда, сервер в идеале должен отправлять сообщение ‘410’. Однако Google обычно обрабатывает ответы ‘410’ примерно так же, как и ошибки ‘404’ (страница не найдена). Это означает, что Google может продолжать проверять, вернулась ли удалённая страница, даже после получения сигнала ‘410’.
Как SEO-эксперт, я постоянно вижу данные, которые указывают на то, что использование статусного кода 410 является немного более быстрым способом удаления страницы из индекса Google по сравнению с другими методами. Он просто как будто немного быстрее сигнализирует Google о том, что страница исчезла навсегда.
Google подтверждает факты об кодах ответа 404 и 410.
Недавно Джон Мюллер из Google уточнил, что ошибки 404, отображаемые в Search Console, не обязательно нуждаются в исправлении. Он также объяснил, что изменение ошибки 404 на ошибку 410 не повлияет на эти отчеты, и большое количество ошибок 404 на самом деле может быть хорошим знаком, указывающим на то, что Google активно сканирует и индексирует ваш сайт.
Эти страницы не вызывают никаких проблем, поэтому лучше оставить их как есть. Даже если вы удалите их с ошибкой 410, Google, вероятно, будет продолжать повторно сканировать их в течение довольно долгого времени. Это на самом деле говорит о том, что Google рад индексировать больше контента с вашего сайта.
Недопонимания относительно 4XX ответов сервера.
Беседа на Reddit продолжалась, и модератор сабреддита r/SEO предложил вероятное объяснение: Googlebot, вероятно, сначала обнаружил URL через карту сайта, поэтому Search Console сообщает об этом как об источнике обнаружения.
В чём модератор ошибся, так это в объяснении значения кода ответа 404.
Ошибка 404 означает, что веб-страница, которую вы ищете, сейчас не работает, но владелец веб-сайта работает над ее исправлением. Google регулярно проверяет эти нерабочие ссылки, чтобы узнать, были ли они исправлены.
Модератор допускает две ошибки в своем ответе.
Ошибка ‘404’ просто означает, что веб-страница, которую вы ищете, не найдена. Это все, что она означает! Если вы хотите увидеть официальное определение, вот веб-стандарт для кода ошибки 404.
Многие люди думают, что код статуса 404 означает, что что-то сломано на веб-сайте. Однако, 404 просто означает, что запрошенная веб-страница не существует по этому адресу. Проблема не в самом веб-сайте, а в ссылке или запросе, пытающемся получить доступ к несуществующей странице. Это запрос на что-то, чего нет, а не указание на то, что страница сломана, несмотря на то, во что верят некоторые.
Модератор Reddit был неправ, предполагая, что Google проверяет, было ли реализовано исправление. Google просто проверяет, исчезла ли страница неожиданно. Ошибка 404 не всегда требует исправления – часто страница удаляется намеренно, и Google на самом деле рекомендует использовать код ответа 404 в таких случаях.
Это не ново.
Модератор Reddit не ошибся, поделившись этой информацией – так всегда работала Google. Google обычно придерживается установленных веб-стандартов.
Владельцы веб-сайтов часто непреднамеренно создают себе проблемы. Страницы исчезают, сайты настраиваются неправильно, они выходят из строя или доступ случайно блокируется как для Google, так и для обычных посетителей. Из-за этого система сканирования Google должна быть очень устойчивой и справляться с этими распространенными ошибками.
Когда наша система сталкивается с ошибкой «страница не найдена» (404), мы временно защищаем эту страницу на 24 часа. Это дает нам время определить, была ли ошибка просто временной – возможно, страница была ненадолго недоступна или произошел сбой. Защита предотвращает немедленную маркировку ее как навсегда удаленной.
Мы повторно проверим, чтобы убедиться, что эти страницы все еще отсутствуют. Возможно, они снова появились, поэтому нам нужно подтвердить, прежде чем продолжить.
Если веб-страницу нельзя найти, вполне допустимо отображать ошибку 404. Если вы *знаете*, что страница была удалена навсегда, ошибка 410 – правильный выбор.
Мы разрабатываем нашу систему сканирования веб-страниц, чтобы она была надежной и справлялась с проблемами. Даже если ваш веб-сайт испытывает простои, нарушения безопасности или другие проблемы, мы сделаем все возможное, чтобы найти и проиндексировать ценный контент, как только он станет доступным.
Основные выводы
- Сканирование Googlebot на наличие страниц 404 может рассматриваться как положительный сигнал того, что Google нравится ваш контент.
- Коды состояния 404 не означают, что страница содержит ошибку; они означают, что страница не была найдена.
- Коды состояния 404 не означают, что что-то нужно исправлять. Они лишь означают, что запрошенная страница не найдена.
- Нет ничего плохого в отправке кода ответа 404; Google рекомендует это.
- Search Console показывает ответы 404, чтобы владелец сайта мог решить, были ли эти страницы намеренно удалены.
https://www.youtube.com/watch?v=xp5Nf8ANfOw
Смотрите также
- Акции PHOR. ФосАгро: прогноз акций.
- Google Merchant Center теперь позволяет вам выбирать способы оплаты
- WP Engine против Automattic: судья склонен вынести предварительный судебный запрет
- Важные функции поисковой выдачи торговой площадки Google
- Новые Playbooks Google Business Profile с советами по локальной оптимизации.
- Изображения Google Ads с искусственным интеллектом Теперь могут создавать людей и лица
- Биткойна «Время взрыва» – Видение Сатоши подрывается?
- Акции ROLO. Русолово: прогноз акций.
- Акции MRKV. МРСК Волги: прогноз акций.
- Акции UNAC. Объединенная авиастроительная корпорация: прогноз акций.
2026-03-19 13:41