Проще говоря, Джон Мюллер из Google рассказал о ситуации, когда вебсайт столкнулся с огромным количеством запросов от ботов Google для доступа к несуществующим страницам. Один такой несуществующий URL получил более двух миллионов посещений от ботов. Этот чрезмерный трафик был похож на распределенную атаку отказа в обслуживании (DDoS) против конкретных страниц сайта. Издатель ожидал, что это может повлиять на его бюджет сканирования и позиции в поисковой выдаче, и действительно произошло: сайт испытал снижение своей видимости в результатах поиска.
📰 Факты без слухов!
Новости Сегодня дают тебе полную картину крипторынка!
Страницы без индекса удалены и преобразованы в 410
Проще говоря, код ответа сервера 410 Gone относится к категории кодов ошибок, начинающихся с 400, которые указывают на недоступность веб-страницы. В отличие от ошибки 404, которая лишь означает, что определённая страница не найдена в данный момент, ошибка 410 подразумевает, что запрошенная страница была окончательно удалена и больше не вернётся.
Как эксперт по SEO, недавно я столкнулся с ситуацией, когда пользователь три недели назад опубликовал запрос на Reddit о проблеме, которую он испытывал. Он упомянул, что имел примерно 11 миллионов URL, которые не должны были быть доступны, и полностью их удалил, начав возвращать код ответа 410. Однако, несмотря на это действие, Googlebot продолжал искать пропавшие страницы в течение приблизительно полутора месяцев. Это вызвало у него опасения по поводу исчерпания бюджета на сканирование сайта (crawl budget) и потенциальных последствий для его рейтинга в поисковых системах.
Мюллер в то время передал их на страницу поддержки Google.
Потери позиций, поскольку Google продолжает наносить удары по сайту на уровне DDoS.
Приблизительно три недели прошло, и ситуация осталась без изменений. В последующем посте они упомянули получение более пяти миллионов запросов на несуществующие страницы. Конкретный URL, который они предоставили, был скрыт мной для защиты конфиденциальности; в противном случае вопрос остается слово-в-слово как был размещен.
Бот Google постоянно сканировал определенную веб-страницу, включая её параметры запроса, несмотря на то, что последние два месяца он постоянно выводил сообщение об ошибке ‘410 Gone’. За последний месяц наш сайт получил примерно 5.4 миллиона запросов от бота Google. Из них около 2.4 миллионов были направлены к конкретному URL: https://example.net/software/virtual-dj/?feature Этот URL часто запрашивался с параметром строки ‘?feature’. В течение этого периода мы заметили значительное снижение присутствия нашего сайта в результатах поиска Google, и трудно не предположить связь между этими явлениями — ситуация выглядит подозрительной. Пострадавший URL следующий: https://example.net/software/virtual-dj/?feature=… Оказалось, что Google обнаружил эти адреса из-за непреднамеренного отображения их в JSON ответе, генерируемом Next.js; они не являются реальными ссылками на самом сайте. В качестве опытного вебмастера я обновил функциональность нашей системы ‘multi-feature’. Теперь её можно активировать через строку запроса ‘?mf’, которую стратегически включили в файл robots.txt для упрощения внедрения. Не будет ли проблем, если добавить что-то вроде этого в наш файл robots.txt: Disallow: /software/virtual-dj/?feature=* Основная цель — предотвратить чрезмерное сканирование сайта ботом Google, которое может привести к нежелательным последствиям из-за перегрузки наших логов.
Согласно Джону Мюллеру из Google, стандартная практика для Google — периодически проверять страницы, которые ранее отсутствовали. Это происходит потому, что Google предполагает, что владельцы веб-сайтов могут случайно удалить страницу, и путем периодической проверки восстановления страниц они стремятся предоставить полезную услугу издателям.
Google может пересмотреть старые веб-страницы, которые существуют некоторое время, и вы можете заметить большее их количество вновь появляющихся, особенно если таких страниц много. Нормально, что страницы со временем исчезают, даже в больших количествах. Однако также допустимо заблокировать доступ Google к вашим страницам с помощью файла robots.txt, если частые запросы вызывают неудобства.
Осторожно: Технические аспекты SEO впереди
В этом разделе важно понимать, что SEO может быть довольно сложным. Джон Мюллер советует, что хотя использование файла robots.txt и кажется хорошей идеей, это непреднамеренно может вызвать проблемы с отображением страниц, которые должны быть доступны.
Он в основном советует человека, задающего вопрос,
- Перепроверьте, что ?feature= URL не используется вообще ни в каком фронтенд коде или JSON запросах, которые отвечают за работу важных страниц.
- Используйте инструменты разработчика в Chrome, чтобы смоделировать ситуацию блокировки этих URL-адресов и выявить возможные проблемы на ранней стадии.
- Проверяйте Поисковую консоль Google на наличие мягких ошибок 404, чтобы выявить любое непреднамеренное влияние на страницы, которые должны быть проиндексированы.
Ключевой момент заключается в том, чтобы убедиться, что эти ответы действительно являются ошибками 404/410, а не случаями их использования в JavaScript на страницах, предназначенных для индексации. Учитывая упоминание JSON payload, важно осознавать эту разницу. Если ваши веб-страницы отображаются на стороне клиента с помощью JavaScript, попробуйте найти места вызова URL (если это возможно), затем используйте инструменты разработчика Chrome, чтобы заблокировать эти URL и наблюдать за изменениями при загрузке страницы. Если возникают сложности с определением их местоположения, временно исключите этот раздел из данных, а затем следите за Soft-404 ошибками в Google Search Console на предмет любых заметных изменений. Если вы не используете клиентскую сторону рендеринга JavaScript, можете игнорировать этот абзац 🙂
Разница между очевидной причиной и истинной причиной
Рекомендация Джона Мюллера тщательно проверить потенциальные ошибки со стороны издателя оправдана. Похоже, что ошибка издателя могла вызвать серию событий, приведших к индексации страниц вопреки их желанию. Таким образом, имеет смысл призвать издательство искать другие возможные объяснения снижения видимости в поиске. Этот сценарий часто подразумевает, что очевидная причина не является истинным источником проблемы. Поэтому совет Мюллера продолжать поиск корневой причины — это мудрый курс действий.
Прочтите оригинальную дискуссию здесь.
Смотрите также
2025-06-10 00:09