Как опытный эксперт по SEO с более чем десятилетним опытом работы в сложностях поисковой оптимизации, я могу с уверенностью сказать, что последнее предупреждение адвоката разработчиков Google Мартина Сплитта о поддельном трафике Googlebot является важным напоминанием для всех владельцев веб-сайтов.
Мартин Сплитт, адвокат разработчиков Google, советует владельцам веб-сайтов проявлять осторожность при работе с трафиком, предположительно исходящим от Googlebot. Значительная часть этого так называемого трафика «Googlebot» на самом деле может исходить от сторонних сборщиков данных.
В последней части руководства Google «SEO Made Easy» он подчеркнул важный момент: не каждый объект, претендующий на роль Googlebot, на самом деле представляет собой Googlebot.
Почему это важно?
Вот как отличить законный трафик Googlebot от фальшивой активности сканера.
Методы проверки робота Googlebot
Как опытный веб-мастер, я понял, что выявление подлинного трафика Googlebot от фиктивных сканеров требует скорее наблюдения за общими тенденциями трафика, чем сосредоточения внимания на конкретных шаблонах запросов.
Реальный трафик Googlebot обычно имеет постоянную частоту, время и поведение запросов.
Если вы подозреваете фальшивую активность Googlebot, Сплитт советует использовать следующие инструменты Google для ее проверки:
Инструмент проверки URL-адресов (Search Console)
- Обнаружение определенного содержания в отрендеренном HTML-коде подтверждает, что робот Googlebot может успешно получить доступ к странице.
- Обеспечивает возможность живого тестирования для проверки текущего статуса доступа.
Тест расширенных результатов
- Действует как альтернативный метод проверки доступа робота Googlebot.
- Показывает, как робот Googlebot отображает страницу.
- Можно использовать даже без доступа к Search Console.
Отчет о статистике сканирования
- Показывает подробные данные ответов сервера, в частности, по подтвержденным запросам робота Googlebot.
- Помогает выявить закономерности в законном поведении роботов Googlebot.
Важным моментом, который следует иметь в виду, является то, что эти инструменты показывают только то, что на самом деле воспринимает и выполняет робот Googlebot, но они не обнаруживают явным образом имитаторов в журналах вашего сервера.
Чтобы полностью защититься от фальшивых роботов Google, вам необходимо:
- Сравните журналы сервера с официальными диапазонами IP-адресов Google.
- Внедрить проверку обратного поиска DNS
- Используйте приведенные выше инструменты, чтобы определить базовое законное поведение робота Googlebot.
Мониторинг ответов сервера
Сплитт также подчеркнул важность мониторинга ответов сервера на запросы сканирования, в частности:
- Ошибки 500-й серии
- Получить ошибки
- Таймауты
- проблемы с DNS
Для больших веб-сайтов с большим количеством страниц эти проблемы могут существенно повлиять на скорость их индексации и их видимость при поиске.
Сплитт говорит:
Следите за ответами, которые ваш сервер отправляет роботу Googlebot, особенно если в них много ответов 500, ошибки выборки, тайм-ауты, проблемы с DNS и другие подобные проблемы.
Он отметил, что, хотя некоторые ошибки носят временный характер, постоянные проблемы «возможно, требуют дальнейшего изучения».
«Сплитт предложил изучать журналы сервера как средство более сложной диагностики. Однако он признал, что это не простая и не рутинная задача.
Тем не менее, он подчеркнул его важность, указав, что «анализ журналов вашего веб-сервера… предоставляет мощное средство для получения более полного представления о действиях, происходящих на вашем сервере.
Потенциальное воздействие
Помимо безопасности, фальшивый трафик Googlebot может повлиять на производительность веб-сайта и усилия по SEO.
Сплитт отметил, что тот факт, что веб-сайт доступен в браузере, не означает, что робот Googlebot может легко получить к нему доступ. Он упомянул несколько возможных препятствий, таких как:
- Ограничения файла robots.txt
- Конфигурации брандмауэра
- Системы защиты ботов
- Проблемы с сетевой маршрутизацией
Заглядывая в будущее
Трафик, симулируемый фальшивыми роботами Googlebot, может оказаться надоедливым, однако Сплитт советует не слишком переживать из-за редких случаев.
Если фиктивные действия веб-сканера превращаются в проблему или потребляют чрезмерные ресурсы сервера, вы можете реализовать такие решения, как:
Подробнее об этой проблеме смотрите в полном видео ниже:
Смотрите также
- Обновление ядра Google за декабрь 2024 г. уже доступно — что мы видим
- Акции KZOS. Казаньоргсинтез: прогноз акций.
- Google Ads разрешит рекламу курьеров по фэнтези-спорту и лотереям во многих штатах
- Google запускает новый вид «24 часа» в консоли поиска
- Будет ли в Once Human кроссплатформенная игра и кроссплатформенный прогресс?
- Фасетная навигация: лучшие практики для SEO
- OpenAI выпускает поиск ChatGPT: цитаты, элементы управления Robots.txt и многое другое
- 10 стратегических идей SEO и тактических советов на 2025 год и последующий период
- Акции BELU. Novabev Group: прогноз акций.
- SEO предприятия в 2025 году: ключевые тенденции и стратегии, чтобы оставаться впереди
2024-12-16 20:38