Google показывает, как заблокировать ботов и повысить производительность сайта

Google показывает, как заблокировать ботов и повысить производительность сайта

Как опытный веб-мастер с более чем десятилетним практическим опытом за плечами, я могу с уверенностью сказать, что иметь дело с вредоносными ботами похоже на игру в «Ударь крота»: как только вы думаете, что у вас есть все, появляется еще один. где-то еще.


Проще говоря, Мартин Сплитт из Google ответил на вопрос о вредоносных ботах, влияющих на скорость веб-сайта, и предложил совет, который должен принять каждый SEO-специалист и владелец сайта.

Вредоносные боты — проблема SEO

Во многих аудитах сайтов, проводимых SEO-специалистами, часто не учитываются вопросы безопасности и бот-трафик, поскольку эти аспекты не всегда хорошо понимаются цифровыми маркетологами. Однако важно понимать, что события безопасности могут существенно повлиять на производительность веб-сайта и стать причиной плохого сканирования сайта. Улучшение основных веб-жизненно важных функций не повлияет на повышение производительности сайта, если слабая политика безопасности способствует снижению производительности.

Каждый сайт в Интернете может подвергаться атакам, а чрезмерное сканирование может привести к «внутренней ошибке сервера 500», что означает, что сайт не может доставить свои веб-страницы, что затрудняет доступ Google к этим страницам.

Как защититься от атак ботов

Человек, ищущий совета, искал рекомендации Google по стратегиям противодействия наплыву программ веб-скраперов, которые влияли на эффективность их сервера.

«В настоящее время мы сталкиваемся с серьезными трудностями на нашем сайте из-за того, что автоматическое программное обеспечение интенсивно очищает его. Это вызывает проблемы с производительностью, чрезмерное использование сервера и потенциально угрожает безопасности наших данных. Несмотря на то, что мы заблокировали IP-адреса и приняли превентивные меры. , проблема не решена. Какие еще шаги мы можем предпринять, чтобы исправить эту ситуацию?»

Похоже, что это может быть случай распределенного отказа в обслуживании (DDoS), учитывая, насколько сильно сканирование влияет на производительность системы.

Основываясь на своем многолетнем опыте работы с сетями, я бы рекомендовал попытаться определить владельца сети, генерирующей трафик, выразить благодарность хостинг-провайдеру, а затем подать отчет о нарушении. Обычно для этой цели можно использовать информацию WHOIS. Этот шаг имеет решающее значение для поддержания чистой и безопасной онлайн-среды для всех участников. За время своей работы я понял, что открытое общение с другими сетевыми администраторами имеет важное значение для быстрого и эффективного решения потенциальных проблем.

Вместо этого сети доставки контента (CDN) часто предлагают возможности для выявления и предотвращения трафика ботов, что может быть полезно, поскольку они отвлекают трафик от вашего сервера и распределяют его равномерно. Это приводит к снижению нагрузки на ваш сервер, что делает ситуацию благоприятной. Примечательно, что CDN обычно способны распознавать законных ботов поисковых систем и не препятствуют им. Однако, если у вас есть серьезные опасения по этому поводу, возможно, будет разумно узнать об их политике обработки трафика ботов, прежде чем внедрять их услуги.

Сработает ли совет Google?

Целесообразно определить облачный сервис или центр обработки данных, в котором работают вредоносные боты, но во многих случаях этот подход оказывается неэффективным.

Три причины, почему обращение к поставщикам ресурсов не сработает

1. Многие боты скрыты

2. Боты меняют IP-адреса

Некоторые боты адаптируются к блокировке IP-адресов, быстро переходя в новую сеть, что позволяет им оперативно продолжить атаку. Если атака будет обнаружена на немецком сервере, а затем заблокирована, она может перейти на поставщика сетевых услуг в Азии.

3. Неэффективное использование времени

Вместо того, чтобы управлять ботнетами, состоящими из бесчисленного количества захваченных компьютеров по всему миру, возможно ли для вас своевременно связаться с каждым интернет-провайдером (ISP)?

С моей точки зрения как опытного веб-мастера, я обнаружил, что привлечение поставщиков инфраструктуры для остановки ботов, влияющих на производительность сайта, не является эффективной стратегией. По сути, это скорее пустая трата драгоценного времени, чем решение, практически не дающее ощутимых результатов.

Используйте WAF для блокировки ботов

Сеть доставки контента (CDN) оснащена брандмауэром веб-приложений (WAF), автоматически защищающим от вредоносных ботов. Использование CDN, как предлагает Мартин, действительно разумно, учитывая его дополнительную функцию повышения скорости и эффективности веб-сайта.

Другой подход, который Мартин не обсуждал, — это использование плагина безопасности WordPress, такого как Wordfence, который включает в себя брандмауэр веб-приложений (WAF). Этот WAF работает автономно, отключая ботов в зависимости от их действий. Например, если бот чрезмерно запрашивает несколько страниц, система автоматически применяет временную блокировку IP-адреса. Если бот переключится на другой IP-адрес, он распознает повторяющееся поведение сканирования и наложит еще одну блокировку.

Еще одно решение, которое следует рассмотреть, — это платформа SaaS, такая как Sucuri, которая предлагает WAF и CDN для повышения производительности. И Wordfence, и Sucuri являются надежными поставщиками безопасности WordPress и имеют ограниченные, но эффективные бесплатные версии.

Послушайте вопросы и ответы на отметке 6:36 подкаста Google SEO Office Hours:

Смотрите также

2024-08-25 21:38