Cloudflare удаляет и блокирует Perplexity от сканирования веб-сайтов

от

Cloudflare принял меры по удалению проверенного бота Perplexity из своей системы и теперь препятствует доступу этого бота и всех его скрытых ботов к веб-сайтам. Это решение было принято после многочисленных жалоб пользователей на игнорирование руководством Perplexity правил robots.txt, что впоследствии подтвердило использование ими обманных методов для принудительного доступа своих ботов на сайты без разрешения.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Программа подтверждения ботов Cloudflare

Cloudflare использует инструмент под названием Verified Bots, который предоставляет одобренным ботам доступ к обходу сайтов, защищенных Cloudflare. Чтобы эти боты сохранили свой особый доступ, им необходимо соблюдать определенные правила, такие как следование указаниям файла robots.txt, в системе Cloudflare.

Было обнаружено, что Perplexity нарушает правила Cloudflare, которые требуют от ботов соблюдения директив robots.txt и избегания использования IP-адресов, не предназначенных для поискового сервиса.

Cloudflare обвиняет Perplexity в использовании скрытного сканирования

Cloudflare обнаружила поведение, указывающее на интенсивную автоматическую веб-скрейпинг, направленную на обход правил robots.txt.

Поведение скрытного перемещения: вращающиеся IP-адреса

Один из способов перефразирования в простой и понятной манере может быть таким: Perplexity обходит препятствия, вращая адреса Интернет-протокола (IP), изменяя номера автономных систем (ASNs) и притворяясь различными веб-браузерами, такими как Google Chrome.

Проще говоря, Perplexity поддерживает утверждённый список интернет-протоколов (IP) адресов, которые присваиваются конкретным автономным системам (AS). Сканирование с этих IP-адресов помогает отличить настоящую веб-активность сканирования от Perplexity от другой.

Простыми словами, номер автономной системы (ASN) — это специальный идентификатор в интернет-инфраструктуре, который присваивает уникальный номер набору IP-адресов. Например, когда вы подключаетесь к интернету через интернет-провайдера (ISP), ваше соединение использует IP-адрес, принадлежащий ASN, выделенному этому конкретному провайдеру.

В попытке обойти ограничения, когда доступ был заблокирован, Perplexity изменила свой IP-адрес на неофициальные, не входящие в официальный список IP-адресов Perplexity. Это включало совершенно другие IP-адреса, связанные с отличным номером автономной системы (ASN).

Поведение скрытного переползания: подделанный пользовательский агент

Еще одно скрытое действие, обнаруженное компанией Cloudflare, заключалось в том, что Perplexity изменил свою браузерную идентификацию для обхода усилий по блокировке своего инструмента веб-сканирования через файл robots.txt.

  • ПерплекситиБот
  • Пользователь Perplexity

Как специалист по цифровому маркетингу, я заметил, что Perplexity, пытаясь обойти блокировки пользовательских агентов, замаскировался под браузер Chrome 124, работающий на системе Mac. Эта тактика известна как спуфинг – когда недобросовестные краулеры притворяются законными браузерами.

Это строка пользовательского агента для веб-браузера: «Macintosh computer running macOS 10.15.7 с движком WebKit от Apple (похож на Gecco), версия Chrome 124 и Safari версии 537.36.»

Cloudflare удалил Perplexity из списка

Как опытный эксперт по SEO, я был свидетелем эволюции интернета в течение последних трех десятилетий. Одной из неизменных констант является фундамент доверия, на котором он зиждется. Боты-краулеры, будучи неотъемлемой частью веба, должны быть прозрачными, иметь определенную цель, выполнять конкретные задачи и прежде всего следовать рекомендациям и предпочтениям веб-сайта. Изучая поведение Perplexity, я заметил, что оно не соответствует нашим предпочитаемым практикам. В результате мы удалили Perplexity из списка проверенных ботов и внедрили правила, использующие эвристики для предотвращения скрытой краулинговой деятельности.

Выводы

  • Нарушение политики Cloudflare в отношении проверенных ботов
    Perplexity нарушила политику Cloudflare в отношении проверенных ботов, которая предоставляет доступ к сканированию доверенным ботам, соблюдающим здравые правила, такие как соблюдение протокола robots.txt.
  • Перплексити использовала скрытые тактические методы сканирования, используя незадекларированные IP-адреса из разных ASNs и поддельные агенты пользователей для обхода ограничений после блокировки доступа к контенту.
  • Подмена пользовательского агента (UA spoofing) позволяла боту Perplexity маскироваться под обычного пользователя, представляясь как браузер Chrome на операционной системе macOS в попытках обойти фильтры, которые блокируют известные поисковые агенты.
  • Ответ Cloudflare: Cloudflare исключил Perplexity из списка проверенных ботов и внедрил новые правила блокировки, чтобы предотвратить скрытое сканирование.
  • Влияние SEO на пользователей Cloudflare может захотеть проверить, блокирует ли Cloudflare обход сайтов через Perplexity, и, если да, включить обход с помощью их панели управления в Cloudflare.

Cloudflare исключила Perplexity из списка проверенных ботов из-за неоднократных нарушений политики. Вместо соблюдения правил, изложенных в robots.txt, Perplexity манипулировала своей идентификацией, переключая IP-адреса, изменяя номера автономной системы (ASNs) и маскируясь под обычный веб-браузер. Такое обманчивое поведение было направлено на уклонение от обнаружения. Действие Cloudflare по блокировке бота демонстрирует твердую позицию против агрессивного использования ботов со стороны Perplexity.

Смотрите также

2025-08-04 23:40