Полный список краулеров для AI User-Agents [Декабрь 2025]

от

Для SEO-специалистов ключевым моментом является видимость для ИИ, и всё начинается с управления тем, как ИИ-боты получают доступ к вашему веб-сайту. Если эти боты не могут получить доступ к вашим страницам, ваш сайт не будет отображаться в результатах поиска на основе ИИ.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Однако, если программы искусственного интеллекта, которые автоматически просматривают интернет, не будут тщательно контролироваться, они могут перегружать серверы слишком большим количеством запросов, что приведёт к сбоям веб-сайтов и удивительно высоким затратам на хостинг.

Как человек, который годами управлял веб-сайтами, могу сказать вам, что строки user-agent являются ключевыми для контроля над тем, какие AI боты сканируют ваш сайт. Но честно говоря, официальные списки, которые вы находите в интернете, часто сильно устарели или просто неполные. Именно поэтому я собрал список, основанный на том, что я *на самом деле* вижу в логах своего сервера – реальную справку, на которую вы можете положиться.

Мы проверяем каждый user-agent по официальным спискам IP-адресов, когда это возможно, чтобы убедиться в правильности нашей информации. Мы будем поддерживать эти списки в актуальном состоянии, чтобы выявлять новых веб-краулеров и учитывать изменения в существующих.

Полный проверенный список AI-краулеров (декабрь 2025 г.)

Строки user-agent, указанные выше, были проверены по логам сервера Search Engine Journal.

Популярные AI-агенты-краулеры с неузнаваемым User Agent

Мы обнаружили, что следующие не представились:

  • you.com.
  • ChatGPT’s agent Operator.
  • Чат Copilot от Bing.
  • Grok.
  • DeepSeek.

Единственный способ остановить эту автоматизированную программу от просмотра веб-страниц — заблокировать её конкретный IP-адрес.

Чтобы собрать информацию, мы создали специальную веб-страницу и использовали её функцию чата, чтобы привлечь you.com к её посещению. Это позволило нам найти запись о посещении – включая IP-адрес – в наших серверных логах. Снимок экрана прилагается ниже.

Что насчет агентивных AI-браузеров?

Браузеры с искусственным интеллектом, такие как Comet и Atlas от ChatGPT, не идентифицируют себя как ИИ при доступе к веб-сайтам. Это делает невозможным отделение их запросов от обычных посещений пользователей в логах веб-сайтов и не позволяет веб-сайтам адаптировать взаимодействие специально для ИИ-браузеров.

Это расстраивает специалистов по SEO, поскольку мониторинг того, как браузеры на базе искусственного интеллекта взаимодействуют с веб-сайтами, имеет решающее значение для понимания поведения пользователей и создания точных отчетов.

Как проверить, что сканирует ваш сервер

Как SEO-эксперт, я часто говорю клиентам, что проверка журналов сервера имеет решающее значение для понимания того, как Google видит их сайт. К счастью, многие хостинг-провайдеры теперь предлагают простой, удобный интерфейс для доступа к этим журналам, что значительно упрощает диагностику проблем и улучшение производительности. Доступность этой функции действительно зависит от вашего конкретного хостинг-плана, хотя.

Если ваш хостинг-провайдер не предоставляет эту информацию, вы можете получить доступ к файлам журналов сервера – обычно расположенным по адресу `/var/log/apache2/access.log` на Linux-серверах – через FTP. В качестве альтернативы, вы можете попросить вашу службу поддержки сервера отправить вам журналы.

После получения файла лога у вас есть несколько вариантов просмотра данных. Если это CSV-файл, вы можете использовать Google Sheets. Другой вариант — анализатор логов Screaming Frog. Или, для небольших файлов (менее 100 МБ), вы можете попробовать использовать Gemini AI для его анализа.

Как отличить легитимных ботов от фейковых

Вредоносное ПО может маскироваться под реального пользователя, чтобы обойти защиту веб-сайтов и украсть информацию. Например, кто-то может сделать так, чтобы казалось, что ClaudeBot запрашивает данные напрямую с вашего компьютера. Это отобразится в записях вашего веб-сайта как доступ ClaudeBot к вашему сайту.

curl -A 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)' https://example.com

Проверка запросов может снизить нагрузку на сервер и предотвратить несанкционированное копирование контента. Эффективный способ сделать это — проверка IP-адреса человека, отправляющего запрос.

Проверяйте каждый входящий IP-адрес по списку разрешённых IP-адресов. Если совпадение найдено, разрешите запрос. В противном случае, заблокируйте его.

Брандмауэры могут защитить ваши системы, пропуская трафик с доверенных IP-адресов, блокируя любые другие запросы, которые выдают себя за AI ботов.

Например, с WordPress вы можете использовать бесплатный плагин Wordfence для одобрения доверенных IP-адресов из официальных источников (как те, что упоминались ранее), а также создавать собственные пользовательские правила для блокировки нежелательного трафика.

Использование разрешающего списка — более эффективный подход, поскольку он позволяет подлинным поисковым роботам получать доступ к вашему сайту, блокируя при этом поддельные запросы, исходящие с незнакомых IP-адресов.

Имейте в виду, что IP-адрес можно подделать. Если кто-то подделывает как свой IP-адрес, так и user agent, наши методы блокировки не будут эффективны.

Заключение: Сохраняйте контроль над AI-краулерами для надежной AI-видимости.

Сейчас распространены веб-краулеры на основе искусственного интеллекта, и боты, перечисленные ниже, представляют собой основные платформы искусственного интеллекта, которые в настоящее время исследуют и индексируют веб-сайты. Ожидается, что этот список будет расширяться по мере развития технологий.

Регулярно просматривайте журналы вашего сервера, чтобы понять, кто посещает ваш веб-сайт. Это помогает убедиться, что вы случайно не блокируете ботов из AI поисковых систем, что может навредить вашему бизнесу, если AI видимость важна. Если вы *не* хотите, чтобы AI боты получали доступ к вашему сайту, вы можете заблокировать их, добавив инструкции в ваш файл robots.txt, специально ориентируясь на их имя ‘user-agent’.

Этот список AI-краулеров будет регулярно обновляться новыми инструментами и изменениями в существующих. Мы рекомендуем вам сохранить эту страницу или часто проверять её, чтобы быть в курсе.

Смотрите также

2025-12-05 15:40