ChatGPT Теперь Сканирует в 3.6 Раза Больше, чем Googlebot: Что Показывают 24 Миллиона Запросов

от

Этот пост был спонсирован Alli AI. Мнения, выраженные в этой статье, принадлежат спонсору.

Распространённое мнение заключается в том, что Googlebot является основным веб-краулером, посещающим большинство веб-сайтов. Однако это больше не так.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

В течение 55-дневного периода с января по март 2026 года мы изучили более 24 миллионов прокси-запросов с более чем 78 000 страниц на 69 веб-сайтах, используя платформу Alli AI. Наши данные показали, что краулер пользователей ChatGPT, разработанный OpenAI, сгенерировал в 3,6 раза больше запросов, чем Googlebot. Эта цифра не включает запросы от GPTBot, который является отдельным краулером OpenAI, используемым для обучения.

Вот как мы собрали данные: Мы идентифицировали веб-краулеров, проверяя их строки user agent и подтверждая их по известным IP-адресам. Мы отслеживали запросы к веб-сайтам на уровне прокси/CDN. Наши данные поступают с 69 веб-сайтов, в основном построенных на WordPress, и представляют собой широкий спектр различных отраслей и размеров. Вы можете найти полное объяснение наших методов в конце этого документа.

Вывод 1: AI Crawlers сейчас опережают Google в 3.6 раза, и ChatGPT лидирует в этой группе.

Когда мы ранжировали каждого идентифицированного краулера по объему запросов, результаты были однозначными:

Ранг Crawler Запросы Категория
1 ChatGPT-User (OpenAI) 133 361 AI Поиск
2 Googlebot 37 426 Традиционный поиск
3 Amazonbot 35 728 AI / Электронная коммерция
4 Bingbot 18 280 Традиционный поиск
5 ClaudeBot (Anthropic) 13 918 AI Поиск
6 MetaBot 10,756 Социальные
7 GPTBot (OpenAI) 8864 Обучение ИИ
8 Applebot 6794 AI Поиск
9 Bytespider (ByteDance) 6,644 Обучение ИИ
10 PerplexityBot 5,731 AI Поиск

ChatGPT-User сделал больше запросов, чем Googlebot, Amazonbot и Bingbot вместе.

Искусственный интеллект, управляемые боты, такие как ChatGPT-User, GPTBot и другие, учли 213 477 запросов, что значительно больше, чем 59 353 запроса от традиционных поисковых ботов, таких как Googlebot и Bingbot. Это означает, что AI боты сейчас делают в 3,6 раза больше запросов, чем традиционные поисковые боты в нашей сети.

Вывод 2: OpenAI использует 2 краулера (и большинство сайтов не знают разницы)

OpenAI использует два различных краулера с совершенно разными целями.

ChatGPT-User — это веб-краулер, который ищет в интернете актуальную информацию, когда люди задают вопросы ChatGPT. Этот процесс определяет, будет ли контент вашего веб-сайта включен в ответы ChatGPT.

GPTBot — это веб-краулер, используемый для обучения ИИ-моделей OpenAI. В то время как многие веб-сайты блокируют GPTBot с помощью файла с именем robots.txt, они иногда не блокируют ChatGPT-User — или блокируют один, но не другой — не осознавая, что это разные инструменты с разными эффектами.

В совокупности, краулеры OpenAI сделали 142 225 запросов: в 3.8 раза больше, чем у Googlebot.

Директивы robots.txt разделены:

User-agent: GPTBot      # Training crawler — feeds OpenAI's models
User-agent: ChatGPT-User # Retrieval crawler — fetches pages for ChatGPT answers

Вывод 3: AI Crawlers работают быстрее и надёжнее, но их объём увеличивается.

AI-боты значительно эффективнее в обработке запросов:

Crawler Среднее время ответа 200 Успешных Результатов
PerplexityBot 8мс 100%
ChatGPT-Пользователь 11мс 99,99%
GPTBot 12мс 99,9%
ClaudeBot 21мс 99,9%
Bingbot 42мс 98,4%
Googlebot 84ms 96,3%

Есть две основные причины этого. Во-первых, поисковые роботы на основе ИИ сосредоточены на поиске конкретных страниц, которые напрямую отвечают на вопрос пользователя, а не на исследовании всего веб-сайта. Они быстро находят то, что им нужно, и переходят к следующему. Во-вторых, хотя все наши роботы получают предварительно отрисованный контент, Googlebot исследует гораздо более широкий спектр страниц – включая старые из карт сайта и свои собственные записи. Этот более широкий поиск создает задержки из-за перенаправлений и обработки ошибок, которые более целенаправленные ИИ-роботы не испытывают.

Однако есть компромисс. Хотя каждый отдельный запрос к ChatGPT выполняется быстро и не потребляет много серверной мощности, огромное количество запросов в сумме создает значительную общую нагрузку. Даже при всего лишь 11 миллисекундах на запрос, с более чем 133 000 запросами, все равно стоит денег работа серверов – это просто другая структура затрат, чем у Googlebot, который делает меньше, но более требовательных запросов.

Вывод 4: Googlebot видит другую (худшую) версию вашего сайта.

Googlebot успешно сканирует веб-сайты в 96,3% случаев, в то время как AI-боты достигают почти идеальных результатов, что подчеркивает ключевое различие в том, как они работают.

Googlebot столкнулся с некоторыми проблемами при доступе к веб-сайтам, при этом 3% его запросов привели либо к заблокированным страницам (624 ответа), либо к страницам, которые не удалось найти (480 ошибок). В отличие от этого, ChatGPT-User успешно получил доступ практически ко всему (99,99%), а PerplexityBot показал 100% успешность.

Почему разрыв? Наиболее вероятное объяснение — возраст индекса и поведение сканирования, а не неправильная конфигурация сайта.

Как SEO-эксперт, я часто получаю вопросы о том, почему Googlebot продолжает обходить страницы, которые уже удалены. Дело в том, что Google построил *огромный* индекс за многие годы, и он постоянно повторно посещает страницы, которые уже знает – даже если эти страницы теперь возвращают ошибки, такие как 404 (удаленные страницы) или 403 (страницы, к которым он не может получить доступ). Это совершенно нормально для поисковой системы, работающей в таких огромных масштабах, но это означает, что значительная часть запросов Googlebot приходится на страницы, которых больше не существует. Это просто способ поддержания его индекса!

Инструменты поиска на базе ИИ, такие как ChatGPT, работают иначе. Они находят информацию, отвечая на то, что пользователи активно ищут, сосредотачиваясь на текущем, связанном контенте. Этот подход дает им значительное преимущество, приводя к высокоточным результатам.

Отраслевые отчеты подтверждают, что сканирование с помощью ИИ увеличилось в 15 раз в 2025 году.

Наши результаты соответствуют тому, что происходит во всей технологической индустрии. Cloudflare обнаружила огромное увеличение запросов, связанных с ChatGPT – более чем на 2800% по сравнению с предыдущим годом – и увидела более чем 15-кратный рост веб-сканирования на основе ИИ. Akamai определила, что OpenAI является крупнейшим оператором AI-ботов, обрабатывая более 42% всех запросов. Кроме того, исследования Vercel показали, что основные AI-сканеры в настоящее время не могут обрабатывать JavaScript.

Мы видим доказательства того, что этот сдвиг начинает происходить для активов, которые позволяют AI ботам получать доступ к их данным.

Ваша новая SEO-стратегия: Как провести аудит, очистку и оптимизацию для AI-краулеров

1. Проверьте свой файл robots.txt на наличие AI-краулеров уже сегодня.

Традиционно, файлы robots.txt создавались с упором на веб-краулер Google. Однако сегодня важно конкретно включать инструкции для более широкого спектра ботов, включая те, которые используются ChatGPT, GPT, Claude, Amazon, Perplexity, Apple, Bytespider и CCBot, а также расширенные краулеры Google.

Мы рекомендуем разрешить обоим типам веб-краулеров доступ к вашему сайту. ‘Краулеры извлечения’ (такие как от ChatGPT, Perplexity и Claude) и ‘обучающие краулеры’ (такие как GPTBot, CCBot и Bytespider) играют важную роль. Обучающие краулеры помогают моделям ИИ узнать о вашем бизнесе, продуктах и вашей специализации. Если вы заблокируете эти обучающие краулеры, ИИ может недостаточно узнать о вас, что снизит вероятность использования вашей информации при генерации ответов в будущем.

Если у вас есть конкретный контент, который необходимо исключить из обучения модели – например, частные исследования или материалы только для участников – используйте точные правила ‘Disallow’ для этих конкретных страниц вместо блокировки всего подряд.

2. Устраните устаревшие URL-адреса в Google Search Console

Наш анализ показывает, что Googlebot сталкивается с ошибками примерно в 3% случаев, в основном из-за ошибок ‘страница не найдена’ и ‘запрещено’. В отличие от него, краулеры на основе искусственного интеллекта почти всегда успешны. Эта разница, вероятно, связана с тем, что Googlebot повторно посещает старые веб-адреса, которые больше не активны. Однако эти неудачные попытки все равно потребляют ресурсы, которые можно было бы использовать для сканирования важных страниц.

Проверьте данные Google Search Console на наличие страниц, которые постоянно показывают ошибки ‘Не найдено’ (404) или ‘Запрещено’ (403). Если вы изменили какие-либо адреса страниц, создайте перенаправления, чтобы отправить посетителей на новые местоположения. Наконец, повторно отправьте карту сайта, чтобы помочь Google повторно просканировать ваш веб-сайт.

3. Рассматривайте доступность для AI-краулеров как отдельный SEO-канал

То, чтобы ваш контент отображался в ответах от ИИ-инструментов, таких как ChatGPT, Perplexity и Claude, становится ключевым способом привлечь внимание в интернете. Если эти инструменты не могут легко получить доступ к вашему контенту – особенно если ваш веб-сайт сильно зависит от JavaScript – вы не будете появляться в результатах поиска на основе ИИ.

Мы создали интерактивную панель мониторинга, которая показывает, как веб-краулеры на базе искусственного интеллекта взаимодействуют с реальным веб-сайтом. Она разбивает данные по тому, какие AI-платформы посещают сайт, как часто они это делают и какой процент от общего трафика они составляют. Вы можете ознакомиться с ней, чтобы увидеть практический пример этих данных.

4. Планируйте с учетом объема, а не только веса отдельных запросов.

AI-боты делают множество небольших и быстрых запросов к веб-сайтам. Например, один пользователь, ‘ChatGPT-User’, отправил более 133 000 запросов всего за 55 дней. В целом, общая нагрузка от этих AI-ботов, вероятно, сейчас выше, чем нагрузка от веб-краулера Google. Важно убедиться, что ваш веб-хостинг и сеть доставки контента (CDN) могут справиться с этим увеличением трафика. Наши данные показывают быстрое время отклика, поскольку Alli AI доставляет предварительно созданный, статический HTML напрямую из CDN, который может легко управлять большим объемом запросов, не перегружая ваш основной сервер.

Методология

Этот отчёт анализирует данные, полученные из более чем 24 миллионов HTTP-запросов через прокси. Эти запросы были обработаны платформой Alli AI во время обхода 69 различных веб-сайтов клиентов в период с 14 января по 9 марта 2026 года.

Мы идентифицировали веб-краулеров, проверяя их строки user agent и сравнивая используемые ими IP-адреса с публично указанными диапазонами. В частности, для краулеров OpenAI (GPTBot и ChatGPT-User) мы подтвердили, что запросы поступают с серверов OpenAI, проверяя их на соответствие официальным IP-адресам OpenAI. Это подтвердило, что все запросы GPTBot и почти все (99.76%) запросы ChatGPT-User были легитимными. Небольшое количество запросов, которые не соответствовали (0.24%) – те, которые использовали поддельные строки user agent – были отфильтрованы.

Вот несколько моментов, которые следует учитывать об этих данных: Они включают только информацию от клиентов Alli AI, которые согласились разрешить сканирование. Мы не отслеживали сканеров, которые не идентифицировали себя. Кроме того, измеренные времена ответа поступают с нашего прокси-сервера, а не с оригинального веб-сервера.

О компании Alli AI

Alli AI обеспечивает серверную отрисовку, повышая эффективность работы искусственного интеллекта и поисковых роботов. В этом отчете используются данные из нашей сети, чтобы предоставить специалистам по SEO информацию о том, как меняются веб-краулеры.

TRY ALLI AI

Кредиты изображений

Изображения в посте: Изображения от Alli AI. Используются с разрешения.

Смотрите также

2026-04-07 08:13