Cloudflare Report: Googlebot Tops AI Crawler Traffic

от

Cloudflare опубликовала свой последний ежегодный отчёт, подробно описывающий тенденции в интернете, обновления безопасности и поведение AI ботов в сети на протяжении 2025 года.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Этот отчёт анализирует информацию, собранную из обширной сети Cloudflare, которая охватывает более 330 городов в 125 странах и обрабатывает в среднем 81 миллион веб-запросов каждую секунду.

Как человек, который пристально следит за веб-краулерами на протяжении многих лет, последние данные весьма показательны. Googlebot *намного* опережает всех, когда речь заходит о количестве просматриваемых страниц. Однако это неудивительно. Google использует сканирование для двух основных целей: построения своего поискового индекса, а также для предоставления данных своим AI-моделям. Поэтому ему нужно сканировать гораздо больше, чем другим ботам, которые сосредоточены только на одной из этих задач.

Googlebot Top AI Crawler Traffic

В октябре и ноябре 2025 года Cloudflare изучил запросы, сделанные основными веб-краулерами ИИ при доступе к HTML-контенту. Их анализ показал, что Googlebot успешно получил доступ к 11,6% уникальных веб-страниц, которые они исследовали.

Это представляет собой более чем в три раза больше страниц, просмотренных GPTBot от OpenAI (3,6%). Это также почти в 200 раз больше, чем у PerplexityBot, который просканировал всего 0,06% всех страниц.

Bingbot занял третье место с результатом 2,6%, за ним последовали Meta-ExternalAgent и ClaudeBot с 2,4% каждый.

Отчёт подчёркивает проблему для владельцев веб-сайтов: Googlebot используется как для добавления веб-сайтов в результаты поиска, так и для улучшения AI-моделей. Если владельцы веб-сайтов заблокируют Googlebot доступ к своему сайту для AI-обучения, их сайт может быть сложнее найти в Google.

Cloudflare написала:

Поскольку Google использует своего веб-краулер, Googlebot, как для индексации веб-сайтов в результатах поиска, так и для обучения своего ИИ, владельцам веб-сайтов сложно легко заблокировать Googlebot от использования их контента для обучения ИИ, не нанеся при этом потенциального вреда видимости их сайта в поиске Google.

ИИ-боты теперь составляют 4,2% от HTML-запросов.

В 2025 году боты на основе искусственного интеллекта (за исключением Googlebot) составляли в среднем 4,2% от всех запросов к веб-сайтам, обработанных Cloudflare. Этот процент варьировался в течение года, достигая минимума в 2,4% в начале апреля и максимума в 6,4% в конце июня.

Googlebot в одиночку обеспечил 4,5% всех HTML-запросов, что немного больше, чем все остальные AI-боты вместе взятые.

В начале 2025 года, больше веб-трафика приходилось на автоматизированных ботов, чем на реальных людей. Однако, к сентябрю были дни, когда трафик генерировали больше пользователей-людей. К 2 декабря люди составляли 47% всех веб-запросов, немного превзойдя 44%, генерируемые ботами.

Соотношение Crawl-to-Refer показывает широкие вариации.

На протяжении второй половины года Anthropic постоянно демонстрировала наилучшую производительность среди AI-платформ, с коэффициентами от примерно 25 000:1 до 100 000:1 после первоначального периода колебаний.

В марте у OpenAI было соотношение до 3700:1. Однако, Perplexity постоянно демонстрировала самое низкое соотношение среди основных AI-платформ, обычно оставаясь ниже 400:1, и даже опускаясь ниже 200:1 с сентября и далее.

В отличие от этого, Google обычно просматривал от 3 до 30 страниц на каждую страницу, которую он включал в результаты поиска в течение года.

Рост пользовательской активности при сканировании увеличился более чем в 20 раз.

Искусственный интеллект не всегда используется для самосовершенствования. Иногда боты просматривают веб-сайты, чтобы напрямую отвечать на вопросы, которые люди задают чат-ботам – это называется ‘user action’ crawling.

Как человек, который уже много лет наблюдает за веб-трафиком, могу сказать вам, что одна категория действительно взорвалась в 2025 году. Мы увидели огромный всплеск частоты, с которой боты обращались к нашим страницам – более чем в пятнадцать раз больше активности с января по декабрь! Особенно интересно было то, что этот рост соответствовал трафику, поступающему от бота ChatGPT-User от OpenAI, что, по сути, означает, что страницы посещались всякий раз, когда кто-то задавал вопрос ChatGPT. Очевидно, что люди использовали ChatGPT для поиска информации, а затем переходили на наш сайт.

Мы заметили чёткую закономерность в частоте использования платформы каждую неделю, начиная с середины февраля. Вероятно, это означает, что больше студентов и сотрудников использовали её для учёбы и работы. Использование уменьшилось в летние месяцы – с июня по август – по мере закрытия школ на каникулы и ухода людей в отпуск.

AI-боты наиболее часто блокируются в файле robots.txt

Cloudflare изучил файлы robots.txt почти 3900 популярных веб-сайтов. Они обнаружили, что наиболее распространенный тип веб-трафика, блокируемый этими файлами, исходил от ботов на базе искусственного интеллекта.

GPTBot, ClaudeBot и CCBot чаще всего блокировали доступ ко всем своим веб-сайтам, используя метод, который сообщает поисковым роботам полностью избегать их.

Как цифровой маркетолог, я анализировал, как Googlebot и Bingbot обрабатывают robots.txt. Что я заметил, так это то, что они обычно предпочитают *частичную* блокировку – то есть они будут блокировать определенные области, такие как страницы входа или разделы без фактического контента – вместо блокировки всего сайта. Это более тонкий подход, чем полное отключение.

Гражданское общество стало наиболее подвергшимся атакам сектором.

В последнее время группы, ориентированные на общественные и социальные вопросы — такие как религиозные организации, благотворительные организации и библиотеки — стали основной целью кибератак. Это первый случай, когда организации такого типа подвергаются атакам чаще, чем другие.

В глобальном масштабе в этом секторе наблюдался значительный рост трафика кибератак, увеличившись с менее чем 2% в начале года до 4,4%. Активность атак резко возросла в конце марта, превысив 17%, и достигла пика в 23,2% в начале июля.

Многие из этих организаций защищены проектом Galileo от Cloudflare.

В 2024 году веб-сайты, связанные с азартными играми и играми, были наиболее частыми целями кибератак, но количество атак на эту отрасль значительно снизилось, упав до 2,6% – менее чем вдвое по сравнению с предыдущими показателями.

Другие ключевые выводы

Отчёт Cloudflare также раскрыл больше деталей о трафике веб-сайтов, мерах безопасности и интернет-соединениях.

Интернет-трафик во всем мире увеличился на 19% по сравнению с предыдущим годом. Хотя рост был стабильным до середины апреля, он значительно ускорился после середины августа.

Cloudflare теперь защищает более половины всех пользователей интернета — 52% — с помощью шифрования, разработанного для обеспечения безопасности даже против будущих квантовых компьютеров. Это значительный рост по сравнению с 29%, которые были защищены в начале года.

ChatGPT продолжает оставаться ведущим сервисом генеративного ИИ во всем мире. Несколько новых опций — Google Gemini, Windsurf AI, Grok/xAI и DeepSeek — недавно присоединились к топ-10.

Трафик Starlink удвоился в 2025 году, а сервис был запущен более чем в 20 новых странах.

Почти половина из 174 значительных сбоев в работе интернета по всему миру произошли в результате преднамеренного отключения доступа правительствами. В то время как отключения, вызванные повреждением кабелей, уменьшились примерно на 50%, те, которые были вызваны перебоями в электроснабжении, на самом деле увеличились, удвоившись по количеству.

Европейские страны лидируют по скорости и качеству Интернета. Испания обладает самым быстрым Интернетом в целом, со средней скоростью загрузки более 300 Мбит/с.

Почему это важно

Данные, полученные с помощью AI-краулера, должны повлиять на ваше представление о доступе ботов и трафике.

У Google есть единый краулер, выполняющий две функции, что даёт им преимущество. В то время как владельцы веб-сайтов могут блокировать AI краулеров конкурентов и при этом разрешать Google индексировать свой сайт для результатов поиска, они не могут помешать Google использовать их контент для обучения своих AI моделей. Google объединяет индексирование поиска и обучение AI в один процесс.

Издатели давно знают, что AI-платформы часто посещают их сайты, но не направляют на них много трафика в ответ. Данные теперь подтверждают это, показывая значительную разницу между тем, как часто эти платформы сканируют веб-сайты, и тем, как часто они фактически направляют пользователей обратно на них. Эта разница довольно сильно варьируется в зависимости от конкретной AI-платформы.

Если вы работаете с некоммерческими организациями или группами по защите прав, важно обращать внимание на данные об атаках на гражданское общество. В настоящее время эти организации подвергаются нападкам чаще, чем любые другие.

Заглядывая в будущее

Cloudflare предполагает, что то, как мы измеряем ИИ, изменится по мере развития технологии. Они включили новые данные об ИИ в этот год в отчёт, которые не были доступны в предыдущие годы.

По мере развития поисковых систем на основе ИИ может измениться баланс между тем, как часто они сканируют веб-сайты и как часто направляют пользователей на них. Мы уже видели это на примере ChatGPT от OpenAI — по мере того, как всё больше людей используют его для поиска, количество веб-сайтов, на которые он напрямую ссылается, уменьшается.

Когда речь заходит о файлах robots.txt, большинство веб-издателей частично блокируют крупные поисковые системы, такие как Google, но полностью блокируют ботов, использующих только искусственный интеллект. Эти текущие настройки служат отправной точкой для мониторинга того, как издатели будут менять свою политику в течение 2026 года.

Смотрите также

2025-12-15 17:41