OpenAI Search Crawler Passes 55% Coverage In Hostinger Study

Hostinger изучил более 66 миллиардов запросов от автоматизированных ботов с более чем 5 миллионов веб-сайтов и обнаружил, что веб-краулеры на базе искусственного интеллекта ведут себя двумя различными способами.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Боты, используемые для обучения больших языковых моделей, все чаще блокируются от доступа к веб-сайтам. В то же время, AI-ассистенты – такие как те, что лежат в основе поисковых инструментов, таких как ChatGPT – становятся все более широко используемыми.

Этот анализ использует данные с серверов за три отдельных шестидневных периода. Мы идентифицировали ботов и классифицировали их на основе классификаций из проекта AI.txt.

Тренировочные боты блокируются.

Одним из наиболее значительных открытий является то, что GPTBot от OpenAI, используемый для сбора информации для улучшения его AI-моделей, показал резкое уменьшение количества посещаемых им веб-сайтов – снизившись с 84% до всего лишь 12% за время проведения этого исследования.

Согласно данным Hostinger, ExternalAgent от Meta сгенерировал наибольшее количество запросов среди всех AI-краулеров для обучения. Эта группа ботов также испытала самое большое падение активности, вероятно, потому что многие веб-сайты сейчас блокируют AI-краулеров от доступа к своему контенту.

Эти результаты соответствуют тому, что я наблюдал в нескольких исследованиях. BuzzStream сообщает, что подавляющее большинство – 79% – ведущих новостных веб-сайтов сейчас блокируют как минимум одного AI бота. Ежегодный обзор Cloudflare также показал, что GPTBot, ClaudeBot и CCBot были наиболее часто блокируемыми ботами на популярных веб-сайтах.

Данные подтверждают то, что указывали предыдущие исследования: всё больше веб-сайтов блокируют тренировочных ботов, несмотря на то, что они всё ещё получают большое количество запросов. Hostinger полагает, что это уменьшение доступа ботов означает, что сайты активно предотвращают доступ этих сканеров к своему контенту.

Ассистентские боты рассказывают другую историю.

В то время как боты, обучающиеся в процессе тренировок, сталкиваются с сопротивлением, боты, которые обеспечивают работу инструментов поиска на основе ИИ, расширяют доступ.

Веб-краулер OpenAI, используемый для поиска информации для поисковой функции ChatGPT, теперь охватывает около 55.67% веб-сайтов. Веб-краулер TikTok расширился до 25.67% с 1.4 миллиарда поисков, а веб-краулер Apple охватывает 24.33% веб-сайтов.

Эти автоматизированные помощники отвечают на конкретные запросы пользователей, сосредотачиваясь на предоставлении прямой помощи, а не на сборе информации для обучения. Такое прямое взаимодействие может быть причиной, по которой веб-сайты обрабатывают их иначе, чем стандартных ботов, собирающих данные.

Классический поиск остаётся стабильным.

На протяжении всего периода исследования стандартные поисковые краулеры работали стабильно. Googlebot просканировал в среднем 72% страниц, отправив 14,7 миллиарда запросов, в то время как Bingbot охватил 57,67% страниц.

В целом ситуация остаётся стабильной, но ландшафт искусственного интеллекта постоянно развивается. Основной веб-краулер Google находится в особой ситуации, поскольку предотвращение его доступа к сайту может значительно ухудшить его рейтинг в результатах поиска.

Инструменты SEO показывают снижение.

Почему это важно

Последние данные показывают тенденцию, которая формировалась в течение последнего года: владельцы веб-сайтов все чаще решают, какие программы искусственного интеллекта могут получить доступ к их сайтам, а какие блокируются.

В конечном счёте, выбор зависит от того, что вам нужно, чтобы бот делал. Обучающие боты собирают информацию, чтобы улучшить модели искусственного интеллекта, но они не направляют посетителей на ваш веб-сайт. Боты-помощники, с другой стороны, находят информацию, чтобы напрямую отвечать на вопросы пользователей, потенциально показывая ваш контент, когда люди ищут, используя искусственный интеллект.

Hostinger рекомендует сбалансированный подход: предотвращайте сбор данных с вашего сайта ботами для обучения моделей ИИ, но разрешайте ботам, которые помогают пользователям находить ваш контент. Таким образом, вы можете воспользоваться преимуществами поиска на основе ИИ, не помогая непреднамеренно создавать эти модели ИИ.

Заглядывая в будущее

Если вы хотите, чтобы ваш веб-сайт отображался при поиске с помощью ChatGPT, OpenAI рекомендует разрешить их OAI-SearchBot, даже если вы заблокировали их основной бот, GPTBot.

OpenAI объясняет различие между двумя ботами, используемыми с ChatGPT. OAI-SearchBot управляет тем, что появляется в результатах поиска ChatGPT, и следует правилам веб-сайтов о том, что нужно сканировать (robots.txt). ChatGPT-User обрабатывает просмотр, который вы конкретно просите его выполнить, и может не всегда соблюдать те же правила веб-сайтов.

Как SEO-эксперт, одно из первых, что я делаю при устранении неполадок на веб-сайте, – это погружаюсь в журналы сервера. Это говорит мне, что именно запрашивает ресурсы с моего сайта, что крайне важно для принятия обоснованных решений о блокировке. Если основная проблема – нагрузка на сервер, я часто реализую блокировку на уровне CDN. Однако, если я сосредоточен на улучшении видимости AI, я внимательно анализирую user agents AI-краулеров и специально разрешаю только тех ботов, которые соответствуют моей SEO-стратегии. Все дело в избирательности и приоритете правильного трафика.

Смотрите также

2026-01-21 01:09