Облачный Фларэй запускает дебаты по SEO новой системой оплаты ИИ-краулера

Недавнее введение Cloudflare концепции «плата за каждый обход» вызвало оживленную дискуссию среди специалистов по поисковой оптимизации и маркетологов в области цифровой экономики.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Как специалист по цифровому маркетингу, я рад сообщить, что наша компания внедрила инновационную систему блокировки пауков на основе искусственного интеллекта, призванную улучшить опыт наших партнёров-издателей. Это нововведение сочетается с новыми возможностями монетизации, направленными на поддержку издателей и стимулирование их успеха в цифровом пространстве.

Делая это, издатели могут требовать оплаты от компаний ИИ за доступ к контенту, что потенциально изменит способ потребления и оценки веб-контента в эпоху интеллектуального поиска.

Новый стандарт Cloudflare: блокирование поисковых ботов ИИ.

Система, находящаяся сейчас в частной бета-версии, по умолчанию блокирует известные краулеры ИИ для новых доменов Cloudflare.

Издатели могут выбрать одну из трех настроек доступа для каждого сканера.

Разрешить — Предоставить неограниченный доступ
Запрашивать оплату по установленной цене на доменном уровне
Блокировать – полностью запретить доступ

Сайты, пытающиеся получить доступ к заблокированному контенту, получат ответ ‘402 Требуется оплата’. Издатели устанавливают фиксированный, всеобъемлющий сбор за каждое требование, а Cloudflare управляет выставлением счетов и распределением доходов.

https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text

Облачный фронт написал:

Рассмотрите сценарий, в котором вы поручаете вашей предпочтительной платформе знаний сбор самых актуальных данных об исследованиях рака, подготовку юридического документа или даже предложение лучшего ресторана в Сохо, при этом устанавливая ограничение на ресурсы для обеспечения наилучшего качества и релевантности контента.

Технические Детали и Принятие Издателя

Эта система легко интегрируется с механизмами контроля ботов Cloudflare, работая в сотрудничестве с текущими правилами брандмауэра веб-приложений (WAF) и документами robots.txt. В целях безопасности она использует пары ключей Ed25519 и подписи HTTP сообщений для предотвращения попыток имитации.

Cloudflare сообщает о том, что среди первых пользователей есть известные медиа организации такие как Condé Nast, Time, The Atlantic, Associated Press, BuzzFeed, Reddit, Pinterest и другие.

В ближайшем будущем наша существующая структура цен будет расширена и включит более гибкие и детальные опции, включая динамическое и детализированное ценообразование.

Сообщество SEO выражает озабоченность

Специалисты по SEO выражают беспокойство относительно возможных последствий перехода настроек от модели ‘по желанию’ к модели ‘автоматически’ в Cloudflare, так как пользователям может потребоваться самостоятельно настраивать эти параметры.

Дуэйн Форестер, вице-президент по отраслевым исследованиям в Yeaxt, предупредил, что компаниям может быть трудно появляться в ответах, сгенерированных искусственным интеллектом, если они не знают о запрете доступа краулерам на их вебсайте, и это может потребовать оплаты для дальнейшего доступа.

Лили Рэй, вице-президент по стратегии и исследованиям SEO в компании Amsive Digital, отметила, что такое изменение может спровоцировать немедленные дискуссии с клиентами, особенно с теми, кто не осознает возможности недоступности своих сайтов для ИИ сканеров без явного вмешательства.

Райан Джонс в качестве старшего вице-президента по поисковому маркетингу (SEO) в компании Razorfish отметил, что большинство его клиентов желают, чтобы ИИ боты обрабатывали их контент прежде всего для улучшения видимости.

Говорят, это неизбежный перезапуск

Некоторые в сообществе приветствуют это как давно назревшую переоценку экономической составляющей контента.

Педро Диас, консультант по техническому SEO и бывший член команды качества поиска в Google, заявил: ‘Понадобится некоторое усилие, чтобы вернуть всё на прежние позиции’, подразумевая, что нынешняя ситуация выгодна для компаний искусственного интеллекта больше, чем для издателей контента.

Илья Григорик, инженер-консультант и советник в Shopify, подчеркнул важность использования криптографической аутентификации, заявив, что это необходимо из-за сложностей различить легитимных ботов от вредоносных.

В пересмотренной конфигурации веб-краулеры должны будут подтверждать свою личность с помощью шифрования публичных ключей и выражать свои намерения по оплате путем добавления специальных деталей HTTP заголовка.

Заглядывая вперёд

Система оплаты за просмотр Cloudflare (pay-per-crawl) вызывает новую дискуссию о том, каким организациям разрешено просматривать веб-контент и какие сборы связаны с этим доступом.

Для экспертов в области поисковой оптимизации (SEO) понимание видимости может стать более сложным, поскольку факторы, влияющие на нее, могут выходить за рамки рейтингов. Сейчас это также зависит от прав доступа к краулерам, монетарных политик и аутентификации ботов.

В глазах некоторых это может усилить влияние издателей, однако другие выражают опасения, что это может расколоть интернет в целом, поскольку доступ к контенту зависит от инфраструктуры и наличия платных шлюзов.

Если методы поиска, основанные на ИИ, становятся критически важными для пользователей и доступ к этому ИИ теперь облагается платными услугами на различных платформах, веб-сайтам необходимо ориентироваться в сложном ландшафте разных систем, правил и платежных структур, чтобы поддерживать свою видимость.

Смотрите также

2025-07-02 22:39