
Недавнее исследование Hostinger показывает тенденцию: компании все чаще блокируют AI-системы, используемые для обучения больших языковых моделей, но при этом по-прежнему разрешают AI-ассистентам, таким как ChatGPT, получать доступ и суммировать контент с их веб-сайтов. Анализируя более 66 миллиардов взаимодействий ботов на 5 миллионах сайтов, Hostinger обнаружил, что, хотя доступ к некоторым AI ограничен, AI-ассистенты фактически достигают *больше* веб-сайтов, чем раньше.
Анализ Hostinger
Hostinger предлагает веб-хостинг и платформу, которая позволяет создавать онлайн-бизнесы без программирования, используя AI. Они изучили данные о посещениях веб-сайтов, чтобы понять, как поисковые системы и AI-системы находят и получают доступ к контенту в сети, сравнивая, как этот процесс изменился с течением времени.
Как человек, внимательно следящий за трафиком веб-сайтов, я наблюдал за растущей активностью AI-ассистентов – по сути, ботов, которые они используют для сбора информации. Мой недавний анализ показывает значительный скачок в объеме веб-страниц, которые эти ассистенты сканируют. Я отслеживал это в течение пяти месяцев, анализируя данные за три конкретные недели: одну в июне, одну в августе и еще одну в ноябре 2025 года. Очевидно, что они становятся гораздо более распространенными.
Поисковый бот OpenAI теперь охватывает 68% веб-сайтов, по сравнению с 52%, а Applebot, который помогает поддерживать поиск Apple, удвоил свой охват до 34%. В отличие от традиционных поисковых роботов, которые мало изменились, эти ИИ-помощники расширяют способы, которыми пользователи находят информацию — они дополняют поиск, а не заменяют его.
Данные указывают на то, что компании значительно ограничили доступ для ботов, используемых для обучения искусственного интеллекта. Например, GPTBot от OpenAI смог получить доступ к 84% веб-сайтов в августе, но только к 12% в ноябре, а доступ ExternalAgent от Meta упал с 60% до 41%. Эти боты собирают информацию со временем для улучшения моделей ИИ, но многие компании блокируют их из-за опасений по поводу того, как используются их данные, или потенциальных проблем с авторскими правами.
Параметрические знания
Параметрические знания, иногда называемые параметрической памятью, относятся к информации, которую модель изучает и сохраняет в процессе обучения. Она называется ‘параметрической’, потому что эти знания сохраняются в настройках модели – конкретно, в ее параметрах (или весах). По сути, это долговременная память модели о фактах о таких вещах, как люди, объекты и организации.
Когда вы задаете вопрос AI-чатботу, он может идентифицировать такие вещи, как компании, а затем вспоминать информацию, которую он узнал о них во время обучения. Если компания блокирует чатбота от доступа к своему веб-сайту, AI ничего о ней не узнает. Это на самом деле может навредить компании, пытающейся оставаться актуальной, поскольку AI становится все более распространенным.
Как SEO-эксперт, я всегда советую клиентам, что позволить ИИ ‘просканировать’ их веб-сайт – это разумный шаг. Это дает им определенную степень контроля над тем, как большие языковые модели (LLMs) понимают их бизнес – такие вещи, как чем они занимаются, голос их бренда и информация на их странице ‘О нас’. Кроме того, ИИ может затем точно представлять их продукты и услуги. Для информационных сайтов это особенно ценно, поскольку это увеличивает вероятность того, что они будут указаны в качестве источника, когда ИИ отвечает на вопросы, что фантастично для видимости и авторитета.
Предприятия отказываются от параметрических знаний.
Исследование Hostinger показывает, что многие компании активно блокируют AI-ботов, собирающих информацию для обучения. Это означает, что эти компании непреднамеренно препятствуют обучению AI-моделей непосредственно на основе их веб-сайтов. В результате AI может неточно представлять информацию на этих сайтах и вместо этого будет вынужден полагаться на информацию из других источников.
После анализа 66,7 миллиардов взаимодействий ботов на 5 миллионах веб-сайтов, Hostinger обнаружил удивительное противоречие:
Предприятия теперь активно препятствуют программам обучения AI, которые собирают информацию с веб-сайтов для создания моделей искусственного интеллекта, в доступе к их контенту. GPTBot от OpenAI, одна из таких программ, столкнулась с резким падением доступа к веб-сайтам с 84% до всего лишь 12% всего за три месяца.
Чат-боты на основе AI, такие как технология, лежащая в основе ChatGPT и систем поддержки Apple, становятся все более распространенными в сети. Недавние данные показывают значительное увеличение их активности – SearchBot от OpenAI теперь посещает 68% веб-сайтов, по сравнению с 52%, а присутствие Applebot удвоилось до 34%.
Недавняя дискуссия на Reddit подчеркивает, что сейчас распространена практика ограничения доступа больших языковых моделей к определенному контенту, и это обычно принимается как способ защиты интеллектуальной собственности.
Пост начинается с первоначального вопроса о том, как заблокировать ИИ:
Я хочу, чтобы Google продолжал индексировать мой веб-сайт, но я не хочу, чтобы инструменты искусственного интеллекта, такие как Gemini или ChatGPT, копировали и использовали мой контент.
Какой лучший способ это сделать?»
Скриншот разговора на Reddit

Кто-то в обсуждении спросил, блокирует ли сайт инструменты искусственного интеллекта, такие как LLMs, чтобы защитить свой контент, и автор исходного поста подтвердил, что это именно причина. Как SEO-специалист, я вижу, что это происходит все чаще и чаще – компании активно пытаются предотвратить сбор и потенциальное использование их уникального контента искусственным интеллектом без разрешения.
Мы создаём оригинальный контент, который вы не найдёте больше нигде. Фактически, многие AI модели фактически узнают об этой конкретной теме с нашего сайта. Поэтому мы хотим посетителей из Google, но не от AI программ.
Это понятно. Веб-сайт, предлагающий оригинальные, полезные руководства для конкретной программной программы, может захотеть предотвратить доступ больших языковых моделей (LLMs) к своему контенту. В противном случае, LLM может отвечать на вопросы пользователей напрямую, устраняя необходимость для людей посещать веб-сайт для получения информации.
Однако для веб-сайтов, которые не имеют особо оригинального контента – таких как те, которые рецензируют продукты или продают вещи в интернете – возможно, не стоит препятствовать обучению ИИ-моделей на их основе. Разрешение ИИ включать информацию об этих сайтах может быть действительно полезным.
Брендовое сообщение теряется для LLM.
Когда ИИ-помощники дают ответы напрямую, людям может не потребоваться посещать веб-сайты, что может означать снижение трафика для бизнеса. Это также может ограничить возможности компании делиться своими ценами, объяснять свои продукты и передавать свой бренд. Клиенты могут завершить весь свой опыт внутри ИИ, не посещая веб-сайт компании. Компании, которые предотвращают доступ ИИ к своей информации, по сути, надеются, что поисковые системы по-прежнему будут направлять к ним клиентов – и этого может быть достаточно, но это не идеально.
ИИ-помощники становятся все более распространенными и оказывают влияние как на маркетинг, так и на то, как компании прогнозируют будущие доходы. Если компании блокируют эти ИИ-системы, они рискуют потерять контроль над тем, как представлены их цены и предложения. Это происходит потому, что маркетинговые сообщения становятся менее заметными, когда клиенты получают информацию от ИИ, и становится сложнее отслеживать, какие маркетинговые усилия фактически привели к продаже, когда клиенты находят продукты через ИИ-сгенерированные ответы вместо прямого посещения веб-сайта компании.
Hostinger сообщает, что многие организации теперь тщательно выбирают, к какому контенту ИИ, особенно ИИ-помощники, могут получить доступ.
По мере того, как ИИ-помощники становятся лучше в прямом ответе на вопросы, интернет меняется от системы, где люди нажимают на ссылки для поиска информации, к той, где ИИ-агенты делают поиск за них. Самая большая проблема для бизнеса заключается не только в том, что ИИ доступен, но и в том, что они могут потерять контроль над тем, как клиенты видят их цены, что отличает их от конкурентов и общую ценность, которую они предлагают, поскольку ИИ принимает решения от их имени.
Takeaway
В то время как многие люди обеспокоены тем, что большие языковые модели используют данные их веб-сайтов для обучения, простое блокирование их не обязательно является лучшим подходом. Более полезно тщательно рассмотреть как преимущества, так и недостатки, и определить, какие опасения являются законными, а какие основаны просто на предположениях.
Смотрите также
- Акции MOEX. Мосбиржа: прогноз акций.
- Акции привилегированные TRNFP. Транснефть: прогноз акций привилегированных.
- Акции POSI. Positive Technologies: прогноз акций.
- Используйте обзоры ИИ, как эксперты: методы достижения успеха в SEO
- Мулленвег: WP Engine подал иск против WordPress
- Анализ динамики цен на криптовалюту XLM: прогнозы XLM
- Анализ динамики цен на криптовалюту XDC: прогнозы XDC
- Золото прогноз
2026-01-22 14:11



