Google-Agent: Новый посетитель Веба только что получил идентификатор.

20 марта 2026 года Google незаметно обновил свой официальный список инструментов, извлекающих информацию из сети. Это новое дополнение не было типичным веб-краулером или ботом, используемым для обучения ИИ — это был агент.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Google-Agent — это уникальный идентификатор, который сообщает веб-сайтам, что просмотром занимается ИИ, а не человек. Он используется, когда ИИ-помощники Google — например, когда вы просите их что-то исследовать в интернете или заполнить форму — должны получить доступ к веб-страницам от вашего имени. Google’s Project Mariner — первый инструмент, использующий эту технологию.

Это не стандартный веб-краулер Google. Googlebot всегда исследует интернет для создания своего поискового индекса, но Google-Agent появляется только тогда, когда его специально запрашивают. Эта ключевая разница значительно влияет на то, как каждый из них работает.

Robots.txt Does Not Apply

Google рассматривает свой Google-Agent как инструмент, который извлекает информацию только тогда, когда пользователь просит об этом. В эту категорию также входят такие инструменты, как Google Read Aloud, NotebookLM и Feedfetcher – все они начинают работать, потому что человек сделал прямой запрос. Google считает, что эти инструменты, инициируемые пользователем, обычно не следуют правилам в файле ‘robots.txt’ веб-сайта, поскольку человек конкретно запросил информацию.

https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text

Вот как это работает: когда вы напрямую вводите веб-адрес в Chrome, браузер загрузит страницу, даже если файл robots.txt сайта просит краулеров этого не делать. Google-Agent работает так же – он действует от вашего имени, как помощник, вместо того, чтобы самостоятельно исследовать веб.

Это значительное изменение в том, как Google обрабатывает веб-запросы по сравнению с OpenAI и Anthropic. В то время как ChatGPT и Claude оба следуют правилам в файле robots.txt веб-сайта – то есть они не будут получать доступ к заблокированным страницам – Google выбрал другой подход.

Владельцам веб-сайтов, которые ранее использовали robots.txt для контроля доступа к своему сайту, теперь следует обратить внимание на проблему безопасности. Если вы хотите предотвратить доступ веб-краулеров Google к определенному контенту, вам потребуется использовать более надежные меры безопасности – такие же, как вы использовали бы для блокировки обычного посетителя.

Криптографическая идентификация: Web Bot Auth

Ключевое обновление от Google скрыто в их документации: они тестируют новый протокол под названием web-bot-auth, идентифицируемый как https://agent.bot.goog, со своим Google-Agent.

Web Bot Auth – это предлагаемый интернет-стандарт, предназначенный для проверки идентичности ботов. Он работает путем предоставления каждому боту уникального цифрового ключа. Затем бот делится общедоступной версией этого ключа и использует приватный ключ для цифровой подписи каждого запроса, который он делает к веб-сайту. Это позволяет веб-сайту с высокой степенью уверенности подтвердить, что запрос действительно исходит от конкретного бота.

Любой может подделать строку user agent, но Web Bot Auth подделать невозможно. Решение Google даже протестировать этот протокол показывает будущее того, как веб-сайты будут идентифицировать пользователей. Компании, такие как Akamai, Cloudflare и Amazon, уже поддерживают аналогичные технологии, и поддержка Google может сделать его стандартом.

Это важно, потому что интернет сталкивается с растущей проблемой идентификации того, кто – или что – получает доступ к веб-сайтам. С использованием все большего количества автоматизированных программ (называемых ‘агентами’), веб-сайтам необходимо уметь различать полезных AI-помощников, работающих на реальных людей, и вредоносные программы, пытающиеся украсть информацию. Проверка IP-адресов может помочь, но использование безопасных цифровых подписей является более надежным и масштабируемым решением для предотвращения мошенничества.

Что это значит для вашего веб-сайта.

Google-Agent создает трехслойную модель посетителей для веб-сайта:

Посетители-люди просматривают напрямую.
Краулеры индексируют контент для поиска и обучения (Googlebot, GPTBot, Google-Extended).
Агенты, действующие от имени конкретных людей в режиме реального времени (Google-Agent, ChatGPT-User, Claude-User).

Разные типы онлайн-посетителей имеют разные цели и разрешения. Например, веб-краулер просто хочет сохранить копию контента вашего веб-сайта. Однако онлайн-агент пытается *сделать* что-то – например, исследовать продукт, найти лучшую цену, отправить форму или запланировать встречу.

Вот что нужно сделать сейчас:

Внимательно следите за системными журналами. Google-Agent идентифицирует себя, используя определенный код в строке user agent: ‘compatible; Google-Agent’. Google также предоставляет списки IP-адресов, чтобы помочь вам проверить его активность. Начните отслеживать, как часто агент получает доступ к вашему сайту, какие страницы он посещает и какие действия он пытается выполнить.

Убедитесь, что ваша CDN и брандмауэр не блокируют доступ Google. Иногда слишком строгие настройки безопасности могут помешать системам Google (идентифицируемым как Google-Agent) достичь вашего сервера. Проверьте, разрешили ли вы трафик с IP-адресов, используемых Google.

Убедитесь, что ваши формы и процессы работают правильно. Google-Agent может заполнять формы и проходить многоступенчатые процессы, такие как оформление заказов или бронирование. Если в ваших формах используется сложный JavaScript, который не понимают автоматизированные системы, агент не сможет их заполнить без ошибок. Использование стандартного HTML и чётких меток по-прежнему является лучшим способом обеспечить бесперебойную работу всего.

Не полагайтесь на robots.txt для полной защиты конфиденциального контента. Хотя это полезно для направления веб-краулеров, это не является надежной мерой безопасности. Если вам нужен реальный контроль доступа, используйте учетные данные для входа или другие методы аутентификации. То, как сейчас работают веб-сайты и поисковые системы, требует более надежной защиты, чем может обеспечить robots.txt.

Гибридный веб не наступит. Он зафиксирован.

Кажется, будто только вчера я слышал об AI-агентах, просматривающих веб как о какой-то футуристической идее на отраслевых конференциях. Теперь? Они действительно *здесь*. У них есть свой уникальный ‘отпечаток’ в сети – строка user agent – и Google даже опубликовал IP-адреса, которые они используют. У них также есть безопасная система идентификации, и Google официально задокументировал, как они работают. Это довольно быстрое изменение, и как человек, который долгое время управляет веб-сайтами, это определенно меняет мое представление о трафике и безопасности.

Интернет больше не разделен между людьми и ботами — он стал единым пространством. Теперь каждый веб-сайт ориентирован как на человеческих посетителей, так и на автоматизированных, и Google представил функцию, позволяющую определить, когда боты получают доступ к вашим страницам.

Смотрите также

2026-05-17 15:10