Google незаметно запускает новый робот с искусственным интеллектом

Как опытный специалист по цифровому маркетингу с более чем десятилетним опытом работы за плечами, я заинтригован последним шагом Google — внедрением Google-CloudVertexBot. Я держу руку на пульсе всего, что касается Google, и должен признать, что этот вопрос заставил меня немного почесать голову.


Недавно компания Google незаметно включила нового бота в свои рекомендации по сканерам для клиентов, использующих службу Vertex AI. Похоже, что этот бот просматривает веб-сайты, принадлежащие владельцам этих сайтов, хотя ясность этого аспекта в документации могла бы быть улучшена.

Агенты Vertex AI

Вместо Google-CloudVertexBot этот новый сканер, известный как Google-CloudVertexBot, предназначен для сбора контента веб-сайтов специально для пользователей Vertex AI. В отличие от других ботов, упомянутых в документации Search Central, он не работает с поиском Google или рекламой.

«В Vertex AI Agent Builder вы найдете несколько типов контейнеров данных. Каждый контейнер содержит один тип данных.»

Далее перечисляются шесть типов данных, один из которых — данные общедоступных веб-сайтов. При сканировании в документации говорится, что существует два типа сканирования веб-сайтов с ограничениями, специфичными для каждого вида.

  1. Базовая индексация сайта
  2. Расширенная индексация веб-сайтов

Документация сбивает с толку

База данных, содержащая информацию о веб-сайтах, собирает данные, проиндексированные с различных общедоступных сайтов. Предоставляя список доменных имен, вы можете настроить поиск или предложения на основе данных, полученных из этих конкретных доменов. Собранные данные состоят из размеченного текста и изображений, дополненных метаданными.

В предоставленном объяснении нет упоминания о проверке или подтверждении владения доменом или владельцев сайтов. В описании базового индексирования веб-сайтов отсутствует какая-либо информация о таких процессах проверки.

Как эксперт по SEO, я могу подтвердить, что когда дело доходит до расширенного индексирования веб-сайтов, в рекомендациях четко указывается необходимость проверки домена. Кроме того, они налагают определенные квоты на индексацию, то есть существует ограничение на частоту сканирования и индексации вашего сайта.

Как эксперт по SEO, я заметил в документации интересный момент, касающийся сканера. Похоже, что этот сканер предназначен для обхода веб-сайтов только по явному запросу владельца сайта. Это говорит о том, что он не может автоматически сканировать общедоступные сайты.

Основываясь на моем многолетнем опыте в веб-разработке и цифровом маркетинге, я сталкивался с различными типами веб-сканеров, но эта новая запись в журнале изменений привлекла мое внимание, поскольку предполагает, что потенциальный парсер может быть нацелен на ваш сайт. Хотя на первый взгляд это может показаться сложным, важно сохранять бдительность и принимать необходимые меры предосторожности для защиты ваших онлайн-активов. Следите за производительностью и аналитикой вашего сайта и рассмотрите возможность внедрения таких мер, как CAPTCHA или блокировка IP-адресов, для защиты от несанкционированного доступа.

«Новый сканер был представлен, чтобы помочь владельцам сайтов определить трафик нового сканера».

Новый сканер Google

Новый сканер называется Google-CloudVertexBot.

«Google-CloudVertexBot сканирует сайты по запросу владельцев сайтов при создании агентов Vertex AI.

<ул>

  • Google-CloudVertexBot
  • Робот Google
  • Подстрока пользовательского агента
    Google-CloudVertexBot

    Непонятная документация

    Учитывая, что в документации неясно, индексирует ли новый сканер только проверенные домены, и поскольку журнал изменений предполагает, что владельцы сайтов могут идентифицировать трафик от этого сканера, на всякий случай было бы разумно добавить файл robots.txt, чтобы заблокировать сканер. Таким образом, вы можете быть уверены, что ваш сайт не будет случайно проиндексирован или не будет получать ненужный трафик.

    Прочитайте новую документацию Google:

    Google-CloudVertexBot

    Смотрите также

    2024-08-21 12:38