OpenAI обновил своего краулера ChatGPT: OAI-SearchBot

Компания OpenAI недавно обновила информацию о своем веб-краулере, OAI-SearchBot, который она использует для ChatGPT. Компания удалила детали, указывающие на то, что краулер собирает ссылки и используется для улучшения моделей искусственного интеллекта, которые поддерживают ее сервисы.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Питер Серрарис заметил значительное обновление в том, как OpenAI идентифицирует своих веб-краулеров и user agents, и поделился своим наблюдением в LinkedIn.

Это показывает правки, внесенные в текст. Красные выделения указывают на слова, которые были удалены, а зеленые выделения — на слова, которые были добавлены.

Питер подвёл итоги изменений:

  • Похоже, что ChatGPT User (бот действий пользователя) больше не будет соблюдать правила robots.txt (Open изменил формулировку с ‘следующих тегов robots.txt’, относящихся ко всем 3 агентам пользователя, на ‘теги robots.txt OAI SearchBot и GPTBot’)
  • OAISearchBot больше не используется для предоставления навигационных ссылок в ответах ChatGPT (блокировка этого бота не означает, что вы не появятся в ссылках)
  • Теперь также утверждается, что ChatGPT User используется для запросов Custom GPT и GPT Actions.
  • OAISearchBot и GPTBot обмениваются информацией друг с другом (‘Если ваш сайт разрешил оба бота, мы можем использовать результаты только одного сканирования для обоих вариантов использования, чтобы избежать дублирующего сканирования.’) -> это подтверждает то, что мы наблюдали в последнее время в лог-файлах: для некоторых запросов мы видим, что сайт посещают 2 или все 3 бота OAI.

Как цифровой маркетолог, я заметил кое-что важное: веб-краулеры OpenAI посещают *гораздо* больше веб-сайтов, чем фактически направляют трафик. Это стоит иметь в виду – они часто сканируют ваш сайт, но это не обязательно означает, что пользователи будут приходить с их платформ.

Смотрите также

2025-12-09 16:44