
Компания OpenAI недавно обновила информацию о своем веб-краулере, OAI-SearchBot, который она использует для ChatGPT. Компания удалила детали, указывающие на то, что краулер собирает ссылки и используется для улучшения моделей искусственного интеллекта, которые поддерживают ее сервисы.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Питер Серрарис заметил значительное обновление в том, как OpenAI идентифицирует своих веб-краулеров и user agents, и поделился своим наблюдением в LinkedIn.
Это показывает правки, внесенные в текст. Красные выделения указывают на слова, которые были удалены, а зеленые выделения — на слова, которые были добавлены.

Питер подвёл итоги изменений:
- Похоже, что ChatGPT User (бот действий пользователя) больше не будет соблюдать правила robots.txt (Open изменил формулировку с ‘следующих тегов robots.txt’, относящихся ко всем 3 агентам пользователя, на ‘теги robots.txt OAI SearchBot и GPTBot’)
- OAISearchBot больше не используется для предоставления навигационных ссылок в ответах ChatGPT (блокировка этого бота не означает, что вы не появятся в ссылках)
- Теперь также утверждается, что ChatGPT User используется для запросов Custom GPT и GPT Actions.
- OAISearchBot и GPTBot обмениваются информацией друг с другом (‘Если ваш сайт разрешил оба бота, мы можем использовать результаты только одного сканирования для обоих вариантов использования, чтобы избежать дублирующего сканирования.’) -> это подтверждает то, что мы наблюдали в последнее время в лог-файлах: для некоторых запросов мы видим, что сайт посещают 2 или все 3 бота OAI.
Как цифровой маркетолог, я заметил кое-что важное: веб-краулеры OpenAI посещают *гораздо* больше веб-сайтов, чем фактически направляют трафик. Это стоит иметь в виду – они часто сканируют ваш сайт, но это не обязательно означает, что пользователи будут приходить с их платформ.
Смотрите также
- Серебро прогноз
- Золото прогноз
- Акции SGZH. Сегежа: прогноз акций.
- Анализ динамики цен на криптовалюту AAVE: прогнозы AAVE
- Анализ динамики цен на криптовалюту IP: прогнозы IP
- Google тестирует, что люди также спрашивают больше, кнопка «Центр результатов»
- Google: основные обновления не влияют на изменение названия сайта
- Анализ динамики цен на криптовалюту CRV: прогнозы CRV
- Анализ динамики цен на криптовалюту XDC: прогнозы XDC
- Google демонстрирует обзоры на основе искусственного интеллекта для курсов валют.
2025-12-09 16:44