
Компания OpenAI недавно обновила информацию о своем веб-краулере, OAI-SearchBot, который она использует для ChatGPT. Компания удалила детали, указывающие на то, что краулер собирает ссылки и используется для улучшения моделей искусственного интеллекта, которые поддерживают ее сервисы.
Питер Серрарис заметил значительное обновление в том, как OpenAI идентифицирует своих веб-краулеров и user agents, и поделился своим наблюдением в LinkedIn.
Это показывает правки, внесенные в текст. Красные выделения указывают на слова, которые были удалены, а зеленые выделения — на слова, которые были добавлены.

Питер подвёл итоги изменений:
- Похоже, что ChatGPT User (бот действий пользователя) больше не будет соблюдать правила robots.txt (Open изменил формулировку с ‘следующих тегов robots.txt’, относящихся ко всем 3 агентам пользователя, на ‘теги robots.txt OAI SearchBot и GPTBot’)
- OAISearchBot больше не используется для предоставления навигационных ссылок в ответах ChatGPT (блокировка этого бота не означает, что вы не появятся в ссылках)
- Теперь также утверждается, что ChatGPT User используется для запросов Custom GPT и GPT Actions.
- OAISearchBot и GPTBot обмениваются информацией друг с другом (‘Если ваш сайт разрешил оба бота, мы можем использовать результаты только одного сканирования для обоих вариантов использования, чтобы избежать дублирующего сканирования.’) -> это подтверждает то, что мы наблюдали в последнее время в лог-файлах: для некоторых запросов мы видим, что сайт посещают 2 или все 3 бота OAI.
Как цифровой маркетолог, я заметил кое-что важное: веб-краулеры OpenAI посещают *гораздо* больше веб-сайтов, чем фактически направляют трафик. Это стоит иметь в виду – они часто сканируют ваш сайт, но это не обязательно означает, что пользователи будут приходить с их платформ.
Смотрите также
- Акции PIKK. ПИК: прогноз акций.
- Как настроить свою первую платную поисковую кампанию
- Акции RBCM. РБК: прогноз акций.
- Акции X5. Корпоративный Центр Икс 5: прогноз акций.
- Акции SGZH. Сегежа: прогноз акций.
- Платный медиамаркетинг в 2025 году: 7 изменений, которые должны внести маркетологи
- Акции MSNG. Мосэнерго: прогноз акций.
- Как использовать XML -сайты, чтобы повысить SEO
- Акции MBNK. МТС-Банк: прогноз акций.
- Mullenweg спросил, сможет ли он адаптироваться к изменениям.
2025-12-09 16:44





