Anthropic уточнил, как работают его веб-краулеры и что происходит, если они заблокированы. Эти краулеры – ClaudeBot, Claude-User и Claude-SearchBot – используются для доступа и обработки информации из интернета.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Документация, последний раз обновленная 20 февраля, доступна здесь. Педро Диас заметил обновление и поделился в X, что Anthropic добавил больше деталей об их веб-краулерах и о том, что они делают.
Вот что говорится сегодня:
- ClaudeBot: ClaudeBot помогает повысить полезность и безопасность наших генеративных моделей искусственного интеллекта, собирая веб-контент, который потенциально может внести вклад в их обучение. Когда сайт ограничивает доступ ClaudeBot, это сигнализирует о том, что будущие материалы сайта следует исключить из наших наборов данных для обучения моделей искусственного интеллекта.
- Claude-User: Claude-User поддерживает пользователей Claude AI. Когда люди задают вопросы Claude, он может получать доступ к веб-сайтам, используя агент Claude-User. Claude-User позволяет владельцам сайтов контролировать, какие сайты могут быть доступны через эти запросы, инициированные пользователями. Отключение Claude-User на вашем сайте предотвращает получение нашей системой вашего контента в ответ на запрос пользователя, что может снизить видимость вашего сайта в результатах веб-поиска, инициированного пользователем.
- Claude-SearchBot: Claude-SearchBot просматривает веб, чтобы улучшить качество поисковых результатов для пользователей. Он анализирует онлайн-контент специально для повышения релевантности и точности поисковых ответов. Отключение Claude-SearchBot на вашем сайте предотвращает индексирование нашей системой вашего контента для поисковой оптимизации, что может снизить видимость и точность вашего сайта в поисковых результатах.
Anthropic также поддерживает директиву Crawl-delay и директиву файла robots.txt.
Смотрите также
- Анализ динамики цен на криптовалюту BTC: прогнозы биткоина
- Акции FLOT. Совкомфлот: прогноз акций.
- Вышло обновление Google December 2025 Core Update — вы удивлены?
- Акции EUTR. ЕвроТранс: прогноз акций.
- Уточнение запросов: как Google помогает пользователям быстрее находить товары
- Как выявить и сократить ресурсы, блокирующие рендеринг
- Какой самый низкий курс доллара к рублю?
- Какой самый низкий курс евро к турецкой лире?
- Серебро прогноз
2026-02-25 16:15