Google может использовать общий и не задокументированный Google-краулер

Как опытный вебмастер, я столкнулся со слухами, указывающими на то, что Google может использовать менее конкретного и нераскрытого Googlebot, также известного как их веб-краулер. Этот безымянный краулер использует название

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

В документации Google описаны три различных типа веб-сканеров: обычные сканеры, сканеры специальных случаев и сборщики, запускаемые пользователями. Важно отметить, что ни одна из этих категорий не использует «Google» напрямую в качестве обозначения агента пользователя.

Поначалу я предположил, что кто-то, кроме Google, мог ошибочно идентифицировать себя с именем пользовательского агента, поскольку JC Chouinard поделился этим на X. Однако после более тщательного изучения оказалось, что это действительно делал Google.

Сегодня было обнаружено два IP-адреса

Я тоже это видел

Это Google — только что проверил. Кайл Риссли (@KyleRisley) 8 августа 2025 г.

Для бота Google, обсуждаемого здесь, и бота pageburst, они исходят из IP-адресов Google.

Предоставленные Google IP-адреса для Googlebot не включают все те, что можно увидеть в этих примерах, что вызывает вопрос о том, может ли быть так, что кто-то ложно заявляет о своей принадлежности к Google?

Я на прошлой неделе просил Джона Мюллера из Google изучить этот вопрос, но он мне не ответил:

На X.com/ChouinardJC/ несколько человек упомянули, что Gemini не использует стандартный user agent. Джон Му, эта информация может быть вам интересна, если вы с ней еще не сталкивались.

Если в ваших лог-файлах отображается Google в виде роботов, вам стоит знать, что вы не единственный, кто получает доступ к вашему сайту, и пока неясно, действительно ли это Google или кто-то другой, имитирующий Google.

Смотрите также

2025-08-11 15:20