Как опытный эксперт по SEO с более чем десятилетним опытом работы за плечами, я видел много изменений в алгоритмах и документации Google. Однако недавнее обновление документации Google Crawler — это то, что бросается в глаза не только потому, что это значительное изменение, но и потому, что оно решает общую проблему, с которой мы, специалисты по SEO, часто сталкиваемся — слишком много информации на одной странице может сделать ее перегруженной. и менее полезны для пользователей, которые ищут конкретные детали.
Google значительно обновил свое руководство по поисковому роботу, уменьшив размер основной вводной страницы и разделив контент на три новые специализированные страницы. Хотя журнал изменений предполагает незначительные изменения, был добавлен новый раздел, а главная страница обзора сканера существенно была переписана. Новые страницы предоставляют более целенаправленную информацию и расширяют общий охват тем, связанных с поисковым роботом Google.
Что изменилось?
В журнале изменений документации Google отмечены два изменения, но на самом деле их намного больше.
- Добавлена обновленная строка пользовательского агента для сканера GoogleProducer.
- Добавлена информация о кодировке контента.
- Добавлен новый раздел о технических свойствах.
В этом разделе технических характеристик вы найдете совершенно новые детали, которых раньше не было. В поведение сканера не было внесено никаких изменений; однако, создав три тематические страницы, Google может расширить информацию на странице сводки сканера, не увеличивая ее размер.
Сканеры и сборщики Google могут обрабатывать несколько типов сжатия контента для эффективной передачи данных: gzip, deflate и Brotli (с аббревиатурой br). Каждый пользовательский агент Google указывает поддерживаемые кодировки в заголовке Accept-Encoding, который является частью каждого отправляемого запроса. Например, типичный заголовок может выглядеть так: «Accept-Encoding: gzip, deflate, br».
Помимо подробного описания сканирования с помощью HTTP/1.1 и HTTP/2, важно также отметить, что эти методы направлены на просмотр как можно большего количества веб-страниц, минимизируя при этом любую нагрузку на хост-сервер.
Какова цель реконструкции?
Изменение документации было необходимо, поскольку главная страница значительно расширилась. Добавление дополнительных деталей сканера только сделает его больше. Чтобы разместить более конкретный контент сканера и обеспечить больший объем общей информации на странице обзора, было решено разделить страницу на три отдельных раздела или подтемы. Выделение этих тем на отдельные страницы — это инновационный подход к обеспечению удобства обслуживания.
Из-за большого объема документации нам стало сложно добавлять более подробную информацию о наших сканерах и сборщиках, инициируемых пользователями, поскольку это ограничивало наши возможности по расширению.
Мы упростили документацию Google, включая рекомендации для их веб-сканеров и сборщиков, которые активируются пользователями. Мы также включили четкие метки, указывающие, на какой продукт влияет каждый сканер, и добавили примеры фрагментов robots.txt для каждого сканера, чтобы помочь с использованием токенов пользовательского агента. Основная часть контента осталась без изменений.
В журнале изменений изменения преуменьшаются, описывая их как реорганизацию, поскольку обзор сканера существенно переписан, а также созданы три совершенно новые страницы.
Как эксперт по SEO, я недавно усовершенствовал свой подход, разбив более крупные темы на подразделы. Таким образом, Google может легко индексировать и воспринимать каждую часть как уникальный фрагмент контента, а не просто расширять исходную страницу. Например, обзор, ранее озаглавленный «Сканеры и сборщики Google (пользовательские агенты)», был разделен на более специализированные страницы, обеспечивающие более четкое и полное понимание каждого аспекта.
- Общие сканеры
- Гусеницы для особых случаев
- Сборщики данных, запускаемые пользователем
1. Обычные краулеры
Судя по заголовку, это часто встречающиеся веб-сканеры; некоторые из них связаны с GoogleBot, например Google-InspectionTool, который работает под именем пользователя GoogleBot. Каждый бот, которого вы видите здесь, следует рекомендациям, установленным в файле robots.txt.
- Googlebot
- Изображение робота Googlebot
- Видео робота Google
- Новости Googlebot
- Google StoreBot
- Google-InspectionTool
- GoogleДругое
- GoogleOther-Image
- GoogleДругое-Видео
- Google-CloudVertexBot
- Google-расширенный
3. Краулеры для особых случаев
Здесь мы обсуждаем ботов, привязанных к конкретным продуктам. Они получают доступ к этим продуктам на основе пользовательских соглашений и работают с уникальных IP-адресов, отличных от тех, которые используются сканерами GoogleBot.
Список сканеров для особых случаев:
- AdSense
Пользовательский агент для файла Robots.txt: Mediapartners-Google - AdsBot
Пользовательский агент для Robots.txt: AdsBot-Google - AdsBot для мобильных устройств
Пользовательский агент для файла Robots.txt: AdsBot-Google-Mobile - API-Google
Пользовательский агент для файла Robots.txt: API-Google - Безопасность Google
Пользовательский агент для файла Robots.txt: Google-безопасность
3. Сборщики данных, запускаемые пользователем
На странице «Сборщики, запускаемые пользователем» описаны боты, которые активируются по запросу пользователя, что объясняется следующим образом:
Сборщики данных, инициируемые пользователем, активируются пользователями с целью сбора данных в службе Google. Например, Google Site Verifier реагирует на команды пользователя, или сайт на Google Cloud Platform (GCP) позволяет своим пользователям получать внешний RSS-канал. Поскольку эти действия инициируются пользователями, эти сборщики обычно игнорируют правила, указанные в файлах robots.txt. Основные технические характеристики веб-сканеров Google также распространяются на сборщики данных, инициированные пользователем.
- Сборщик данных
- Центр издателей Google
- Google Читать вслух
- Google Проверка сайта
Еда на вынос:
Страница сводки поискового робота Google могла оказаться слишком подробной и, следовательно, менее практичной, поскольку не всем нужна такая подробная страница; вместо этого они обычно ищут конкретную информацию. Теперь страница предлагает более четкую перспективу в качестве точки входа, позволяя пользователям более подробно изучать более конкретные подтемы, связанные с тремя типами сканеров.
Пересмотр этого подхода может дать ценные предложения о том, как оживить страницу, которая может работать неэффективно из-за чрезмерной детализации. Разделив обширную страницу на отдельные, автономные страницы, каждая тема может удовлетворить различные потребности пользователей, что потенциально повышает их полезность и увеличивает шансы на более высокий рейтинг в результатах поиска.
Мне кажется, что это изменение не является отражением какой-либо корректировки алгоритма Google; скорее, это, по-видимому, улучшение их документации для улучшения пользовательского опыта, что потенциально открывает путь для добавления дополнительной информации.
Прочтите новую документацию Google
Обзор сканеров и сборщиков Google (пользовательских агентов)
Список распространенных сканеров Google
Список сканеров Google для особых случаев
Список сборщиков Google, запускаемых пользователем
Смотрите также
- Почему контент важен для SEO
- Акции SBER. Сбербанк: прогноз акций.
- Google о том, почему простые факторы не являются сигналами ранжирования
- Акции привилегированные LNZLP. Лензолото: прогноз акций привилегированных.
- Акции MSRS. Россети Московский регион: прогноз акций.
- Максимальная эффективность для привлечения потенциальных клиентов: передовые стратегии и подводные камни, которых следует избегать
- Акции PHOR. ФосАгро: прогноз акций.
- Google Indexing API: отправленные материалы проходят строгую проверку на спам
- Поиск Google тестирует карусель последних сообщений
- Стратегии распада и обновления контента для поддержания релевантности сайта
2024-09-19 02:08