Google обновляет всю документацию по сканеру

Как опытный эксперт по SEO с более чем десятилетним опытом работы за плечами, я видел много изменений в алгоритмах и документации Google. Однако недавнее обновление документации Google Crawler — это то, что бросается в глаза не только потому, что это значительное изменение, но и потому, что оно решает общую проблему, с которой мы, специалисты по SEO, часто сталкиваемся — слишком много информации на одной странице может сделать ее перегруженной. и менее полезны для пользователей, которые ищут конкретные детали.


Google значительно обновил свое руководство по поисковому роботу, уменьшив размер основной вводной страницы и разделив контент на три новые специализированные страницы. Хотя журнал изменений предполагает незначительные изменения, был добавлен новый раздел, а главная страница обзора сканера существенно была переписана. Новые страницы предоставляют более целенаправленную информацию и расширяют общий охват тем, связанных с поисковым роботом Google.

Что изменилось?

В журнале изменений документации Google отмечены два изменения, но на самом деле их намного больше.

  • Добавлена ​​обновленная строка пользовательского агента для сканера GoogleProducer.
  • Добавлена ​​информация о кодировке контента.
  • Добавлен новый раздел о технических свойствах.

В этом разделе технических характеристик вы найдете совершенно новые детали, которых раньше не было. В поведение сканера не было внесено никаких изменений; однако, создав три тематические страницы, Google может расширить информацию на странице сводки сканера, не увеличивая ее размер.

Сканеры и сборщики Google могут обрабатывать несколько типов сжатия контента для эффективной передачи данных: gzip, deflate и Brotli (с аббревиатурой br). Каждый пользовательский агент Google указывает поддерживаемые кодировки в заголовке Accept-Encoding, который является частью каждого отправляемого запроса. Например, типичный заголовок может выглядеть так: «Accept-Encoding: gzip, deflate, br».

Помимо подробного описания сканирования с помощью HTTP/1.1 и HTTP/2, важно также отметить, что эти методы направлены на просмотр как можно большего количества веб-страниц, минимизируя при этом любую нагрузку на хост-сервер.

Какова цель реконструкции?

Изменение документации было необходимо, поскольку главная страница значительно расширилась. Добавление дополнительных деталей сканера только сделает его больше. Чтобы разместить более конкретный контент сканера и обеспечить больший объем общей информации на странице обзора, было решено разделить страницу на три отдельных раздела или подтемы. Выделение этих тем на отдельные страницы — это инновационный подход к обеспечению удобства обслуживания.

Из-за большого объема документации нам стало сложно добавлять более подробную информацию о наших сканерах и сборщиках, инициируемых пользователями, поскольку это ограничивало наши возможности по расширению.

Мы упростили документацию Google, включая рекомендации для их веб-сканеров и сборщиков, которые активируются пользователями. Мы также включили четкие метки, указывающие, на какой продукт влияет каждый сканер, и добавили примеры фрагментов robots.txt для каждого сканера, чтобы помочь с использованием токенов пользовательского агента. Основная часть контента осталась без изменений.

В журнале изменений изменения преуменьшаются, описывая их как реорганизацию, поскольку обзор сканера существенно переписан, а также созданы три совершенно новые страницы.

Как эксперт по SEO, я недавно усовершенствовал свой подход, разбив более крупные темы на подразделы. Таким образом, Google может легко индексировать и воспринимать каждую часть как уникальный фрагмент контента, а не просто расширять исходную страницу. Например, обзор, ранее озаглавленный «Сканеры и сборщики Google (пользовательские агенты)», был разделен на более специализированные страницы, обеспечивающие более четкое и полное понимание каждого аспекта.

  1. Общие сканеры
  2. Гусеницы для особых случаев
  3. Сборщики данных, запускаемые пользователем

1. Обычные краулеры

Судя по заголовку, это часто встречающиеся веб-сканеры; некоторые из них связаны с GoogleBot, например Google-InspectionTool, который работает под именем пользователя GoogleBot. Каждый бот, которого вы видите здесь, следует рекомендациям, установленным в файле robots.txt.

  • Googlebot
  • Изображение робота Googlebot
  • Видео робота Google
  • Новости Googlebot
  • Google StoreBot
  • Google-InspectionTool
  • GoogleДругое
  • GoogleOther-Image
  • GoogleДругое-Видео
  • Google-CloudVertexBot
  • Google-расширенный

3. Краулеры для особых случаев

Здесь мы обсуждаем ботов, привязанных к конкретным продуктам. Они получают доступ к этим продуктам на основе пользовательских соглашений и работают с уникальных IP-адресов, отличных от тех, которые используются сканерами GoogleBot.

Список сканеров для особых случаев:

  • AdSense
    Пользовательский агент для файла Robots.txt: Mediapartners-Google
  • AdsBot
    Пользовательский агент для Robots.txt: AdsBot-Google
  • AdsBot для мобильных устройств
    Пользовательский агент для файла Robots.txt: AdsBot-Google-Mobile
  • API-Google
    Пользовательский агент для файла Robots.txt: API-Google
  • Безопасность Google
    Пользовательский агент для файла Robots.txt: Google-безопасность

3. Сборщики данных, запускаемые пользователем

На странице «Сборщики, запускаемые пользователем» описаны боты, которые активируются по запросу пользователя, что объясняется следующим образом:

Сборщики данных, инициируемые пользователем, активируются пользователями с целью сбора данных в службе Google. Например, Google Site Verifier реагирует на команды пользователя, или сайт на Google Cloud Platform (GCP) позволяет своим пользователям получать внешний RSS-канал. Поскольку эти действия инициируются пользователями, эти сборщики обычно игнорируют правила, указанные в файлах robots.txt. Основные технические характеристики веб-сканеров Google также распространяются на сборщики данных, инициированные пользователем.

  • Сборщик данных
  • Центр издателей Google
  • Google Читать вслух
  • Google Проверка сайта

Еда на вынос:

Страница сводки поискового робота Google могла оказаться слишком подробной и, следовательно, менее практичной, поскольку не всем нужна такая подробная страница; вместо этого они обычно ищут конкретную информацию. Теперь страница предлагает более четкую перспективу в качестве точки входа, позволяя пользователям более подробно изучать более конкретные подтемы, связанные с тремя типами сканеров.

Пересмотр этого подхода может дать ценные предложения о том, как оживить страницу, которая может работать неэффективно из-за чрезмерной детализации. Разделив обширную страницу на отдельные, автономные страницы, каждая тема может удовлетворить различные потребности пользователей, что потенциально повышает их полезность и увеличивает шансы на более высокий рейтинг в результатах поиска.

Мне кажется, что это изменение не является отражением какой-либо корректировки алгоритма Google; скорее, это, по-видимому, улучшение их документации для улучшения пользовательского опыта, что потенциально открывает путь для добавления дополнительной информации.

Прочтите новую документацию Google

Обзор сканеров и сборщиков Google (пользовательских агентов)

Список распространенных сканеров Google

Список сканеров Google для особых случаев

Список сборщиков Google, запускаемых пользователем

Смотрите также

2024-09-19 02:08

HubSpot представляет маркетинговые инструменты на базе искусственного интеллекта

Как опытный веб-мастер с более чем двадцатилетним опытом работы за плечами, я должен признать, что последнее объявление HubSpot значительно пробудило у меня интерес. Пройдя через многочисленные цифровые преобразования и технологические достижения за время моего пребывания в должности, я могу с уверенностью сказать, что Breeze AI от HubSpot меняет правила игры как для маркетологов, так и для бизнеса.


На этой неделе HubSpot представил планы по более глубокому изучению искусственного интеллекта на своем ежегодном маркетинговом мероприятии Inbound. Они представили новый продукт под названием «Бриз.

«Бриз» — это система искусственного интеллекта, которая легко интегрируется в наши приложения для маркетинга, продаж и обслуживания клиентов во всей компании.

По данным HubSpot, цель состоит в том, чтобы сделать маркетинговые решения более простыми, быстрыми и оптимизированными, поскольку цифровые платформы становятся все более перенаселенными.

Карен Нг, вице-президент по продуктам HubSpot, рассказала в интервью Search Engine Journal:

Наша цель — разработать надежные инструменты для маркетологов, которые позволят им выделиться среди нынешнего всплеска контента, создаваемого искусственным интеллектом. Мы можем помочь вам в создании заголовков, блогов или аналогичного контента, но важно помнить, что в этом процессе всегда должен участвовать человек.

Breeze AI охватывает второго пилота, агентов рабочих процессов и обогащения данных

Слой Бриз включает в себя три основных компонента.

Бриз, второй пилот

Умный консультант на базе искусственного интеллекта, предлагающий индивидуальные советы и предложения, черпающий информацию из системы управления взаимоотношениями с клиентами (CRM), предоставленной HubSpot.

Нг объяснил:

Это искусственный интеллект-помощник, который может помочь вам с задачами где угодно, будь то через HubSpot, веб-браузер или мобильное устройство.

Бриз Агенты

Четыре автономных агента, способные управлять комплексными процессами, такими как создание контента, продвижение в социальных сетях, привлечение потенциальных клиентов и помощь клиентам, — и все это без необходимости вмешательства человека.

Нг добавил следующий контекст:

Автоматизировать рабочие процессы можно с помощью агентов. Однако они также могут создать для вас инвентарь контента. Тем не менее, тщательное изучение этого контента и принятие решения о том, что публиковать, по-прежнему крайне важно для вас в настоящее время.

Бриз Интеллект

Нг заявил:

Обеспечение надежности наших данных имеет решающее значение, поскольку эффективность ИИ во многом зависит от качества его обучающих данных.

Решение проблемы качества контента ИИ

Делая акцент на повышении эффективности с помощью ИИ, Нг подчеркнул важность человеческого контроля, когда дело касается контента, создаваемого ИИ.

«Нам действительно нужно следить за этим… Мы считаем, что создание контента по-прежнему осуществляется с помощью человека».

Обновления Центра маркетинга

Помимо Breeze, HubSpot обновляет Marketing Hub такими инструментами, как:

  • Content Remix для преобразования видео в клипы, аудио, блоги и многое другое.
  • Создание AI-видео посредством интеграции с HeyGen
  • Публикация роликов на YouTube и Instagram
  • Улучшенная маркетинговая аналитика и атрибуция

Эти объявления свидетельствуют о том, что HubSpot использует искусственный интеллект для объединения данных о клиентах.

Обновления HubSpot уже выпускаются, некоторые из них находятся в стадии публичной бета-версии.

Смотрите также

2024-09-18 16:38

Фрагменты результатов поиска Bing, которые можно прокручивать

Как опытный веб-мастер, всю жизнь работающий в постоянно меняющемся цифровом пространстве, я должен признать, что поначалу был ошеломлен последней функцией Bing — прокручиваемыми фрагментами результатов поиска. Как будто Microsoft решила дать нам возможность заглянуть в код Matrix!


С помощью Bing теперь вы можете перемещаться по конкретной сводке результатов поиска. Это означает, что когда вы сосредоточены на конкретном результате поиска, вы можете прокручивать это отдельное резюме, переходя от одной части к другой, пока не дойдете до следующего резюме.

Это немного сложно объяснить, поэтому я сделал GIF-изображение в действии:

Я заметил это через Хушала Бервани, который разместил больше видео и скриншотов на X.

Это то, что мы обычно видим в результатах поиска Bing

sanp для той же площади

» Хушал Бхервани (@b4k_khushal) 14 сентября 2024 г.

Мне это кажется ошибкой, но кто знает в наши дни…

Смотрите также

2024-09-18 15:14

Изменения Google LSA в логике проверки изменений ставок

Как опытный эксперт по SEO с более чем десятилетним опытом работы в постоянно развивающемся ландшафте цифрового маркетинга, я видел свою долю изменений и корректировок со стороны Google. Однако последнее письмо от Google о рекламе местных услуг действительно меняет правила игры – по крайней мере, так кажется!


Проще говоря, некоторые компании, рекламирующиеся через рекламу местных услуг Google, получили электронное письмо с заголовком «Обновления в процессе проверки корректировок ставок». Это письмо было специально адресовано тем рекламодателям, которые могли использовать API Google, связанный с этой службой.

В электронном письме говорится:

Вы получили это письмо, поскольку вас определили как возможного пользователя API для рекламы местных услуг Google.

Начиная с 16 сентября 2024 г., если вы измените поле «manual_cpa_bid_micros» в своей кампании Рекламы местных услуг через API, правила проверки будут изменены. Когда вы попытаетесь изменить «manual_cpa_bid_micros» для определенной категории, любые ставки, превышающие ноль, теперь будут одобрены.

Имейте в виду, что панель рекламодателя для Рекламы местных услуг по-прежнему будет отображать приблизительное потенциальное количество потенциальных клиентов по конкретной ставке. Это позволит вам использовать эту информацию в качестве руководства при принятии решения о вашей ставке.

Энтони Хигман задал вопрос X, спрашивая: «Означает ли это то, что я считаю? Могу ли я разместить ставку прямо сейчас, и будет ли любая ставка принята без ограничений?»

Это уведомление также вызвало обеспокоенность у нескольких других рекламодателей.

Вот электронная почта:

Смотрите также

2024-09-18 15:14

Фрагменты продуктов Google Search Console снова сообщают о всплеске, вероятно, это ошибка

Как опытный эксперт по SEO с многолетним опытом работы за плечами, я видел причуды и ошибки Google больше раз, чем могу сосчитать. Недавний всплеск отчета об эффективности поиска в Google Search Console для фильтра внешнего вида фрагментов продуктов заставил мое паучье чутье покалывать. Опять дежавю!


Кажется, отчет Google Search Console «Эффективность поиска» показывает еще одно увеличение данных при фильтрации по внешнему виду фрагмента продукта в поиске. Это явление также произошло в мае, что было связано с ошибкой, которую Google впоследствии устранил, и теперь, похоже, это происходит снова.

Изучив несколько учетных записей Google Search Console, я заметил увеличение количества отчетов, связанных с появлением фрагментов продукта в результатах поиска, начиная примерно с 13 или 14 августа. Вот один из примеров графиков, которые я проанализировал:

Хлоя Смит уведомила меня об этом сегодня утром по программе X, она сказала:

Кто-нибудь еще видел странное увеличение количества кликов/показов в поиске «Фрагмент продукта» в GSC?

Меня озадачивает, когда я замечаю, что на страницах продуктов отсутствуют элементы для нескольких клиентов, и, похоже, нет реализации схемы.

Она права — это может быть еще одна ошибка.

В прошлый раз это произошло, Джон Мюллер из Google сказал:

Люди здесь изучают детали этого, и это похоже на ошибку с нашей стороны в отчетах Search Console (и, кстати, похоже, это вообще не связано с обзорами ИИ, но я вижу, как это было бы заманчиво). Как только мы узнаем больше (а в идеале исправим это), мы, скорее всего, добавим аннотацию в Search Console и запись на странице аномалий данных.

Через несколько дней после этого Google внес некоторые изменения на свою страницу «Аномалии данных» в Search Console. В частности, они переработали раздел «Расширенные результаты», который раньше отображал информацию, но теперь помечен как удаленный.

15–27 мая (результаты поиска)

С 15 по 27 мая 2024 г. ошибка в системе журналирования влияла на отчеты Search Console по фрагментам продуктов. Следовательно, вы можете наблюдать рост количества кликов и показов в течение этого периода для типа внешнего вида поиска по фрагменту продукта в отчете об эффективности и наложения Показы в отчете с расширенными результатами по фрагменту продукта. Это всего лишь проблема регистрации, а не реальное увеличение количества кликов или показов.

Может быть, эта проблема всплыла раньше, или, возможно, это новая проблема или, возможно, вместо нее появилась совершенно новая функция?

Я не знаю. Когда я получу ответ, я обновлю эту историю.

Смотрите также

2024-09-18 15:14