googleupdate

Вот что нового на этой неделе: мы обновили функциональность соединений в режиме ИИ, улучшили списки местных предприятий в Картах и добавили функции в Search Console.

Вот что важно для вас и вашей работы.

Google AI Mode Self-Citations Tripled, With More Organic Links

Последний отчёт SE Ranking о результатах поиска Google на основе искусственного интеллекта показывает, что Google всё чаще ссылается на собственные веб-сайты, что является заметным увеличением по сравнению с предыдущим отчётом девять месяцев назад.

Вот что изменилось: Самоссылки в ответах, генерируемых искусственным интеллектом, значительно увеличились, подскочив с 7% до 21%. Ранее эти ссылки в основном перенаправляли пользователей на страницы Google Business Profile. Теперь они чаще ведут на обычные страницы результатов поиска Google.

Почему это важно

Сейчас около 20% источников, отображаемых при генерации ответов ИИ, указывают на веб-сайты Google, а не на другие сайты. Эта тенденция, аналогичная той, которую мы наблюдали с AI Overviews, показывает, что Google направляет больше пользовательской активности на свои собственные платформы.

Хотя режим AI — относительно недавняя разработка, общая концепция кажется хорошо устоявшейся. Возможно, по мере того, как больше веб-сайтов будут ссылаться на контент Google, вы можете заметить уменьшение количества ссылок, указывающих на ваш собственный.

Что говорят люди

Морди Оберштейн, руководитель отдела бренда в SE Ranking, написал в LinkedIn:

Он также объяснил, что поскольку изменение затрагивает ссылки из Google Business Profile, это теперь проблема, которая выходит за рамки просто локального бизнеса.

Google Maps запускает Ask Maps с Gemini

Как SEO-эксперт, я очень рад новой функции Google ‘Ask Maps’. По сути, она позволяет вам общаться с Google Maps на обычном языке – вы можете задавать ей вопросы о местах, например, ‘Какие хорошие итальянские рестораны поблизости?’ или ‘Покажи мне кофейни с Wi-Fi’, и она предоставит вам рекомендации прямо на карте. Это огромный шаг к более естественному поиску и лучшему пользовательскому опыту, что Google всегда ставит в приоритет – и это здорово для SEO!

Ask Maps — это новая функция, использующая информацию Google о местах и отзывах, чтобы предоставить вам полезные ответы. Она учится на основе ваших прошлых поисков и сохраненных местоположений, чтобы персонализировать результаты. На данный момент вы можете использовать её в США и Индии.

Почему это важно

Предприятия, которые работали над своими онлайн-отзывами и профилями, могли бы извлечь большую выгоду из Ask Maps. У него есть потенциал выделить их более эффективно, чем традиционные списки в картах. Однако Google не поделился подробностями о том, как он выбирает, какие предприятия показывать, или предложит ли он платное размещение в этих рекомендациях.

Рейд утверждает, что Google теперь может понимать аудио и видео напрямую.

Лиз Рид, возглавляющая Google Search, недавно объяснила, как искусственный интеллект влияет на способность Google организовывать информацию и адаптировать результаты поиска для каждого пользователя.

По словам Рейд в интервью подкасту Access, продвинутый ИИ от Google теперь может понимать аудио и видео, а не только текст. Она также упомянула, что Google изучает способы приоритезации контента от изданий, на которые пользователи уже подписаны и за которые платят.

Почему это важно

Долгое время Google испытывал трудности с эффективным отображением подкастов и видео в результатах поиска, главным образом из-за того, что он фокусировался на названиях и письменных расшифровках. Теперь, по словам Рейда, это начинает меняться, потенциально предоставляя больше внимания аудио- и видеоконтенту, который не получал достаточного внимания в поиске на протяжении многих лет.

Если у вас есть платная стена, ранжирование с учётом подписки помогает гарантировать, что ваш контент будет показан в первую очередь людям, которые уже являются подписчиками, вместо того, чтобы быть скрытым от них, как это часто бывает, когда большинство пользователей не могут к нему получить доступ.

Что говорят люди

Слободан Манич из Web Performance Tools объяснил, что Google теперь понимает контент *внутри* аудио- и видеофайлов, а не только информацию *о* них. Google также учитывает разные языки и является ли пользователь подписчиком при отображении результатов поиска.

Manić написал в LinkedIn:

Google разрабатывает новый ИИ, который действительно может понимать содержание видео и подкастов, выходя за рамки простого преобразования их в текст. По словам Элизабет Рейд из Google, их последние модели ИИ могут анализировать стиль, смысл и общее качество аудио и видео, что позволяет добиться гораздо более глубокого понимания. Это также позволяет реализовать такие функции, как поиск контента на разных языках и настройка результатов поиска на основе ваших подписок.

Фильтр брендовых запросов в Search Console теперь доступен для всех подходящих сайтов.

Фильтр брендовых запросов теперь доступен для всех пользователей в Google Search Console. Джон Мюллер из Google недавно объяснил, как работает фильтр, в ответ на вопросы от сообщества.

Вот что вам нужно знать: Этот фильтр использует искусственный интеллект для автоматической категоризации поисковых запросов как относящихся к вашему бренду или общих запросов, даже если есть опечатки или пользователи ищут только названия продуктов. В настоящее время он не включает данные из небольших разделов вашего веб-сайта или сайтов с низкой видимостью. Джон Мюллер из Google подтвердил, что нет планов разрешить владельцам веб-сайтов контролировать, какие поисковые запросы считаются брендовыми.

Почему это важно

Вам не нужно использовать сложный код (например, регулярные выражения), чтобы разделить трафик от людей, которые нашли вас благодаря брендингу, и тех, кто открывает вас впервые. Google теперь обрабатывает это автоматически, предоставляя вам более чёткую картину того, откуда идёт ваш рост – новые клиенты или существующие.

Что говорят SEO-специалисты

Эли Шварц, автор книги «Product-Led SEO», написал в LinkedIn:

SEO-команды теперь могут чётко продемонстрировать, как их работа улучшает видимость по запросам, *не* напрямую связанным с брендом. Это также позволяет руководителям компаний получить более точную картину эффективности SEO, отсекая любые попытки замаскировать результаты трафиком, связанным с брендом.

Роджер Монтти отметил, что Google уже заявляет, что его фильтры отмечают неправильно написанные слова, что означает, что форма ручной проверки может быть не такой полезной, как улучшение способности ИИ правильно идентифицировать контент в первую очередь.

Тема недели: Путь от запроса до вашего сайта становится всё длиннее.

Google добавляет больше шагов между поиском и вашим сайтом, и добавил новые на этой неделе.

В последнее время Google меняет принцип работы поиска. Год назад типичный поиск приводил людей к новостным статьям и веб-сайтам. Теперь функции искусственного интеллекта Google все чаще показывают информацию непосредственно со страниц Google, а не перенаправляют пользователей на внешние издательства. Аналогично, когда вы используете Google Maps для поиска местных предприятий, вы теперь взаимодействуете с чат-ботом искусственного интеллекта, а не видите простой список результатов.

Как SEO-эксперт, я изучал, как Google на самом деле решает, какой контент показывать. Дело больше не только в ключевых словах. Они проводят гораздо более глубокую оценку *перед* тем, как даже рассматривать ваш сайт. И важно понимать, что даже такие вещи, как фильтр брендовых запросов – который кажется полезным на поверхности – на самом деле работают на базе ИИ Google, делая суждения о вашем бренде, которые в конечном итоге находятся вне вашего контроля. Это напоминание о том, что нам нужно сосредоточиться на создании действительно ценного контента, который ИИ Google признает как авторитетный.

По отдельности, каждое изменение, которое мы внесли, казалось логичным. Но взглянув на общую картину, я заметил, что наш сайт на самом деле становится *сложнее* для поиска через поисковые системы на этой неделе. Нам нужно выяснить, где мы теряем позиции.

Смотрите также

• Акции EUTR. ЕвроТранс: прогноз акций.
• Мы разобрались как работают обзоры искусственного интеллекта (& построили инструмент, чтобы доказать это)
• Анализ динамики цен на криптовалюту CRV: прогнозы CRV
• Обновления тенденций 2024 года: что действительно работает в SEO и контент-маркетинге через @sejournal, @lorenbaker
• Google Merchant Center Next получает поддержку дополнительных фидов
• Сообщение в нижнем колонтитуле поиска Bing, стимулирующее дополнительные поисковые запросы
• Google обновляет политику запрещенного использования генеративного искусственного интеллекта
• Как написать отчёты по SEO, которые привлекут внимание вашего главного исполнительного директора
• Спроси у СЕО: Как нам перенаправить Гугл с нашего старого имени бренда на новое?
• Волатильность рейтинга в Google Поиске остается высокой, скачок произошел в четверг.

2026-03-13 16:11

Привет всем, это ваш эксперт по SEO и PPC с еженедельным обзором! Я погружаюсь в новинки в мире PPC, уделяя особое внимание тому, как агентства управляют доступом в Merchant Center, что происходит со стратегиями назначения ставок и как мы, PPC-маркетологи, все адаптируемся к постоянно меняющемуся ландшафту онлайн-рекламы. Давайте начнем!

Google полностью запустил Merchant Center для агентств в США и Канаде, сделав его доступным для всех пользователей после успешного периода тестирования. В других новостях, недавняя дискуссия в Google Ads разъяснила распространенные недопонимания о Smart Bidding и запуске новых рекламных кампаний. И, новый отчет под названием ‘State of PPC 2026’ предлагает информацию о том, как маркетологи в настоящее время используют ИИ и автоматизацию в своей рекламе с оплатой за клик.

Вот что произошло на этой неделе и почему это важно для рекламодателей.

Merchant Center For Agencies теперь доступен в США и Канаде.

Центр рекламы в Merchant Center от Google для агентств теперь общедоступен в Соединенных Штатах и Канаде.

Продукт был впервые протестирован с несколькими агентствами в конце 2024 года. В октябре 2025 года мы расширили доступ для более широкого круга партнеров. Теперь, с этим обновлением, мы открываем доступ ещё большему количеству агентств, которые помогают предприятиям электронной коммерции управлять своими интернет-магазинами через несколько аккаунтов Merchant Center.

Merchant Center для агентств позволяет агентствам управлять всеми аккаунтами Google Merchant Center своих клиентов из одного удобного места.

Платформа Google предлагает функции для отслеживания эффективности аккаунтов, быстрого выявления проблем с продуктами и поиска способов улучшения результатов для нескольких клиентских аккаунтов.

Ключевые возможности включают:

• Единая панель мониторинга для нескольких аккаунтов Merchant Center.
• Диагностика, выявляющая проблемы на уровне предметов и учётных записей.
• Видимость возможностей оптимизации, таких как акции, конфигурация доставки и доступность товаров.
• Инструменты надзора, позволяющие агентствам отслеживать состояние аккаунтов у клиентов.

Мы работаем над тем, чтобы помочь агентствам тратить меньше времени на управление несколькими аккаунтами Merchant Center и получать более чёткие сведения о любых проблемах, влияющих на их товарные объявления и рекламу в Google Shopping.

Хотя сейчас он предлагается в США и Канаде, вам всё ещё необходимо обратиться в Google, чтобы настроить учётную запись Merchant Center для агентств.

Почему это важно для рекламодателей

Проблемы с Merchant Center часто проявляются в виде падения производительности, а не явных технических ошибок.

Как SEO-эксперт, я часто вижу рекламодателей, разочарованных внезапным падением трафика или показов. То, чего они не всегда осознают, заключается в том, что проблема обычно не в их кампаниях Google Ads как таковых. Чаще всего это что-то в их Merchant Center – например, отклонения товаров, ошибки в вашем товарном потоке или неправильные настройки доставки. Эти проблемы могут серьезно ограничить видимость ваших продуктов в Google Shopping и других сервисах Google, и это первое, что я всегда проверяю при поиске и устранении причин снижения эффективности.

Когда агентства работают со многими клиентами электронной коммерции, отслеживание важных данных для каждого из них может занимать много времени и отнимать ресурсы от планирования эффективных маркетинговых кампаний.

Хотя централизованная система не избавляет от необходимости управлять потоками данных или устранять неполадки, она помогает вам быстрее выявлять проблемы и оперативно решать их, прежде чем они повлияют на ваши кампании.

Это подчеркивает тесную связь между точной информацией о продукте и успешными кампаниями Shopping и Performance Max. Более качественные данные о продукте обычно приводят к лучшим результатам кампании.

Что говорят специалисты по PPC

Представитель Google Ads Джинни Марвин объявила в LinkedIn, что новый Merchant Center для агентств упрощает и ускоряет управление несколькими аккаунтами Merchant Center. Он также позволяет агентствам легко отслеживать проблемы с продуктами для всех своих клиентов в одном месте.

Объявление получило много положительных отзывов от профессионалов PPC. Менехем Ани, генеральный директор JXT Group, выразил свой восторг, а Сара Стемэн поблагодарила команду, назвав это отличным обновлением.

Google возражает против предположений о «холодном старте» в смарт-биддинге.

В этом выпуске подкаста Ads Decoded компания Google ответила на часто задаваемые вопросы о Smart Bidding.

Джинни Марвин вела эпизод, приветствуя Кристину Парк и Карло Бухманна, которые оба являются менеджерами продуктов в Google Ads.

Основной темой для обсуждения был лучший способ для рекламодателей устанавливать ставки при запуске новых рекламных кампаний.

Рекламодатели традиционно начинали новые кампании, используя стратегии ручной ставки или опцию «Максимизировать клики» для сбора данных о производительности, а затем переходили на «Интеллектуальную ставку», когда становилось доступно достаточно информации.

Руководство Google ставит под сомнение этот подход.

Команда продукта предлагает рекламодателям обычно начинать со стратегии назначения ставок, к которой они стремятся в долгосрочной перспективе, например, с максимизации конверсий или достижения определенной стоимости привлечения клиента.

Google утверждает, что функции Smart Bidding не просто анализируют данные из одной конкретной рекламной кампании. Вместо этого они учатся на всех ваших кампаниях, что помогает им быстрее адаптироваться – даже когда вы запускаете новую.

Обсуждение также затронуло несколько других тем, связанных со ставками, включая:

• Исследование «Умных ставок», функция, предназначенная для помощи кампаниям в обнаружении новых запросов за пределами существующих моделей назначения ставок.
• Важность точных сигналов конверсии и входных значений.
• Оценка эффективности кампании с учетом задержки конверсии.

Почему это важно для рекламодателей

Многие рекламодатели все еще не решаются в полной мере принять Smart Bidding, особенно при запуске новых кампаний или работе с аккаунтами, которые не получают много трафика. Раньше я чувствовал то же самое и, как правило, предпочитал использовать стратегию назначения ставок «Maximize Clicks» для новых кампаний, особенно для клиентов, с которыми мы только начали работать.

Руководство Google отражает то, как развивались системы платформы.

В наши дни системы строятся с упором на прямое участие рекламодателей с самого начала, вместо того, чтобы постепенно становиться более автоматизированными.

Это означает, что сейчас как никогда важно точно отслеживать конверсии, понимать ценность этих конверсий и убеждаться, что ваши рекламные кампании напрямую поддерживают общие бизнес-цели.

Если исходные данные, используемые для участия в аукционе, содержат ошибки или неполную информацию, просто корректировка вашего подхода к участию в аукционе позже не устранит основную проблему.

Что говорят профессионалы в области PPC

Когда Google Ads объявила тему своего последнего эпизода подкаста в LinkedIn, маркетологи ответили множеством интересных комментариев – некоторые были критическими, а другие – положительными.

Феликс Дюлер, управляющий директор Due Media GmbH, поделился опытом, полученным в работе с клиентами.

Спасибо, Ginny Marvin! Вот несколько моментов:

1. Я обнаружил, что при переходе на стратегию назначения ставок на основе CPA или ROAS, или при настройке новых аккаунтов, трафик часто начинается очень низким и требует много времени для разгона. Вместо этого, начало с ‘микро’ конверсий и стратегии Conversion Max, кажется, работает намного лучше для небольших аккаунтов.
2. Google часто предлагает увеличить CPA или снизить ROAS, а также рекомендует увеличить бюджеты. Однако эти предложения не всегда соответствуют общим бизнес-целям. Было бы полезно, если бы мы могли определить эти бизнес-цели в аккаунте, чтобы предложения Google были более релевантными.

Маурисио Ногера, основатель Tap Eat Solutions, сказал следующее о Smart Bidding:

Это действительно проницательное замечание о переходе к автоматическим ставкам. Меня интересует, как справляться с потенциальными недостатками – это немного ‘чёрный ящик’, и возникает вопрос о том, сколько контроля мы должны передать алгоритмам, и при этом убедиться, что мы не тратим деньги впустую. В частности, как нам поддерживать сильные списки отрицательных ключевых слов и внимательно следить за используемыми поисковыми запросами?

Важно сбалансировать улучшение рекламных креативов с внесением корректировок в ваши технические ставки. Я обнаружил, что даже отличная стратегия ставок не увенчается успехом, если сами ваши объявления не будут свежими и эффективными.

Отчёт State Of PPC 2026 Отражает Изменяющуюся Индустрию

На этой неделе был опубликован отчет State of PPC 2026, предлагающий информацию о том, как маркетологи ориентируются в текущем ландшафте оплаты за клик, помимо изменений, внесенных Google.

Этот отчёт собрал отзывы более чем от 1300 экспертов в области контекстной рекламы, что делает его самым всеобъемлющим обзором в своём роде на сегодняшний день.

Отчёт показывает, что то, как мы управляем PPC-кампаниями, меняется: в рекламные платформы добавляется всё больше автоматизации и функций искусственного интеллекта.

Например, в отчете показано, что LLM (большие языковые модели) теперь широко используются для выполнения общих задач PPC:

• 59% респондентов используют AI для помощи в написании рекламных текстов, по сравнению с 42% ранее.
• 39% используют ИИ для исследования ключевых слов, по сравнению с 27%.
• 39% используют ИИ для написания электронных писем.
• 35% используют ИИ для подведения итогов встреч, что является резким увеличением по сравнению с предыдущими 9%.
• 34% используют ИИ для написания или редактирования сценариев, используемых в рабочих процессах PPC.

В отчете также отмечается новое поведение, возникающее у маркетологов.

Около 22% маркетологов, работающих с оплатой за клик (PPC), сейчас используют инструменты искусственного интеллекта (AI) для создания пользовательских процессов и простых приложений без необходимости написания традиционного компьютерного кода. Эта практика называется «vibe coding».

Почему это важно для рекламодателей

Отчёт показывает, что всё больше компаний начинают использовать ИИ, но в контексте рекламы с оплатой за клик (PPC) он в настоящее время помогает людям выполнять свою работу, а не работает полностью самостоятельно.

Маркетологи охотно внедряют ИИ для таких задач, как создание контента, исследования, анализ данных и оптимизация своей работы. Однако они реже используют его для таких вещей, как управление бюджетами или улучшение центральных частей своих маркетинговых кампаний.

В отчёте было установлено, что основная проблема заключается не в получении доступа к инструментам ИИ — а в доверии к результатам, которые они выдают. Даже при использовании ИИ, люди всё ещё должны проверять и подтверждать информацию, прежде чем использовать её в своей работе.

Что говорят профессионалы PPC?

Виннанд Мейер, соучредитель и генеральный директор TrueClicks, поделился запуском отчета в LinkedIn.

Публикация получила много положительных отзывов и благодарности в комментариях. Эшвин Балакришнан специально отметил, что это ценный ресурс, сказав: «В это было вложено много усилий, это очень нужная отправная точка для многих людей!»

Брук Уэллер, консультант по поиску с использованием ИИ в LinkedIn, назвала отчет «жидким золотом.»

Тема недели: Платформы все еще решают проблемы с операционной деятельностью.

Как человек, который уже некоторое время управляет PPC-кампаниями, я внедрил несколько обновлений на этой неделе. Они могут показаться несвязанными, но поверьте мне, они все работают вместе, чтобы улучшить работу под капотом – все, от настройки кампаний до отчетов.

Merchant Center для агентств ориентирован на упрощение управления аккаунтами для клиентов электронной коммерции.

Google по-прежнему предоставляет рекомендации, чтобы помочь рекламодателям получить максимальную отдачу от функций Smart Bidding, особенно при запуске новых кампаний.

Последний отчёт State of PPC показывает, как digital-маркетологи адаптируются к растущим сложностям запуска кампаний на различных платформах и с использованием разных инструментов.

Эти изменения подчеркивают текущий фокус для обеих платформ и маркетологов: оптимизацию процессов, улучшение данных, используемых для автоматизированных задач, и постоянную адаптацию к растущей сложности рекламы с оплатой за клик.

Смотрите также

• Акции EUTR. ЕвроТранс: прогноз акций.
• Мы разобрались как работают обзоры искусственного интеллекта (& построили инструмент, чтобы доказать это)
• Анализ динамики цен на криптовалюту CRV: прогнозы CRV
• Обновления тенденций 2024 года: что действительно работает в SEO и контент-маркетинге через @sejournal, @lorenbaker
• Google Merchant Center Next получает поддержку дополнительных фидов
• Сообщение в нижнем колонтитуле поиска Bing, стимулирующее дополнительные поисковые запросы
• Google обновляет политику запрещенного использования генеративного искусственного интеллекта
• Как написать отчёты по SEO, которые привлекут внимание вашего главного исполнительного директора
• Спроси у СЕО: Как нам перенаправить Гугл с нашего старого имени бренда на новое?
• Волатильность рейтинга в Google Поиске остается высокой, скачок произошел в четверг.

2026-03-13 14:42

Гэри Ильиэс и Мартин Сплитт из Google недавно обсудили Googlebot в подкасте, уточнив, что это не единое целое. Вместо этого он состоит из сотен различных сканеров, используемых в различных продуктах и сервисах Google, многие из которых неизвестны публике.

Что такое Googlebot

Googlebot — это веб-краулер Google, который используется для обнаружения и индексации контента в Интернете. Он сканирует общедоступные веб-страницы, следуя ссылкам, и добавляет информацию в индекс Google. Этот индекс используется для предоставления релевантных результатов поиска пользователям. По сути, Googlebot — это инструмент, который помогает Google понимать, о чем ваш сайт, чтобы он мог отображаться в результатах поиска, когда люди ищут информацию, связанную с вашим контентом. Важно понимать, как работает Googlebot, чтобы убедиться, что ваш сайт правильно индексируется и отображается в поиске. Например, для Kingdom Come: Deliverance 2 важно, чтобы Googlebot мог получить доступ ко всем страницам, содержащим информацию об игре, включая страницы с DLC и Elden Ring. В контексте Fortnite или Call of Duty, Googlebot должен индексировать страницы с информацией о последних обновлениях и турнирах. Также, Googlebot важен для игр, таких как Marvel Rivals, Avowed и Brawl Stars, где часто публикуются новые материалы. Влияние на Roblox и другие подобные платформы также существенно. В случае с Dragon Ball, Googlebot индексирует страницы с информацией о новых выпусках и событиях. Для игр серии Elders Scroll, важно, чтобы Googlebot мог получить доступ ко всем страницам с информацией об играх и обновлениях. COD и другие популярные игры также нуждаются в правильной индексации. TopMob – это отдельный сервис, не связанный с Googlebot. Olympus – также не связан с Googlebot.

Гэри объясняет, что «Googlebot» — это имя из ранних дней Google, когда они использовали только один веб-краулер. Хотя Google теперь использует множество различных краулеров для своих различных продуктов, оригинальное имя, Googlebot, осталось, хотя и больше не относится к единому объекту.

Он также уточняет, что Googlebot – это не вся система сканирования, и не единая сущность. Вместо этого, Googlebot – это всего лишь одна программа, которая подключается к более крупному, внутреннему сервису сканирования Google – фактической инфраструктуре, которая выполняет работу.

«Как я могу представить Googlebot? Как примерно выглядит наша инфраструктура сканирования?»

Название ‘Googlebot’ на самом деле немного вводит в заблуждение. Раньше оно было точным в начале 2000-х годов, когда у нас был только один продукт и, следовательно, один сканер. Но после запуска AdWords, а затем и других продуктов, нам потребовалось несколько сканеров. Теперь у нас работает множество различных сканеров.

В итоге мы назвали всю нашу систему сканирования ‘Googlebot’, но это было не совсем верно. ‘Googlebot’ конкретно относился только к одному компоненту – это не была вся инфраструктура сама по себе.

Инфраструктура ползания имеет название.

Гэри затем поделился, что внутренняя кодовая система веб-сканирования Google имеет внутреннее кодовое имя, но он не раскрыл, какое именно.

Как человек, который давно управляет веб-сайтами, хочу прояснить, как мы на самом деле сканируем веб. Люди часто спрашивают о ‘Googlebot’, но это не совсем название нашей основной системы сканирования. У нас есть внутреннее название для неё – давайте просто назовём её ‘Jack’ для простоты. Представьте ‘Jack’ как ‘Software as a Service’ – систему с API. По сути, мы можем использовать эти API для запроса информации с веб-сайтов по всему интернету. Речь идёт не об одном ‘боте’, а скорее о сервисе, который мы используем для получения веб-страниц.

При отправке этих запросов в систему вам также необходимо будет указать детали, такие как время ожидания ответа, user agent для идентификации и как соблюдать правила веб-сайта, указанные в его файле robots.txt. Это все важные настройки, которые необходимо сконфигурировать.

Как digital marketer, я часто работаю с API, и многие из них имеют встроенные настройки по умолчанию. Это означает, что вам не *всегда* нужно включать каждый параметр в ваши запросы, что делает всё аккуратным и оптимизированным. По сути, вы делаете запрос к серверу – будь то в облаке или в центре обработки данных – и он обрабатывает получение данных для вас или вашего приложения.

Этот инструмент существует уже давно, и его основная функция всегда оставалась прежней: безопасно извлекать информацию из интернета в рамках ограничений, установленных веб-сайтом. Проще говоря, он получает контент из сети, соблюдая все действующие ограничения.

Сотни краулеров SEO не знают об этом.

Как специалист по цифровому маркетингу, я всегда знал, что система обхода Google сложнее, чем то, что доступно публично. Гари Ильес из Google подтвердил это – у них есть множество внутренних команд, использующих их инфраструктуру обхода для различных задач. В то время как мы, специалисты SEO, знакомы с основными краулерами Googlebot, потенциально существуют десятки, даже сотни других, работающих за кулисами, которые Google не документирует публично. Важно помнить, что то, что мы *знаем* о Googlebot – это лишь верхушка айсберга!

Как цифровой маркетолог, я заметил, что небольшие веб-краулеры – те, которые не привлекают к себе особого внимания – часто не имеют официальной документации. Просто непрактично отслеживать их все. Однако, как только краулер увеличивается в размере и начинает оказывать значительное влияние, он обычно подвергается проверке и должным образом документируется. Речь идет о расстановке приоритетов ресурсов, по сути.

Мы стремимся документировать большинство программ, которые Google использует для сбора информации из интернета, но из-за огромных масштабов Google, многим разным командам необходимо собирать данные. Это приводит к огромному количеству веб-краулеров – потенциально сотням – которые нам нужно отслеживать, включая специализированные.

Непрактично перечислять каждый веб-краулер на базовой HTML-странице. Поэтому мы сосредоточены на документировании значимых краулеров – тех, которые делают много запросов в интернет. Место на нашем сайте документации по краулерам, developers.google.com/crawlers, ограничено и лучше всего используется для важной информации.

Мы планируем охватить другие аспекты в будущем, но прямо сейчас наша документация фокусируется на основных веб-краулерах и конкретных методах получения данных просто потому, что у нас ограничено место.

Разница между Crawlers и Fetchers

Гэри отмечает, что хотя и краулеры, и фетчеры являются частью того, что люди знают как Googlebot, они не совсем одно и то же.

Вот простое объяснение: краулеры обрабатывают информацию группами, а фетчеры обрабатывают URL-адреса по одному. Вы предоставляете фетчеру один URL-адрес, и он извлекает только его. Он не может обработать список URL-адресов сразу.

Веб-краулеры непрерывно собирают URL-адреса и собирают информацию из интернета для вашей команды.

Как человек, который годами строил и поддерживал веб-сайты, у нас есть твердое правило о том, как мы обрабатываем запросы данных. Все, что мы извлекаем из внешних источников, должно быть вызвано действием пользователя или иметь кого-то, кто активно ждет эту информацию. Просто автоматически извлекать данные недостаточно; должна быть четкая связь с пользователем или процессом, ожидающим эту информацию. Это гарантирует, что мы не будем без необходимости загружать данные и уважать пользовательский опыт.

В то время как с краулерами это как просто сделай это, когда у тебя есть время.

Мартин и Гари упомянули, что они используют несколько внутренних веб-краулеров и средств извлечения данных, которые не документированы публично. Гари объяснил, что у него есть система, которая помечает краулеров, превышающих ежедневные лимиты сканирования и извлечения. Когда это происходит, он разбирается с ответственной командой, чтобы понять активность и убедиться, что она не непреднамеренная. Если краулер значительно увеличивает свою активность, Гари затем решает, нужно ли его документировать для широкого веб-сообщества.

Послушайте подкаст Search Off The Record здесь:

https://www.youtube.com/watch?v=JpweMBnpS4Q

Смотрите также

• Акции EUTR. ЕвроТранс: прогноз акций.
• Мы разобрались как работают обзоры искусственного интеллекта (& построили инструмент, чтобы доказать это)
• Анализ динамики цен на криптовалюту CRV: прогнозы CRV
• Обновления тенденций 2024 года: что действительно работает в SEO и контент-маркетинге через @sejournal, @lorenbaker
• Google Merchant Center Next получает поддержку дополнительных фидов
• Сообщение в нижнем колонтитуле поиска Bing, стимулирующее дополнительные поисковые запросы
• Google обновляет политику запрещенного использования генеративного искусственного интеллекта
• Как написать отчёты по SEO, которые привлекут внимание вашего главного исполнительного директора
• Спроси у СЕО: Как нам перенаправить Гугл с нашего старого имени бренда на новое?
• Волатильность рейтинга в Google Поиске остается высокой, скачок произошел в четверг.

2026-03-13 12:41