Как опытный специалист по SEO с многолетним опытом работы за плечами, я могу с уверенностью сказать, что управление эффективностью сканирования вашего сайта имеет решающее значение для его общей производительности. Давайте углубимся в несколько практических советов, которые помогут вам ориентироваться в этих цифровых джунглях.
Сегодняшний вопрос SEO-вопрос поступил от Михала из Братиславы, который спрашивает:
«Один из моих клиентов управляет веб-сайтом, на котором есть фильтры местоположения на основе карты. Когда пользователи взаимодействуют с картой, генерируются уникальные URL-адреса со связанными фильтрами. К сожалению, эти URL-адреса не отображаются в карте сайта, но их примерно В консоли поиска Google записано 700 000 таких URL-адресов (не проиндексировано), что может отнимать слишком много бюджета сканирования веб-сайта.
Один из подходов может быть таким: давайте выработаем стратегию эффективного удаления этих URL-адресов. Вот план: сохранить исходный статус «индексировать, следить» для основного местоположения. Для вновь созданных URL-адресов в соседних областях измените настройки на «noindex, nofollow». Кроме того, пометьте соседние регионы каноническими ссылками, указывающими на базовое местоположение. И наконец, игнорируйте нежелательные ссылки с помощью инструмента «отклонить».
Отличный вопрос, Михал, и хорошие новости! Ответ прост в реализации.
Сначала давайте рассмотрим, как ваш подход может быть применим в таких отраслях, как электронная коммерция и издательское дело, тем самым расширяя его потенциальную полезность для более широкой аудитории. Впоследствии мы сможем углубиться в изложенные вами стратегии и в конечном итоге предложить работоспособное решение.
Что такое краулинг-бюджет и как создаются параметры, которые тратят его впустую
Если вы не уверены в том, что Михал подразумевает под «бюджетом сканирования», эксперты по SEO часто используют эту фразу для описания предела, за которым Google и другие поисковые системы перестают сканировать страницы веб-сайта.
Если бюджет сканирования расходуется на страницы с небольшой ценностью, небольшим содержанием или страницами, которые не могут быть проиндексированы, возможно, что ценные страницы и недавно созданные страницы могут не быть обнаружены в процессе сканирования.
Если они не обнаружены, возможно, они не будут обновлены или повторно просканированы. Если они не обновлены, они не будут генерировать для вас трафик для поисковой оптимизации (SEO).
Вот почему так важно оптимизировать краулинговый бюджет для повышения эффективности.
Михал продемонстрировал, что краткие URL-адреса с точки зрения поисковой оптимизации создаются по мере того, как клиенты применяют фильтры.
С точки зрения пользователя, этот опыт обогащает, однако, учитывая аспекты SEO, желательно иметь страницы, ориентированные на конкретное местоположение. Эта рекомендация справедлива как для платформ электронной коммерции, так и для издательских сайтов.
Розничные интернет-магазины могут ожидать, что покупатели будут искать товары по их цвету, например, красному или зеленому, или по категориям товаров, таким как одежда (например, футболки) и нескоропортящиеся товары (например, картофельные чипсы).
Они создают URL-адреса с параметрами, подобными фильтру поиска местоположений. Их также можно создавать, используя фильтры по размеру, полу, цвету, цене, вариациям, совместимости и т. д. в процессе покупок.
Отфильтрованные результаты помогают конечному пользователю, но напрямую конкурируют со страницей коллекции, и коллекция будет «тонкой» версией.
У издателей то же самое. Кто-то может находиться на SEJ и искать SEO или PPC в поле поиска и получить отфильтрованный результат. В отфильтрованном результате будут статьи, но категория публикации, вероятно, будет лучшим результатом для поисковой системы.
Отфильтрованные результаты могут быть проиндексированы, поскольку они публикуются на платформах социальных сетей, публикуются в виде комментариев в блогах или на форумах, которые устанавливают обратные ссылки, доступные для сканирования. Альтернативно, сотрудник службы поддержки клиентов может ответить на вопрос в блоге компании, или это может быть сделано множеством других способов.
Сейчас наша цель – убедиться, что поисковые системы не тратят время на сканирование «тонких» версий, чтобы вы могли максимально эффективно использовать свой бюджет на сканирование.
Разница между индексированием и сканированием
Прежде чем углубляться в предлагаемые концепции и средства защиты, давайте проясним ключевое различие: что отличает индексирование от сканирования.
Как опытный веб-мастер, я сталкивался с ситуациями, когда страницы сканируются поисковыми роботами (сканерами), но не появляются в результатах поиска (не индексируются). С другой стороны, проиндексированные страницы ранее проверялись этими ботами и, скорее всего, будут подвергнуты еще одному сканированию для проверки обновлений или ответов сервера.
Но не все проиндексированные страницы принесут трафик или попадут на первую страницу, поскольку они могут быть не лучшим возможным ответом на искомые запросы.
Теперь давайте перейдем к эффективному использованию краулингового бюджета для этих типов решений.
Использование Meta Robots или X Robots
Первоначальное предложение, которое сделал Михал, заключалось в использовании команды «‘index, Follow’». Эта инструкция сигнализирует поисковой системе о необходимости индексировать страницу и переходить по ее внутренним ссылкам. Хотя это может быть полезно, это эффективно только тогда, когда результат поиска обеспечивает оптимальный пользовательский опыт.
Насколько я вижу, это не так, поэтому я бы рекомендовал сделать его noindex,follow».
Возможно, эта страница не является основной, но вы можете продолжить изучение моего сайта, поскольку на нем много ценных страниц.
Если вы правильно настроили основное меню и внутренние навигационные ссылки, это должно побудить паука поисковой системы продолжить изучение этих связей.
Canonicals поможет решить проблему нерационального бюджета на сканирование
Канонические ссылки используются, чтобы помочь поисковым системам узнать, какую официальную страницу нужно индексировать.
Чтобы обеспечить последовательность и ясность, лучше всего назначить «официальной» версией только одну страницу продукта, даже если она существует по трем разным URL-адресам. Дубликаты страниц должны затем перенаправляться (каноническая ссылка) на эту официальную версию. И наоборот, официальная страница должна указывать на себя канонической ссылкой. Это правило применимо и к отфильтрованным местоположениям.
Если при поиске местоположения выдается несколько страниц городов или районов, вполне вероятно, что результат будет копировать официальную страницу, которая уже указана в вашей карте сайта.
Вместо того, чтобы связывать отфильтрованные результаты обратно сами с собой, когда контент остается идентичным исходной категории, направьте их на главную страницу для фильтрации, откуда они были первоначально получены.
Чтобы поисковые системы распознавали конкретную страницу как исходную или основную версию, когда она имеет схожий контент на различных локализованных страницах, направьте канонический тег на эту конкретную страницу, содержащую идентичные местоположения.
Вообще говоря, отфильтрованный или измененный результат обычно сохраняет исходную страницу, из которой он был получен. Поэтому каноническая ссылка уместна, чтобы вести на эту исходную страницу.
Если вы применяете «noindex», а также используете ссылающийся на себя канонический тег на той же странице, это создает ситуацию, когда эти две директивы SEO противоречат друг другу.
Когда кто-то ищет продукт по его названию на вашем сайте, результаты поиска могут конкурировать или даже затмить исходную страницу продукта или услуги.
Используя этот метод, вы, по сути, сообщаете пауку, что эту конкретную страницу следует исключить из процесса индексации, поскольку она не имеет существенной ценности для индексации. Однако это является официальной версией. Одновременное индексирование и исключение страницы может показаться необычным или нелогичным, но предлагается именно такой подход.
Вместо этого либо используйте каноническую ссылку, как обсуждалось ранее, либо не отображайте результат и вместо этого направьте каноническую ссылку на исходную версию.
Отклонить, чтобы повысить эффективность сканирования
Отказ не имеет ничего общего с эффективностью сканирования, если только пауки поисковых систем не находят ваши «тонкие» страницы через спам-обратные ссылки.
Использование инструмента отклонения от Google, по сути, позволяет вам сообщить: «Эти входящие ссылки сомнительны и потенциально опасны. Пожалуйста, не обращайте на них внимания при определении авторитетности нашего веб-сайта.
В большинстве случаев это не имеет значения, поскольку Google хорошо обнаруживает спам-ссылки и игнорирует их.
Не рекомендуется включать свой собственный веб-сайт и URL-адреса в инструмент отклонения, поскольку это может создать впечатление, что вы считаете свой сайт спамом или бесполезным для Google.
Кроме того, отклонение обратных ссылок не гарантирует, что паук поисковой системы будет игнорировать указанные ссылки при сканировании вашего веб-сайта, поскольку это просто указывает на то, что конкретную ссылку с другого сайта следует рассматривать как спам или нерелевантную.
Отказ не поможет повысить эффективность сканирования или сэкономить бюджет сканирования.
Как сделать бюджеты сканирования более эффективными
Ответ: robots.txt. Таким образом вы сообщаете конкретным поисковым системам и паукам, что сканировать.
Вы можете включить папки, которые вы хотите, чтобы они сканировали, обозначив их как разрешить, а также сказать «запретить» для отфильтрованных результатов, запретив знак «?» или символ «&» или любой другой, который вы используете.
Если вы хотите сканировать определенные параметры, включите соответствующие ключевые слова, такие как «‘?parameter=specific_value’» или конкретное имя параметра для эффективного извлечения данных.
Проще говоря, файл robots.txt помогает устанавливать маршруты для веб-сканеров и повышает их эффективность при навигации по вашему веб-сайту. После оптимизации этих путей крайне важно сосредоточиться на внутренних ссылках, которые представляют собой связи между различными страницами вашего сайта.
Они помогают паукам находить самые важные страницы и одновременно узнавать, о чем каждая из них.
Внутренние ссылки включают в себя:
- Панировочные сухари.
- Навигация по меню.
- Ссылки внутри контента на другие страницы.
- Меню подкатегорий.
- Ссылки в нижнем колонтитуле.
Если ваш веб-сайт обширен, возможно, вам будет полезно реализовать карту сайта. Это особенно полезно, когда паукам поисковых систем сложно быстро найти ваши самые важные страницы.
«Я считаю, что эта информация должна прояснить ваш вопрос. Мне часто задают этот вопрос, так что вы определенно не одиноки, столкнувшись с этим затруднительным положением.
Смотрите также
2024-10-03 11:39
