Поисковый журнал

Руководство по robots.txt: лучшие практики для SEO

от

Как опытный веб-мастер с многолетним опытом работы за плечами, я могу подтвердить важность правильного создания файла robots.txt. Это похоже на работу вышибалой в клубе, только вместо людей вы управляете ботами поисковых систем.

Как профессионал в области цифрового маркетинга, умение использовать файл robots.txt имеет важное значение для любой успешной стратегии SEO, которую я использую. Ошибки в этом файле могут повлиять на индексацию моего сайта поисковыми системами и повлиять на видимость отдельных страниц. Однако при правильном использовании он может повысить эффективность сканирования и уменьшить потенциальные проблемы при сканировании.

Как опытному веб-мастеру, Google только что напомнил мне о важности использования хорошо продуманного файла robots.txt для предотвращения нежелательных URL-адресов на моих веб-сайтах. Все дело в сохранении контроля над тем, как боты поисковых систем взаимодействуют с моим контентом и индексируют его.

Как специалист по цифровому маркетингу, я часто в своей повседневной работе сталкиваюсь с такими терминами, как страницы «добавление в корзину», «вход» и «оформление заказа». Однако реальная проблема заключается в их эффективном использовании. Вот простая разбивка:

В этой статье мы расскажем вам обо всех нюансах, как это сделать.

Что такое Robots.txt?

Проще говоря, файл robots.txt, расположенный в основной папке вашего веб-сайта, служит руководством для веб-сканеров, указывая им, какие страницы или разделы вашего сайта доступны для индексации.

В таблице ниже приведены краткие ссылки на ключевые директивы файла robots.txt.

Директива Описание
Пользовательский агент Указывает, к какому сканеру применяются правила. См. токены пользовательского агента. Использование * нацелено на всех сканеров.
Запретить Запрещает сканирование указанных URL-адресов.
Позволять Разрешает сканирование определенных URL-адресов, даже если родительский каталог запрещен.
Карта сайта Указывает местоположение вашего XML-файла Sitemap, помогая поисковым системам обнаружить его.

Это пример файла robot.txt с сайта ikea.com с несколькими правилами.

Обратите внимание, что файл robots.txt не поддерживает полные регулярные выражения и содержит только два подстановочных знака:

  • Звездочки (*), соответствующие 0 или более последовательностям символов.
  • Знак доллара ($), соответствующий концу URL-адреса.

Также обратите внимание, что его правила чувствительны к регистру, например, «filter=» не равно «Filter=».

Порядок приоритета в robots.txt

Чтобы эффективно создать файл robots.txt, важно понимать, как поисковые системы расставляют приоритеты и выбирают между противоречивыми рекомендациями. Это означает знание последовательности, которой они следуют при работе с конкурирующими правилами в вашем файле.

Они следуют этим двум ключевым правилам:

1. Самое конкретное правило

Будет применено правило, соответствующее большему количеству символов в URL-адресе. Например:

User-agent: *
Disallow: /downloads/
Allow: /downloads/free/

Правило «Разрешить: /downloads/free/» более точное, чем «Запретить: /downloads/», поскольку оно конкретно обращается к подкаталогу в основном каталоге.

Google разрешает сканирование подпапки «/downloads/free/», но запрещает индексирование всего остального в папке «/downloads/».

2. Наименее ограничительное правило

Когда несколько правил одинаково специфичны, например:

User-agent: *
Disallow: /downloads/
Allow: /downloads/

Google выберет наименее ограничительный вариант. Это означает, что Google разрешит доступ к /downloads/.

Почему файл robots.txt важен для SEO?

Как специалист по цифровому маркетингу, я считаю полезным стратегически использовать файл robots.txt, чтобы ограничить доступ робота Googlebot к несущественным веб-страницам. Это позволяет боту сконцентрировать свой краулинговый бюджет на ценных разделах сайта и вновь созданных страницах. Кроме того, блокируя ненужные страницы, мы помогаем поисковым системам экономить вычислительные ресурсы, способствуя большей устойчивости наших усилий в области цифрового маркетинга.

Представьте себе такой сценарий: вы управляете огромным онлайн-рынком с сотнями тысяч веб-страниц. Некоторые области веб-сайта, такие как результаты поиска или списки продуктов на основе фильтров, потенциально могут иметь неограниченное количество вариантов.

Именно здесь на помощь приходит файл robots.txt, который не позволяет ботам поисковых систем сканировать эти страницы.

Неправильная обработка параметров URL-адресов может привести к тому, что Google попытается просканировать бесконечный массив URL-адресов, некоторые из которых могут даже не существовать. Это может привести к скачкам ресурсов и растрате краулингового бюджета вашего сайта.

Когда использовать robots.txt

В большинстве случаев важно задаться вопросом о назначении конкретных веб-страниц и определить, есть ли смысл для сканеров поисковых систем сканировать и составлять их списки.

Если исходить из этого принципа, то, конечно, мы всегда должны блокировать:

  • URL-адреса, содержащие параметры запроса, такие как:
    <ул>

  • Внутренний поиск.
  • URL-адреса фасетной навигации, созданные с помощью параметров фильтрации или сортировки, если они не являются частью структуры URL-адресов и стратегии SEO.
  • URL-адреса действий, например «Добавить в список желаний» или «Добавить в корзину».
  • Частные части веб-сайта, такие как страницы входа.
  • Файлы JavaScript, не имеющие отношения к содержимому или рендерингу веб-сайта, например сценарии отслеживания.
  • Блокируйте парсеры и чат-боты с искусственным интеллектом, чтобы они не могли использовать ваш контент в своих учебных целях.

Давайте углубимся в то, как вы можете использовать robots.txt для каждого случая.

1. Блокируйте страницы внутреннего поиска

Важнейшим и незаменимым действием является предотвращение индексации внутренних поисковых ссылок поисковыми системами, такими как Google, поскольку почти все веб-сайты оснащены встроенной функцией поиска.

На веб-сайтах WordPress это обычно параметр «s», а URL-адрес выглядит следующим образом:

https://www.example.com/?s=google

Как специалист по цифровому маркетингу, я прислушался к неоднократному совету Гэри Иллиеса о том, чтобы запретить доступ Googlebot к URL-адресам «действия». Эти типы URL-адресов могут привести к тому, что робот Googlebot будет их бесконечно сканировать, даже если эти URL-адреса не существуют или представляют собой разные комбинации. Чтобы избежать потенциальных проблем с бесконечным сканированием, я гарантирую, что эти URL-адреса действий эффективно блокируются в структуре нашего веб-сайта.

Вот правило, которое вы можете использовать в файле robots.txt, чтобы заблокировать сканирование таких URL-адресов:

User-agent: *
Disallow: *s=*
  1. Строка User-agent: * указывает, что правило применяется ко всем веб-сканерам, включая Googlebot, Bingbot и т. д.
  2. Строка Disallow: *s=* сообщает всем сканерам не сканировать URL-адреса, содержащие параметр запроса «s=». Подстановочный знак «*» означает, что он может соответствовать любой последовательности символов до или после «s=». Однако он не будет сопоставлять URL-адреса с заглавной буквой «S», например «/?S=», поскольку он чувствителен к регистру.

На этом сайте им удалось существенно снизить скорость сканирования нефункциональных внутренних поисковых ссылок, заблокировав их с помощью файла robots.txt.

Имейте в виду, что Google может внести в каталог заблокированные вами страницы, но не стоит беспокоиться, поскольку они постепенно исчезнут из своих записей.

2. Блокируйте URL-адреса фасетной навигации.

В каждом интернет-магазине фасетная навигация играет решающую роль. Иногда эта функция также включается в план SEO с целью появления в результатах поиска для широких категорий продуктов.

Например, Zalando структурирует свои URL-адреса, используя фасетную навигацию для выбора цвета, что помогает ему ранжироваться по более широким терминам продукта, таким как «серая футболка».

Обычно эти параметры фильтра не используются по назначению; вместо этого они служат в основном инструментом для фильтрации элементов, в результате чего множество страниц заполняются повторяющимся контентом.

С моей точки зрения как опытного веб-мастера, эти параметры имеют сходство с параметрами внутреннего поиска, но есть ключевое отличие: они могут проявляться в нескольких формах. Очень важно заблокировать все варианты, чтобы сохранить целостность и безопасность вашего сайта.

Вот способ перефразировать данный текст:

User-agent: *
Disallow: *sortby=*
Disallow: *color=*
Disallow: *price=*

В зависимости от вашего конкретного случая параметров может быть больше, и вам может потребоваться добавить их все.

А как насчет параметров UTM?

Параметры UTM используются для отслеживания.

Согласно тому, что Джон Мюллер опубликовал на Reddit, нет необходимости беспокоиться о внешних ссылках, указывающих на ваши веб-страницы с использованием параметров URL.

Убедитесь, что вы исключили любые произвольные переменные, используемые в вашей системе, и воздержитесь от внутреннего подключения к таким страницам, например, не связывайте статьи со страницей поиска с помощью поискового запроса типа «https://www.example.com/search?q». = Гугл.» Вместо этого стремитесь к более чистым и удобным для пользователя URL-адресам.

3. Блокируйте URL-адреса PDF-файлов

Предположим, у вас под рукой имеется множество PDF-файлов — руководств пользователя, каталогов или статей для загрузки — и вы хотите запретить их поиск или индексирование.

Вот простое правило robots.txt, которое блокирует доступ поисковых роботов к этим документам:

User-agent: *
Disallow: /*.pdf$

Строка «Disallow: /*.pdf$» указывает сканерам не сканировать URL-адреса, заканчивающиеся на .pdf.

Использование `/*`, как правило, соответствует любому пути на сайте. Следовательно, URL-адреса, заканчивающиеся на .pdf, не будут разрешены для сканирования.

Чтобы предотвратить загрузку PDF-файлов в каталог загрузок вашего веб-сайта WordPress через систему управления контентом (CMS), вы можете реализовать это правило:

User-agent: *
Disallow: /wp-content/uploads/*.pdf$
Allow: /wp-content/uploads/2024/09/allowed-document.pdf$

Вы можете видеть, что у нас здесь противоречивые правила.

Если существует несколько правил, противоречащих друг другу, приоритет будет иметь более подробное или конкретное правило. Это означает, что сканирование будет разрешено только PDF-документу, расположенному в папке «wp-content/uploads/2024/09/allowed-document.pdf».

4. Заблокировать каталог

Предположим, вы работаете с формой, которая отправляет данные через конечную точку API. URL-адрес этой конечной точки может выглядеть примерно так: «/form/submissions/.

Проблема в том, что Google может попытаться получить доступ к URL-адресу «/form/submissions/», который вы, вероятно, не собираетесь посещать. Чтобы предотвратить индексацию таких URL-адресов, рассмотрите возможность реализации этого правила:

User-agent: *
Disallow: /form/

Как специалист по цифровому маркетингу, я хотел бы поделиться эффективным способом контроля над тем, как сканеры поисковых систем перемещаются по вашему веб-сайту: определяя каталог в правиле Disallow, вы, по сути, даете им указание обходить все страницы в этом конкретном каталоге. Это означает, что вам больше не нужно использовать подстановочный знак (*), например «/form/*». Этот метод может быть полезен, если вы хотите ограничить доступ к определенным разделам вашего сайта во время SEO-оптимизации.

Не забывайте всегда использовать относительные пути вместо абсолютных URL-адресов при определении директив Disallow и Allow. Например, вместо использования «https://www.example.com/form/» вам следует написать просто «/form/» или любой другой путь относительно корневого каталога вашего проекта.

Чтобы предотвратить создание неправильных правил, составляйте их тщательно. Например, отсутствие косой черты в конце «/form» может непреднамеренно совпадать с такими URL-адресами, как «/form-design-examples/», которые могут быть публикацией из вашего блога, которую вы хотите исключить из индексации.

5. Блокируйте URL-адреса учетных записей пользователей.

На сайте электронной коммерции вполне возможно, что вы найдете папки, начинающиеся с «/myaccount/», например «/myaccount/orders/» и «/myaccount/profile/».

Чтобы ваша страница входа, расположенная по адресу «/myaccount/», была легко доступна пользователям через поисковые системы, было бы полезно запретить сканирование ее подстраниц ботом Google (Googlebot). Таким образом, фокус сохраняется на главной странице входа.

Вы можете применить правило «Запретить», а затем правило «Разрешить», чтобы запретить доступ ко всему содержимому папки «/myaccount/», за исключением самой страницы «/myaccount/».

User-agent: *
Disallow: /myaccount/
Allow: /myaccount/$

Перефразируя, Google не разрешает индексировать ничего в папке «/myaccount/», за исключением самой главной страницы «/myaccount/». В этом случае следует более конкретное правило.

В этом сценарии рассмотрите возможность использования сочетания директив «Запретить» и «Разрешить» для достижения оптимального результата. Например, если ваши поисковые запросы расположены в каталоге «/search/» и вы хотите, чтобы их можно было обнаружить и проиндексировать, но исключить фактические URL-адреса поиска, вот пример того, как вы можете его структурировать:

User-agent: *
Disallow: /search/
Allow: /search/$

6. Блокируйте файлы JavaScript, не связанные с рендерингом

Большинство веб-сайтов используют JavaScript, причем большая часть этих скриптов служит целям, не связанным с отображением контента, включая сценарии отслеживания, загрузчики AdSense и т. д.

Ниже приведен пример строки, запрещающей пример JavaScript, содержащий пиксели отслеживания.

User-agent: *
Disallow: /assets/js/pixels.js

7. Блокируйте чат-ботов и скраперы с искусственным интеллектом

Многие издательства выражают обеспокоенность по поводу того, что их материалы без согласия используются для разработки моделей искусственного интеллекта — практики, которую они стараются избегать.

#ai chatbots
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: cohere-ai
User-agent: Bytespider
User-agent: Google-Extended
User-Agent: PerplexityBot
User-agent: Applebot-Extended
User-agent: Diffbot
User-agent: PerplexityBot
Disallow: /
#scrapers
User-agent: Scrapy
User-agent: magpie-crawler
User-agent: CCBot
User-Agent: omgili
User-Agent: omgilibot
User-agent: Node/simplecrawler
Disallow: /

В этой настройке отдельно упоминается каждый пользовательский агент, а инструкция «Запретить: /» означает, что роботам следует избегать доступа к какой-либо части веб-сайта.

Кроме того, эта функция не только запрещает искусственному интеллекту изучать ваш контент, но также снижает нагрузку на ваш сервер, ограничивая сбор чрезмерных данных.

Чтобы выяснить, какие боты могут нуждаться в блокировке из-за перегрузки вашего сервера, рекомендуется проверить файлы журналов вашего сервера на наличие сканеров, вызывающих чрезмерный трафик. Имейте в виду, что, хотя файл robots.txt помогает направлять ботов, он не предотвращает несанкционированный доступ.

8. Укажите URL-адреса файлов Sitemap.

Указывая URL-адрес карты сайта в файле robots.txt, вы позволяете поисковым системам легко перемещаться по всем важным страницам вашего веб-сайта. Это достигается за счет включения определенной строки, ведущей к местоположению вашей карты сайта, и вы даже можете указать несколько карт сайта, каждую в отдельной строке.

Sitemap: https://www.example.com/sitemap/articles.xml
Sitemap: https://www.example.com/sitemap/news.xml
Sitemap: https://www.example.com/sitemap/video.xml

Вместо правил «Разрешить» или «Запретить», которые могут указывать только относительный путь, директива Sitemap требует полный абсолютный URL-адрес для определения местоположения карты сайта.

Во избежание ошибок убедитесь, что URL-адреса файлов Sitemap доступны поисковым системам и имеют правильный синтаксис.

9. Когда использовать задержку сканирования

Проще говоря, инструкция задержки сканирования в файле robots.txt устанавливает время в секундах, в течение которого веб-сканер должен сделать паузу перед переходом к следующей странице. Хотя бот Google не подтверждает эту команду, другие веб-сканеры могут ей подчиняться.

Это помогает предотвратить перегрузку сервера, контролируя частоту сканирования вашего сайта ботами.

Чтобы ClaudeBot не перегружал ваш сервер во время обучения ИИ, выполняя слишком много запросов одновременно, рассмотрите возможность установки задержки сканирования, чтобы регулировать временной интервал между каждым запросом.

User-agent: ClaudeBot
Crawl-delay: 60

Инструкции предписывают ClaudeBot делать паузу на 60 секунд после каждого запроса, который он делает во время просмотра сайта.

Конечно, могут быть боты с искусственным интеллектом, которые не соблюдают директивы о задержке сканирования. В этом случае вам может потребоваться использовать веб-брандмауэр, чтобы ограничить их скорость.

Устранение неполадок в файле Robots.txt

Создав собственный файл robots.txt, я воспользуюсь этими полезными инструментами для устранения любых потенциальных синтаксических ошибок и гарантирую, что я случайно не заблокировал критически важную веб-страницу от сканирования поисковыми системами.

1. Валидатор Robots.txt консоли поиска Google

Выполните следующие простые шаги: перейдите в меню «Настройки» и найдите «robots.txt». Там вы обнаружите встроенный верификатор robots.txt. Вот обучающее видео, показывающее, как получить и проверить файл robots.txt.

2. Парсер Google Robots.txt

Этот парсер является официальным парсером robots.txt от Google, который используется в Search Console.

Чтобы настроить и эффективно использовать его на своем персональном компьютере, необходимы некоторые передовые ноу-хау. Однако я настоятельно советую уделить время и внимательно следовать инструкциям на этой странице, поскольку это позволяет вам проверить внесенные вами изменения в файл robots.txt перед их загрузкой на свой сервер в соответствии с официальным парсером Google. Таким образом, вы сможете обеспечить совместимость и избежать потенциальных проблем.

Централизованное управление файлом Robots.txt

Для каждого домена и соответствующих ему субдоменов необходимо создать отдельные файлы robots.txt, поскольку робот Googlebot не признает файл robots.txt корневого домена для субдомена.

Управление несколькими поддоменами на одном веб-сайте может привести к сложностям, поскольку требует индивидуального обслуживания множества файлов robots.txt.

Вы также можете организовать так, чтобы файл robots.txt размещался на поддомене следующим образом: . Кроме того, вы можете направить трафик с на это место, настроив перенаправление.

Вместо этого вы можете рассмотреть возможность настройки таким образом, чтобы вы могли выполнять операцию взаимно, при этом основной домен размещает ее напрямую, а также перенаправляет трафик из поддоменов в корневой домен.

Перенаправленные файлы будут обрабатываться поисковыми системами так, как если бы они находились на уровне основного домена, что дает возможность централизованно управлять рекомендациями robots.txt не только для основного домена, но и для его поддоменов.

Вместо того, чтобы требовать уникальный файл robots.txt для каждого поддомена, этот метод упрощает обновления и обслуживание, делая их более эффективными.

Заключение

Обязательно всегда проверяйте свои изменения, чтобы избежать непредвиденных проблем при сканировании.

Приятного ползания!

Смотрите также

2024-10-18 14:09

У Google Search новый босс: Прабхакар Рагхаван уходит в отставку

от

Как опытный эксперт по SEO с более чем двадцатилетним опытом работы в отрасли, я заинтригован последней встряской Google. Переход от Прабхакара Рагхавана к Нику Фоксу на посту главы отдела поиска и рекламы действительно является интересным событием.

Google сообщил, что Прабхакар Рагхаван, который в настоящее время управляет их поисковой системой и рекламными службами, покидает свою должность.

Эта новость появилась в четверг в памятке генерального директора Сундара Пичаи сотрудникам.

Ник Фокс возглавит поиск и рекламу

Ник Фокс, опытный руководитель Google, возьмет на себя обязанности Рагхавана. Он работал в разных отделах Google.

Отныне Фокс будет возглавлять отдел знаний и информации, включающий предложения Google по поиску, рекламе, картам и электронной коммерции.

Пичаи выразил уверенность в способности Фокса возглавить эти важные подразделения, отметив:

На протяжении своего профессионального пути Ник постоянно демонстрировал лидерские качества в различных аспектах знаний и информации. Сюда входят ведущие проекты, связанные с продуктами и дизайном в Поиске и Ассистенте, а также с нашими сервисами «Покупки», «Путешествия» и «Платежи».

Новая роль Рагхавана

Рагхаван перейдет на вновь созданную должность главного технолога.

На этой должности он будет тесно сотрудничать с Пичаи и другими топ-менеджерами Google, предлагая рекомендации по техническим аспектам.

Пичаи высоко оценил вклад Рагхавана, заявив:

Путь Прабхакара на посту руководителя Google был впечатляющим: он охватывал исследования, рабочую среду, рекламу, а также знания и информацию. Он возглавил команду Gmail, внедрившую Smart Reply и Smart Compose – новаторские приложения искусственного интеллекта для улучшения продуктов, а также увеличил количество пользователей Gmail и Диска до более чем 1 миллиарда.

Прошлые критические замечания

После некоторой предыдущей критики недавно было обнародовано последнее обновление Google относительно их поискового подразделения.

Как опытный эксперт по SEO, я выражаю свои опасения по поводу траектории поиска Google под руководством Рагхавана, как это сформулировано в проницательной статье, опубликованной в апреле.

Согласно статье, аналитики предположили, что рекламный опыт Рагхавана мог повлиять на его выбор, часто ставя получение дохода выше качества результатов поиска.

Критики утверждали, что под руководством Рагхавана Google значительно сократил ключевые улучшения качества, предположительно для увеличения взаимодействия с пользователем и доходов от рекламы.

Были приведены электронные письма от 2019 года, в которых подробно описывался план срочных действий (Желтый код) под руководством Рагхавана из отдела рекламы, направленный на решение проблемы снижения доходов от поиска. Это якобы привело к повышению рейтинга сайтов, которые были понижены в рейтинге из-за рассылки спама.

Google возражает против многих из этих утверждений, заявляя, что ее рекламные системы не влияют на результаты органического поиска.

Больше реструктуризации

В рамках реструктуризации Google:

  1. Команда приложения Gemini, возглавляемая Сисси Сяо, присоединится к Google DeepMind под руководством генерального директора Демиса Хассабиса.
  2. Команды Google Assistant, специализирующиеся на устройствах и домашнем опыте, перейдут в подразделение «Платформы и устройства».

Заглядывая в будущее

Поглощение Фоксом Рагхавана может встряхнуть ситуацию в Google.

Вполне возможно, что достижения в области искусственного интеллекта могут привести к более быстрому внедрению в области поиска и рекламы, а также к более регулярным обновлениям. Fox потенциально может пересмотреть фундаментальное качество поиска, стремясь решить недавние проблемы.

Fox может настаивать на более быстром внедрении новых технологий, чтобы дать отпор конкурентам, особенно в области искусственного интеллекта. Он также, вероятно, будет более подкован в вопросах регулирования.

Имейте в виду, что предлагаемые изменения являются лишь предположениями, учитывая ограниченность данных, которыми мы располагаем.

По мере того, как я приступаю к своей новой должности в Fox, постепенно будет происходить настоящий сдвиг в стиле руководства и приоритетах, предлагая более ясную картину нашей будущей траектории.

Смотрите также

2024-10-17 23:38

Google предостерегает от чрезмерной зависимости от показателей инструментов SEO

от

Как опытный эксперт по SEO с более чем десятилетним опытом работы в постоянно меняющемся цифровом мире, я не могу не сочувствовать владельцу веб-сайта, который оказался в затруднительном положении из-за сомнительных сторонних показателей. Мир SEO часто сравнивают с поездкой на американских горках, и иногда кажется, что мы держимся изо всех сил среди неожиданных падений и петель.

Во время недавнего чата в сообществе Reddit r/SEO эксперт Google по поиску Джон Мюллер посоветовал не слишком полагаться на внешние измерения SEO.

Его замечания были сделаны как реакция на чьи-то опасения по поводу значительных изменений в размерах инструментов и того, как эти изменения могут повлиять на эффективность поиска, как они были замечены.

Разговор был инициирован владельцем сайта, который сообщил о следующей серии событий:

  1. Падение рейтинга авторитетности домена (DA) их веб-сайта на 50%.
  2. Всплеск спам-обратных ссылок: 75% всех ссылок их веб-сайта были приобретены в текущем году.
  3. Увеличение количества спам-комментариев, в среднем 30 в день на сайте, посещаемом около 150 человек в день.
  4. Расхождение между данными обратных ссылок, отображаемыми в разных инструментах SEO.

Владелец, который утверждал, что никогда не покупал ссылки, обеспокоен влиянием этих спам-ссылок на эффективность его сайта.

Взгляд Мюллера на сторонние показатели

Мюллер решил эти проблемы, подчеркнув границы и недостатки сторонних инструментов SEO, включая их показатели.

Он заявил:

Хотя многочисленные инструменты SEO предлагают уникальные меры для улучшения (поскольку они предоставляют цифры), важно помнить, что не существует быстрого пути или альтернативы успеху.

Он предостерег от внедрения быстрых решений на основе этих показателей, назвав многие из этих тактик «дымом и зеркалами».

Мюллер подчеркнул важную деталь: измерения, предоставляемые инструментами SEO, не связаны автоматически с тем, как поисковые системы ранжируют или оценивают веб-сайты.

Он отметил, что такие действия, как использование файлов отклонения, не влияют на показатели инструментов SEO, поскольку эти компании не имеют доступа к данным Google.

На чем сосредоточиться? Ценность, а не цифры

Мюллер выступал за комплексную стратегию SEO, которая делает упор на предоставление уникальной ценности, а не на конкретные показатели, такие как авторитет домена или рейтинги спама.

Он посоветовал:

Чтобы сосредоточиться на будущем, полезно определить стратегии, которые предлагают реальную ценность оригинальным способом и ценятся пользователями Интернета. Это должно быть основано на основах SEO.

Однако Мюллер признал, что создавать уникальный контент непросто, добавив:

Уникальная идея – это не просто необычная смесь фраз, а нечто совершенно уникальное, чего никто другой не предлагает, и желательно то, что другим будет сложно воспроизвести самостоятельно.

Это довольно сложно, требует значительных усилий и может потребовать длительного периода времени. Однако, если бы это было быстро и просто, вероятно, многие другие уже освоили бы это благодаря большему опыту.

Идеи Мюллера побуждают нас сосредоточиться на том, что действительно важно: стратегиях, которые ставят пользователей на первое место.

Это помогает согласовать контент с целями Google и создать долгосрочные преимущества.

Ключевые выводы

  1. Хотя сторонние SEO-метрики потенциально полезны, они не должны быть основным направлением усилий по оптимизации.
  2. Резкие изменения в этих показателях не отражают изменения в том, как поисковые системы просматривают ваш сайт.
  3. Сосредоточьтесь на создании уникального контента, а не на погоне за показателями, основанными на инструментах.

Смотрите также

2024-10-17 22:08

Открытое письмо генерального директора Search Engine Journal

от

Как опытный веб-мастер с более чем двадцатилетним опытом работы за плечами, я видел, как цифровой ландшафт превратился из простого любопытства в мощную силу, формирующую наш мир. Новость о том, что Semrush приобрела Search Engine Land, безусловно, пробудила у меня интерес и вызвала массу эмоций.

Уважаемые читатели, SEO-специалисты и интернет-маркетологи!

Привет! Меня зовут Дженис, и мне выпала честь возглавлять SEJ на протяжении впечатляющих 15 лет. Вместе с Лорен Бейкер и Брентом Чуторасом мы составляем большую часть собственности и ведем здесь повседневную деятельность.

Вчера я проснулся от захватывающего объявления: как профессионал в области цифрового маркетинга, я узнал, что Search Engine Land, известный поставщик новостей SEO, был приобретен Semrush, ведущей компанией по разработке маркетинговых инструментов.

В комнате слон, так что начнем с него.

Что происходит, когда значительная фигура в секторе поискового маркетинга приобретает известную медиа-платформу, специализирующуюся на новостях поискового маркетинга?

Сохранит ли издатель беспристрастную позицию и непредвзятый подход к своему контенту, избегая любого фаворитизма в отношении Semrush или других конкурирующих инструментов и платформ? Будут ли они предоставлять подробные руководства, охватывающие широкий спектр ресурсов и углубляющиеся в различные аспекты каждого инструмента или услуги, доступных на рынке?

Как Search Engine Land справляется со своей обширной коллекцией предыдущего контента — статей, технических документов, электронных книг, видео — в которых упоминаются другие инструменты поисковых систем, подобные Semrush (не забывая об их входящих ссылках)?

Как насчет того, чтобы перефразировать это для более легкого понимания: найдут ли точки зрения уважаемых писателей, бросающих вызов нынешней корпоративной позиции, платформу в SEL (Story Engine Land), или они будут сведены к минимуму, смягчены или вообще подавлены?

Так много вопросов.

До сих пор реакция сообщества была либо радостной и поддерживающей, либо сосредоточенной на вопросах о потенциальной предвзятости.

SEL и Semrush активно отвечали в социальных сетях, повторяя следующее:

Как эксперт по SEO, я обязуюсь сохранять нашу независимость и нейтралитет, гарантируя, что советы, которые я предлагаю, остаются беспристрастными и самого высокого качества. Это всегда было нашей миссией и останется таковой в будущем.

Я верю, что на данный момент именно таковы их намерения в отношении существующей редакции.

Мне не терпится узнать, окажется ли эта независимость прочной, когда волнение по поводу приобретения утихнет и информация о нем станет общеизвестной, заполняя наши виртуальные новостные ленты, как семена в скворечнике.

Мне любопытно узнать, сможет ли независимость редакционных решений в SEL противостоять влиянию акционеров, тем более что это публичная компания, акции которой котируются на Нью-Йоркской фондовой бирже, и в прошлом году она принесла более 305 миллионов долларов дохода. Похоже, нам придется внимательно наблюдать за ситуацией, чтобы выяснить это.

Вот где стоит журнал поисковой системы

В секторе SEO журнал Search Engine Journal (SEJ) является одним из последних независимых организаций. Он продолжает действовать независимо, без внешней финансовой поддержки или контроля со стороны вышестоящих органов.

Никто не дергает за ниточки SEJ, не контролирует наши обратные ссылки, наше освещение или наши сообщения.

Как SEO-специалист, я могу с уверенностью сказать, что воплощаю дух медоеда в сфере SEO-журналистики. Я не просто слежу за тенденциями; Я устанавливаю их, рассказывая о темах и идеях по своему усмотрению, таким образом, чтобы это действительно находило отклик у моей аудитории.

Как опытный веб-мастер, я по-прежнему стремлюсь пролить свет на подлинную информацию о постоянно развивающейся сфере SEO и маркетинга. Хотя я должен признать, что нюансы алгоритмов поисковых систем со временем могут меняться.

SEJ по-прежнему стремится предоставлять нашим читателям объективное образование и лучшие практики.

он же здесь, в SEJ, дела идут как обычно.

Кто вообще такой журнал поисковых систем?

В нашу разнообразную команду из 26 человек по всему миру входят писатели, редакторы, дизайнеры, технические эксперты и административный персонал, что обеспечивает бесперебойную работу. Их коллективные усилия заставляют меня сиять от гордости, позволяя заслуженно похвастаться.

Мы поощряем прозрачность, экспериментирование и подотчетность. Мы не терпим офисную политику или токсичное поведение. Мне нравится думать, что мы очень близки. Делимся, ругаемся, веселим друг друга глупыми мемами. Мы вместе смеялись и вместе плакали.

Прежде всего, во времена кризиса мы объединяемся. Собираемся с силами. Мы становимся устойчивыми. Снова и снова я призываю команду проявлять настойчивость, прогрессировать, продолжать расти – и они принимают вызов. Такие моменты доказывают, что они исключительная команда.

Это весь список. У SEJ нет инвесторов. Никаких корпоративных повелителей. И мы хотим, чтобы это было именно так.

Временами наша уверенность в себе подвергается испытаниям, и было бы утешительно иметь в качестве одного из таких корпоративных благотворителей, как Дэдди Уорбакс из комиксов, кого-то, кто мог бы мобилизовать ресурсы, подобно тому, как он «наполняет небо людьми». мои любимые консультанты выражали свое мнение.

На протяжении многих лет независимость Сейя дала нашей команде возможность последовательно предоставлять беспристрастную журналистику и образование в области поискового маркетинга, обеспечивая беспристрастный опыт для всего сообщества.

Мы действуем в соответствии со своими желаниями, и я верю, что наша аудитория, наши партнеры и наше сообщество поддержат нас в том, чтобы мы стали сильным Давидом против этого нового Голиафа.

Дженис Уэхара

Генеральный директор журнала Search Engine Journal

Смотрите также

2024-10-17 16:38

Спросите SEO-специалиста: какие ссылки следует создать для естественного профиля обратных ссылок?

от

Как опытный цифровой маркетолог с более чем десятилетним опытом работы за плечами, я могу с уверенностью сказать, что навигация по лабиринту мира SEO и PR — это не прогулка по парку. Но не бойтесь, потому что я здесь, чтобы провести вас через все перипетии, вооружившись крупицами мудрости, почерпнутой из бесчисленных прошедших кампаний.

Колонка «Спросите SEO» на этой неделе принадлежит анонимному автору вопроса:

«Как должен выглядеть профиль обратных ссылок и как создавать хорошие обратные ссылки?»

Отличный вопрос!

С точки зрения SEO я хотел бы уточнить, что обратные ссылки действительно играют роль в установлении доверия и повышении авторитета вашего сайта. Однако важно отметить, что их значение может быть не таким преувеличенным, как предполагают некоторые строители ссылок.

Вы можете ранжировать сайт без обратных ссылок. Хитрость заключается в том, чтобы сосредоточиться на своей аудитории и заставить ее создать спрос на бренд. По весу они могут быть равны обратным ссылкам, но привлекают больше клиентов.

Таким образом, надежный и подлинный профиль обратных ссылок, который означает доверие и влияние, часто определяет, будет ли веб-сайт занимать высокие позиции в результатах поисковых систем или останется непосещаемым.

Здоровый профиль обратных ссылок — это тот, который кажется естественным.

Как опытный веб-мастер, я понимаю, что поисковые системы, такие как Google, ожидают определенного количества ссылок, исходящих из каталогов, инструментов мониторинга веб-сайтов, а иногда и с конкурентных сайтов, использующих тактику спама или негативного SEO. Такие ссылки образуют неотъемлемый компонент надежного и сбалансированного профиля обратных ссылок.

Что неестественно, так это то, что ваш веб-сайт или компания ничего не сделали для получения реальной ссылки.

Если нет исключительного контента, инновационных идей, важных исследований или актуальных тем, привлекающих внимание, маловероятно, что кто-то ссылается на ваш контент.

Создание обратных ссылок без четкой цели может вызвать подозрения в качестве вашего ссылочного профиля, особенно если большинство из них являются ссылками dofollow.

Сбалансированный ссылочный профиль должен включать в себя различные ссылки для подписки, без подписки, спонсорские ссылки, а также ссылки от реальных пользователей в обсуждениях на форумах, в сообществах и через репосты в социальных сетях.

Как специалист по цифровому маркетингу, я часто сталкиваюсь с ситуациями, когда профиль обратных ссылок веб-сайта нездоров из-за наличия ссылок с веб-сайтов, не имеющих отношения к рассматриваемой теме. Например, в статьях могут случайно упоминаться крупные бренды и авторитетные сайты, а затем в неуместной манере случайно вставляться в более мелкую компанию или поставщика услуг. Отсутствие актуальной актуальности может негативно повлиять на авторитет и рейтинг SEO рассматриваемого веб-сайта.

Эта устаревшая тактика уже не дает результатов. Структуры низших ссылок включают частные сети блоггеров (PBN), агрегаты ссылок, системы взаимосвязанных ссылок и сетевые ссылки. Веб-сайты с повышенным авторитетом домена (DA) или оценкой авторитета (AS) также входят в эту группу.

Бонусный совет: DA, AS и другие метрики не используются поисковыми системами. Это оценки, созданные сторонними инструментами SEO, и о которых они не имеют абсолютно никакого мнения. качество веб-сайта или обратной ссылки.

Если человек утверждает, что сайт с высоким авторитетом домена (DA) надежен, поскольку ему доверяет Google, возможно, он пытается вас обмануть, подобно продаже змеиного масла.

Хотя обратные ссылки не так важны, как раньше, они по-прежнему имеют значение. Итак, если вы хотите что-то создать, вот несколько стратегий, которые следует попробовать, избегать и действовать осторожно.

Стипендии, гранты и спонсорство

Эти стратегии неэффективны, поскольку Google признает, что они используются в первую очередь для получения ссылок .edu, а иногда и .gov. В очень специфических случаях, например, благотворительные организации и мероприятия могут также применять их.

Легко сопоставить, кто их заплатил или купил, и это, скорее всего, не будет иметь значения для вас с точки зрения SEO.

Если большая часть ваших ссылок присутствует преимущественно, вполне вероятно, что поисковые системы сбалансируют их или могут вручную наложить штраф на ваш сайт за чрезмерное создание искусственных ссылок, как это отмечено консолью поиска Google в категории практики неестественных ссылок. .

Принимая участие в спонсорстве, попросите сайт, который вы спонсируете, отображать на своих ссылках надпись «Спонсируется», а не «nofollow».

Если вы предлагаете стипендию или грант, рассмотрите возможность указать получателя на своем веб-сайте, предложить всестороннюю образовательную поддержку и поддерживать с ним регулярный контакт. Кроме того, попросите их регулярно публиковать личную историю в вашем блоге — ежемесячно или ежеквартально — в течение нескольких лет после победы.

Как специалист по SEO, я настоятельно рекомендую достоверно делиться историями успеха и обновлениями, стремясь оказать положительное влияние. Распространение этих историй без искренних намерений — это всего лишь стратегия получения обратных ссылок, которая потенциально может нанести вред вашей репутации в Интернете в долгосрочной перспективе.

Цитаты и неработающие ссылки

Когда средства массовой информации упоминают ссылку вас или конкурентов на исследование, ведущую на неработающую веб-страницу, вы можете воспользоваться этой возможностью, обратившись к этим веб-сайтам и попросив вместо этого направить ссылку на ваше исследование. Это помогает установить органические ссылки.

Если в цитатах нет ссылок, сообщите владельцу веб-сайта, что они могут избавить пользователей от необходимости искать другой ответ через поисковую систему. Предлагая положительный пользовательский опыт на своем сайте, они повышают вероятность того, что пользователи вернутся за дополнительной информацией.

Актуальный PR

Я большой сторонник пиара для естественного получения обратных ссылок. Но вы должны делать то, что имеет смысл для вашего бизнеса.

  • Местные магазины и поставщики услуг должны получать ссылки от местных новостных станций, местных блоггеров и нишевых веб-сайтов в своей отрасли.
  • Поставщикам услуг необходимо сосредоточиться на отраслевых изданиях, отраслевых блогах и публикациях, мероприятиях и социальных сетях.

Подумайте о том, что вы можете сделать или предоставить, что заслуживает освещения в печати и что эти группы хотели бы осветить.

PR- и SEO-агентства, ориентированные на контент, готовы провести для вас мозговой штурм творческих концепций, позволяя вам выбрать те, которые лучше всего вам подходят, и реализовать их. Не каждая стратегия может дать немедленные результаты, но продолжайте попытки, поскольку в конечном итоге идеальная стратегия материализуется.

Другой вариант — собрать уникальную информацию от вашей аудитории с помощью опросов и впоследствии поделиться этими результатами в опубликованных отчетах. Это приводит нас к следующему предложению.

Публикации должны быть актуальными для вас, чтобы помочь в SEO и избежать штрафов.

Если аудитория, посещающая ваш сайт, не похожа на читателей веб-сайта или публикации, на которую вы ссылаетесь, связь может показаться вынужденной и искусственной. Со временем это может привести к штрафам или снижению ценности, связанной с этой ссылкой.

Пресс-релизы

Обратные ссылки на пресс-релизы и обратные ссылки синдикации работают против вас, а не на вас. Но это не значит, что они не могут помочь с приобретением ссылок. Чтобы эта стратегия сработала, предоставьте достаточно данных для оценки интереса.

Поделитесь некоторыми данными исследования в виде тизера и дайте возможность редакторам, журналистам и специалистам отрасли связаться с вами.

Однако имейте в виду, что если ваши аргументы аналогичны аргументам ваших конкурентов и вы представляете ту же информацию, нет смысла предоставлять дополнительные ссылки или ожидать уникального освещения.

Можете ли вы раскрыть уникальные идеи и представить их таким образом, чтобы добавить новые перспективы в наши статьи, устранить пробелы, оставшиеся без ответа, или вопросы, которые еще предстоит полностью решить с точки зрения читателя?

Как профессионал в области цифрового маркетинга, я бы посоветовал обратиться к редакторам и представить убедительные аргументы в пользу публикации свежей статьи по нашей новой теме. Поскольку наш последний пост показал исключительно хорошие результаты, они могут даже подумать о создании совершенно нового поста, специально адаптированного к этой обновленной теме.

Как профессионал в области цифрового маркетинга, я хотел бы поделиться дополнительной информацией: если вам не повезло получить обратную ссылку, признание другой компании все равно может быть очень полезным. Возможно, вы сможете разместить их логотип на своей панели инструментов PR в качестве повышения доверия. Кроме того, рассмотрите возможность обратиться к их команде по связям с общественностью или бренду и вежливо спросить, могут ли они предоставить ссылку, используя стратегию, о которой я упоминал ранее.

Комментирование блога и форума

Эти методы неэффективны, поскольку поисковые системы осознают, что ими можно манипулировать посредством рассылки спама, использования автоматических ботов или привлечения других лиц для выполнения таких действий.

Вместо того, чтобы работать против вас, воздержитесь от этого. Разрешите сообществам и владельцам веб-сайтов ссылаться на вас естественным образом.

Чтобы взаимодействовать со своими клиентами, когда они посещают блог или участвуют в онлайн-сообществе, обязательно примите участие сами. Воспользуйтесь этой возможностью, чтобы получить подписчиков и укрепить доверие к своему бренду, активно участвуя.

Сосредоточение внимания на самом контенте, а не на создании обратных ссылок или поиске упоминаний в сообществе, позволит им развиваться органично. Такой подход обеспечивает более достоверный результат.

Ссылки на профили в социальных сетях

Это не работает, потому что любой может создать учетную запись и получить ссылку.

Проще говоря, для успеха SEO (поисковая оптимизация) ссылки должны приобретаться органично. Платформы социальных сетей предназначены для привлечения подписчиков и направления их на ваш сайт.

С моей точки зрения как опытного веб-мастера, хотя обратные ссылки обычно имеют меньшее значение в стратегиях SEO, есть одно заметное исключение, которое нельзя упускать из виду: некоторые поисковые системы действительно сканируют и индексируют профили социальных сетей и других платформ на основе учетных записей. Эти ссылки, возможно, не оказывают такого же воздействия, как традиционные обратные ссылки, но они, безусловно, играют роль в формировании присутствия сайта в Интернете.

Как специалист по цифровому маркетингу, я могу поделиться стратегией, которая может помочь повысить видимость вашего веб-сайта. Если кажется, что пауков поисковых систем трудно привлечь на ваш сайт или на определенные страницы, активно управляемая учетная запись в социальной сети может послужить маяком. Постоянно делясь интересным контентом на этих платформах, вы увеличиваете шансы на быстрое сканирование и индексацию вашего контента. Это, в свою очередь, повышает вероятность того, что паукам поисковых систем будет легче обнаружить ваш веб-сайт и его страницы.

Сосредоточьтесь на том, на что стоит ссылаться

Хотя существует множество методов получения обратных ссылок, не каждая ссылка полезна для целей SEO. Ссылки, которые можно легко купить или получить, например, из каталогов, не способствуют существенному повышению рейтинга вашего сайта в поисковых системах.

С моей точки зрения как специалиста по цифровому маркетингу, если ваша аудитория или ниша не представлены на сайте, а контент не соответствует вашей области, вполне вероятно, что получение обратной ссылки оттуда не улучшит ваши усилия по SEO, но может вместо этого потенциально может им навредить.

Сбалансированный ссылочный профиль должен содержать комбинацию положительных, отрицательных, органических и искусственных ссылок. Однако, если ваш бизнес не произвел и не распространил ничего примечательного, ему не хватит обратных ссылок, необходимых для поддержания долгосрочного успеха.

Сосредоточьтесь на том, на что стоит ссылаться, и обратные ссылки появятся естественным образом.

Смотрите также

2024-10-17 14:39