AI-управляемый процесс работы для решения проблемы дублирования контента

Возможно, что на вашем сайте есть определенное дублирование контента, ситуация, известная как каннибализация контента, о которой вы возможно не полностью осведомлены.

📊 Сделай правильный выбор!
ФинБолт подскажет, когда покупать и когда продавать для максимальной выгоды!

Присоединиться в Telegram

Потребление собственной доли рынка отрицательно сказывается на органическом трафике и доходах. Эффект может распространяться от ключевых страниц, не способных хорошо ранжироваться, до проблем с алгоритмом из-за низкокачественного домена.

Однако каннибализацию трудно обнаружить, она может изменяться со временем и существует в виде спектра.

Это «микропластиковые SEO».

В этом памятке я покажу вам:

Как надёжно определить и устранить каннибализацию контента.
Как автоматизировать обнаружение каннибализации контента.
Автоматизированный рабочий процесс, который вы можете попробовать прямо сейчас: Каннибализационный детектор, мой новый инструмент обнаружения каннибализации ключевых слов.

Без ценной помощи Николь Герча из AirOps я бы не смог это выполнить. Я разработал первоначальную концепцию и провёл тщательное тестирование автоматизированного рабочего процесса, однако именно Николь создала весь проект.

Как правильно думать о каннибализации контента

Давайте уясним некоторые ключевые принципы относительно каннибализма контента, которые часто неверно понимают до того, как углубиться в процесс.

Самое большое заблуждение о каннибализации заключается в том, что она происходит на уровне ключевых слов.

Это действительно происходит на уровне пользовательских намерений.

Давайте воздержимся от того, чтобы рассматривать эту идею просто как каннибализацию ключевых слов, а скорее сосредоточимся на каннибализации контента, которая соответствует намерениям пользователей.

Принимая это во внимание, каннибализация…

Это движущаяся цель: Когда Google обновляет своё понимание намерений в ходе основного обновления, внезапно две страницы могут начать конкурировать друг с другом, что ранее не происходило.
Существует на спектре: страница может конкурировать с другой страницей или несколькими страницами, имея пересечение намерений от 10% до 100%. Сложно точно сказать, насколько допустимо такое перекрытие без анализа результатов и контекста.
Не останавливается на ранжировании: Поиск двух страниц, которые получают значительное количество показов или ранжирований по одним и тем же ключевым словам, может помочь выявить каннибализацию, но это не очень точный метод. Это недостаточно убедительное доказательство.
Требуется регулярная проверка: Вам необходимо регулярно проверять свой сайт на каннибализацию и относиться к библиотеке контента как к «живой» экосистеме.
Может быть обманчиво: многие случаи не однозначны. Например, каннибализация международного контента не является очевидной. Каталог /en для всех англоязычных стран может конкурировать с каталогом /en-us на американском рынке.

Различные виды сайтов имеют принципиально разные уязвимости к каннибализации.

Мой подход к классификации типов сайтов использует модель интегратора против агрегатора. В отличие от бизнеса типа «Software-as-a-Service» (SaaS) и «Direct-to-Consumer» (D2C), онлайн-ритейлеры и маркетплейсы сталкиваются с уникальными сценариями конкуренции или внутреннего потребления, часто называемыми каннибализацией.

Интеграторы занимаются каннибализацией между страницами. Агрегаторы — между типами страниц.

С агрегаторами часто происходит каннибализация, когда два типа страниц слишком похожи. Например, у вас могут быть два типа страниц, которые либо конкурируют друг с другом, либо нет: ‘интересные места в {город}’ и ‘чем заняться в {город}’.
С интеграторами часто происходит каннибализация, когда компании публикуют новый контент без поддержки и плана для существующего контента. Большая часть проблемы заключается в том, что становится сложнее контролировать обзор имеющегося материала и то, какие ключевые слова/намерения он преследует при определенном количестве статей (я обнаружил переломный момент примерно на 250 статьях).

Как распознать каннибализацию контента

Контент-каннибализм может иметь один или несколько следующих симптомов:

«URL мерцание» означает, что по крайней мере две URL-адреса меняются местами в ранжировании для одного или более ключевых слов.
После выхода новой страницы трафик и/или позиции в поисковой выдаче уменьшаются.
Новая страница достигла плато рейтинга по своему основному ключевому слову и не может пробиться в топ-3 позиции.
Гугл не индексирует новую страницу или страницы того же типа.
Точные дубликаты названий появляются в поисковом индексе Google.
Google сообщает о том, что URL не индексируется из-за отсутствия тонкого контента или технических проблем.

Потому что Google не дает четкого указания на каннибализацию, наиболее эффективным способом оценить схожесть между несколькими страницами является расчет косинусного сходства их токенизированных представлений (извиняюсь за сложность).

По сути, вы измеряете схожесть между двумя веб-страницами путем преобразования их содержания в числовые значения и оценки того, насколько эти значения совпадают или расходятся.

Подумайте об этом как о рецепте шоколадного печенья:

Токенизация = Разбить каждый рецепт (например, содержимое страницы) на ингредиенты: мука, сахар, шоколадные чипсы и т. д.
Встраивания — преобразуем каждый ингредиент в числа, такие как количество каждого ингредиента и его важность для определения рецепта.
Косинусное сходство = Сравните рецепты математически. Это даст вам число от 0 до 1. Оценка 1 означает, что рецепты идентичны, в то время как 0 указывает на полную разницу между ними.

Следуйте этому процессу, чтобы просканировать ваш сайт и найти кандидатов на каннибализацию.

Просканируйте ваш сайт с помощью такого инструмента как Screaming Frog (по желанию исключая страницы без цели в поисковой оптимизации), чтобы извлечь URL и мета заголовок каждой страницы.
Токенизация: Преобразование слов как в URL, так и в заголовке в более мелкие части (токены), с которыми проще работать.
Встраивания: преобразуют токены в числа, позволяя выполнять «математические операции со словами».
Аналогичность: Вычислите косинусное сходство между всеми URL-адресами и мета-заголовками.

В идеале это дает вам шортлист URL-адресов и заголовков, которые слишком похожи.

На следующем этапе вы можете применить этот метод для подтверждения их взаимного потребления друг друга: На предстоящем этапе рекомендуется использовать эту процедуру, чтобы убедиться в том, что они действительно взаимно поглощают друг друга. В качестве последнего шага используйте данный подход при следующей операции, чтобы гарантировать их потребление друг друга: Каждый из предложенных вариантов стремится передать оригинальный смысл более естественным и менее техническим образом.

Извлеките содержание: Четко отделите основной контент (исключив навигацию, футер, рекламу и т.д.). Возможно, очистите определенные элементы, такие как стоп-слова.
Разбиение на части или токенизация: либо разделите контент на значимые фрагменты (предложения или абзацы), либо выполняйте токенизацию напрямую. Я предпочитаю второй способ.
Вложения: Встраивайте токены.
Сущности: Извлеките именованные сущности из токенов и придайте им больший вес в эмбеддингах. По сути, вы проверяете, какие эмбеддинги представляют собой «известные вещи», и даете им больше значимости при анализе.
Агрегация вложений: объединение эмбеддингов токенов/чанков с использованием взвешенного среднего значения (например, TF-IDF) или внимания с пуллингом.
Косинусное сходство: Рассчитайте косинусное сходство между получающимися вложениями.

В качестве эксперта по SEO я приглашаю вас опробовать мой скрипт для приложений в рамках Гугл Таблиц. Однако вскоре я хочу поделиться с вами еще более эффективным решением. Оставайтесь на связи!

О косинусном сходстве: не идеально, но достаточно хорошо.

Да, вы можете настроить модели вложений для конкретных тем.

В самом деле, у вас безусловно есть возможность использовать сложные модели встраивания, такие как Sentence Transformers в дополнение к этому методу; тем не менее, зачастую достаточно базового подхода, без превращения этого в сложную астрономическую задачу.

Как исправить каннибализацию

Как только вы определили каннибализацию, вам следует принять меры.

Помните изменить свою долгосрочную стратегию производства и управления контентом, иначе усилия по выявлению и решению проблемы каннибализации могут оказаться бесполезными.

Решение проблемы каннибализации в краткосрочной перспективе

Для определения ближайших шагов рассмотрите уровень конкуренции и скорость вашей реакции.

Проще говоря, «степень» относится к уровню схожести между содержимым на двух или более веб-страницах. Это сходство измеряется и оценивается с помощью таких метрик как косинусное подобие или контентное подобие.

На основе моих наблюдений, когда косинусное сходство превышает 0.7, обычно это считается ‘высоким’, тогда как значения меньше 0.5 чаще всего считаются ‘низкими’.

Что делать, если страницы имеют высокую степень сходства?:

Канонизируйте или не индексируйте страницу при каннибализации из-за технических проблем, таких как URL с параметрами, либо если страница-кандидат не имеет отношения к SEO, например, платные посадочные страницы. В этом случае канонизируйте URL с параметрами до URL без параметров (или не индексируйте платную посадочную страницу).
Консолидируйте с другой страницей, если это не техническая проблема. Консолидация означает объединение содержимого и перенаправление URL. Я предлагаю взять старую страницу или хуже работающую страницу и перенаправить ее на новую, более качественную страницу. Затем перенесите любой полезный контент на новый вариант.

Что делать, если страницы имеют низкую степень схожести:

Не индексировать или удалить (статус кода: 410), когда у вас нет возможностей изменить содержимое.
Если у вас есть возможность определить основную направленность контента, и если пересечение тем не слишком велико, постарайтесь разграничить те части страниц, которые являются очень похожими.

Решение проблемы каннибализации в долгосрочной перспективе

Это крайне важно внести постоянные изменения в вашу стратегию или методы производства, так как каннибализация контента обычно является признаком более крупной проблемы, а не самой проблемой.

Другими словами, если речь не идет о том, что Google изменил свою интерпретацию намерений пользователя во время значительного обновления алгоритма, то эта ситуация вас или вашу команду напрямую не касается.

Наиболее важные долгосрочные изменения, которые вам необходимо внести,

Создайте карту контента: SEO-интеграторы должны поддерживать актуальную таблицу или базу данных со всеми SEO-релевантными URL и основными целевыми ключевыми словами и намерением для улучшения редакционного надзора. Ответственный за карту контента должен гарантировать отсутствие дублирования между статьями и другими типами страниц. Писатели нуждаются в ясном намерении цели для нового и существующего контента.
Разрабатывайте ясную архитектуру сайта: Приложением карты контента для SEO-агрегаторов является карта архитектуры сайта, которая представляет собой обзор различных типов страниц и их целевых намерений. Критически важно подчеркнуть эти намерения, определяя ключевые слова примерами, которые проверяются регулярно («Мы все еще хорошо ранжируемся по этим ключевым словам?») чтобы соответствовать пониманию Google и конкурентам.

Последний вопрос звучит так: «Как узнать, что каннибализация контента исправлена?»

Ответ — когда симптомы, упомянутые в предыдущей главе, исчезают.

Проблемы с индексацией решаются.
Мерцание URL исчезает.
В индексе поиска Google не отображаются дублирующиеся названия.
Проблемы с «обнаружено, но не проиндексировано» уменьшаются.
Ранги стабилизируются и прорывают плато (если страница не имеет других явных проблем).

После многочисленных лет оказания помощи моим клиентам с использованием этой системы ручной работы, я почувствовал, что настало время перевести её в автоматизированный режим.

Представляем полностью автоматический детектор каннибализации

С Николь мы объединили усилия и использовали AirOps для создания полностью автономного процесса ИИ. Этот процесс быстро проходит через 37 этапов, чтобы выявить каннибализацию за считанные минуты.

Как эксперт по поисковой оптимизации (SEO), я бы сказал, что этот инструмент тщательно анализирует проблемы дублирования контента путем изучения позиций ключевых слов, сравнения содержания на предмет сходств и погружения в исторические данные.

Ниже я перечислю наиболее важные шаги, которые автоматизирует от вашего имени.

Первичная обработка URL

Процесс работы извлекает и нормализует доменное имя и название бренда из введенного URL.

Этот начальный этап формирует уникальную идентичность данного вебсайта, служа основой для всех последующих оценок.

Анализ целевого контента

Соскабливание страницы.
Проверка и анализ структуры HTML для извлечения основного контента.
Очистка содержания статьи и генерация целевых вложений.

Анализ ключевых слов

Шаг 3 показывает видимость цели в поисковых системах и потенциальные уязвимости, выявляя их следующими способами:

Анализируя ключевые слова по рейтингу через данные Semrush.
Фильтрация брендовых и небрендовых терминов.
Определение перекрытия поисковых запросов с конкурирующими URL-адресами.
Проводя анализ исторических рейтингов.
Определение стоимости страницы на основе нескольких метрик.
Анализ изменения разницы позиций во времени.

Анализ конкурирующего контента (Итерация по конкурирующим URL)

На шаге 4 мы углубляемся в определение конкурентов путем многократного изучения каждой потенциальной веб-страницы соперников, отображаемой в результатах поиска после предыдущих этапов.

5. Формирование итогового отчета

На заключительном этапе рабочий процесс очищает данные и создает практический отчет.

Попробуйте автоматизированный детектор каннибализации контента

Попробуйте Детектор Каннибализации и ознакомьтесь с примером отчета.

Несколько моментов стоит отметить:

Это ранняя версия. Мы планируем оптимизировать и улучшать её со временем.
Процесс может завершиться из-за большого количества запросов. Мы намеренно ограничиваем использование, чтобы не перегрузить API запросами (которые стоят денег). Мы будем отслеживать использование и можем временно увеличить лимит. Это означает, что если ваша первая попытка окажется неудачной, попробуйте снова через несколько минут. Возможно, это был временный пик активности.
Я являюсь консультантом по вопросам AirOps, но мне не платили и не стимулировали никаким другим образом создавать этот рабочий процесс.

Пожалуйста, оставьте свои отзывы в комментариях.

Мы хотели бы услышать, как мы можем улучшить Детектор каннибализации!

Смотрите также

2025-04-01 16:42