Как опытный специалист по SEO с более чем десятилетним опытом работы за плечами, я видел, как бесчисленное количество веб-сайтов боролись с непростой задачей индексации своих страниц Google. Это все равно, что пытаться заставить привередливую кошку съесть ее любимую еду — вы знаете, это хорошо, но иногда они просто не хотят играть в мяч!
Сегодняшний вопрос по SEO поступил от Мандипа, у которого возникли проблемы с индексацией на их сайте.
Мандип спрашивает:
Мы обновили наш сайт, добавив несколько новых страниц. Однако не все вновь включенные страницы были полностью проиндексированы.
После нескольких попыток использования Google я не добился успеха. Теперь, когда я пытаюсь добавить URL-адрес для индексирования через консоль поиска Google, появляется сообщение об ошибке: «URL-адрес не проиндексирован — в настоящее время не проиндексирован».
Я все перепробовал, но ничего не работает. Пожалуйста, помогите мне решить эту проблему».
Оповещение, которое вы видите, исходит из сегмента «Страницы» в разделе «Статус сканирования и индексирования» консоли поиска Google. Этот инструмент помогает пользователям понять, какие страницы Google отсканировал, добавил в свою базу данных и с какими проблемами он мог столкнуться во время этого процесса.
В отчете представлена разбивка страниц, которые были эффективно отсканированы и добавлены в базу данных поиска, а также изложены пояснения к страницам веб-сайта, которые не были включены в базу данных поиска.
Проблема, если страница не проиндексирована?
Многие веб-сайты часто содержат страницы, которые не включаются в результаты поисковых систем, и это решение часто принимает администратор сайта.
Веб-страница может намеренно не отображаться в результатах поиска из-за включения на странице директивы HTML noindex или из-за того, что ее сканирование явно запрещено с помощью файла robots.txt.
В этом отчете вы найдете URL-адреса, намеренно исключенные из результатов поиска, а также веб-страницы, индексирование которых вызывает проблемы.
Часто требуется некоторое время, чтобы новая веб-страница была отсканирована и включена в результаты поисковых систем. Тот факт, что вновь созданная страница не сразу отображается в «индексированном» разделе, не обязательно означает наличие проблемы.
Не все причины, указанные в отчете «Почему страницы не индексируются», требуют рассмотрения.
Проблемы с индексацией
Как администратор веб-сайта, вашим приоритетом должно быть обеспечение того, чтобы веб-страницы, которые вы хотите отображать в результатах поиска, индексировались Google, поскольку не все URL-адреса, обнаруженные Google, фактически будут сканироваться и индексироваться.
По сути, если они не проиндексированы, они не будут иметь права быть результатом поиска.
Отчет «Почему страницы не индексируются» содержит несколько индикаторов, которые могут сигнализировать о проблеме на вашем сайте, например «Ошибка сервера (500)» и «Soft 404», на которые стоит обратить внимание.
Если эти флаги не важны для конкретных URL-адресов, которые вы предпочитаете не индексировать, это не означает автоматически, что существует проблема. Однако их присутствие может указывать на более широкую обеспокоенность по поводу общего состояния и организации вашего веб-сайта.
Что такое «обнаружено – в настоящее время не проиндексировано»?
Как опытный веб-мастер, я сталкивался с ситуациями, когда Google помечал мой URL-адрес как «Известный, но не просканированный или проиндексированный». По сути, это означает, что Google знает о существовании URL-адреса, но по какой-то причине он еще не добавлен в их базу данных для результатов поиска (проиндексирован). Это может быть связано с различными факторами, такими как низкий приоритет, технические проблемы или просто потому, что Google еще не дошел до этого.
Как специалист по цифровому маркетингу, я хотел бы подчеркнуть, что URL-адреса не будут отображаться в этом конкретном сегменте, если их можно аккуратно переместить в другую категорию в отчете.
Чтобы дать более простое объяснение: страница с тегом noindex может быть просканирована Google, но она не будет включена в результаты поиска из-за этого тега. Страницы, найденные в категории «Еще не проиндексированы», могут не быть проиндексированы по разным причинам; их там нет только потому, что у них есть тег noindex.
Google объясняет, почему URL-адрес отображается как «Обнаружен – в настоящее время не проиндексирован»:
Google обнаружил эту страницу, но она еще не была тщательно изучена. Обычно Google намеревается изучить веб-страницу, но это потенциально может привести к перегрузке веб-сайта; таким образом, Google отложил исследование и запланировал его на более позднее время. Вот почему последняя дата обследования в отчете отображается пустой.
Google пытается заставить своих ботов добросовестно сканировать информацию.
Другими словами, поскольку робот Googlebot не является единственным пользователем веб-сайта и может быть одним из нескольких ботов, просматривающих его, он стремится избежать перегрузки сервера, выполняя чрезмерные «запросы».
Что может быть причиной того, что URL-адрес «обнаружен, но в настоящее время не проиндексирован»?
Есть две основные причины, по которым страница известна Google, но не индексируется. Джон Мюллер подробно рассказал об этом в 2023 году.
По сути, во внимание принимаются как способность сервера обрабатывать веб-сканирование, так и качество страниц.
Если веб-страница еще не проверена Google, он не может напрямую оценить ее качество. Однако Google может сделать вывод о потенциальном качестве страницы на основе общего качества других страниц того же веб-сайта.
Правильно: толстые копии или менее важные страницы, разбросанные по вашему сайту, могут повлиять на то, как поисковые системы каталогизируют ваши основные веб-страницы.
Как решить проблему
Как опытный веб-мастер, я понял, что не существует волшебного трюка, позволяющего быстро перевести страницу из состояния «Обнаружено — в настоящее время не проиндексировано» в «Проиндексировано», но не бойтесь! Существует множество стратегий, которые вы можете использовать, чтобы ваша страница проиндексировалась поисковыми системами:
Проверьте, действительно ли страница проиндексирована
Первоначально важно проверить, является ли информация, представленная в отчете Google Search Console, правильной и актуальной.
В верхней правой части документа вы найдете дату «Последнего обновления». Это поможет вам определить, не устарела ли информация в отчете.
После этого перейдите в Google и выполните поиск по конкретному сайту, введя в строке поиска «site:[домен вашего веб-сайта] в [название страницы, которую вы хотите проиндексировать]». Часть «inurl» заменяется на «intitle», поскольку она дает аналогичные результаты, но ее легче понять большинству людей.
Если страница возвращается в результате поиска, значит, она действительно проиндексирована.
Подождите некоторое время, пока отчет обновится, и вы увидите его в области «Проиндексировано», а не в разделе «Еще не проиндексировано — обнаружено».
Проверьте качество страницы вашего сайта
Далее вы можете рассмотреть общее качество вашего веб-сайта, поскольку это может быть причиной того, что Google не индексирует вашу страницу.
Имейте в виду, что качество вашего веб-сайта определяется не только выбором и уместностью ваших слов по отношению к поисковым запросам или общим E-A-T (экспертиза, авторитетность, надежность), которые вы представляете. На самом деле, по словам Джона Мюллера из Google, это охватывает более широкую перспективу:
«Когда речь идет о качестве контента, мы имеем в виду не только текст ваших статей.
На самом деле это качество вашего сайта в целом.
И это включает в себя все: от макета до дизайна.
Эти элементы существенно влияют на пользовательский опыт с точки зрения представления, интеграции изображений, эффективности и общей производительности ваших страниц.
Рассмотрите возможность оценки вашего веб-сайта на основе этих факторов. Насколько качество вашего сайта соответствует качеству сайтов ваших конкурентов?
Тщательный аудит сайта — хорошее начало.
Проверьте наличие дубликатов страниц
Иногда на веб-сайте могут непреднамеренно размещаться некачественные или дублированные страницы, о которых администратор сайта может не знать.
Доступ к одной веб-странице можно получить через несколько разных адресов. Чтобы проиллюстрировать это, рассмотрим страницу «Свяжитесь с нами», расположенную по адресу exampledomain.com/contact-us, а также по адресу exampledomain.com/contact-us/. По сути, обе ссылки ведут на одну и ту же страницу.
Робот Googlebot воспринимает URL-адреса, которые заканчиваются косой чертой или без нее, как отдельные страницы, если они обе доступны и получают код ответа 200. Другими словами, эти URL-адреса считаются активными или действующими страницами в представлении поисковой системы.
Существует вероятность того, что все ваши страницы могут быть продублированы таким же образом.
Как опытный веб-мастер, я часто сталкиваюсь с ситуациями, когда неосознанно имею дело с несколькими параметрами URL на своих веб-сайтах. Это URL-адреса, содержащие «строки запроса», например «exampledomain.com/dress?color=red». Они могут быть весьма хитрыми, и их легко не заметить на первый взгляд.
На типичном веб-сайте они часто возникают из-за инструментов выбора и расположения, таких как фильтры и параметры сортировки. Например, в интернет-магазине это может проявляться в виде страницы категорий продуктов, где продукты сужаются по таким атрибутам, как цвет, и могут быть организованы по цене.
Следовательно, основные элементы страницы остаются неизменными в результате этого процесса фильтрации и организации, а изменяются только отображаемые элементы в списке. По сути, эти отфильтрованные страницы отличаются друг от друга и потенциально могут привести к появлению множества дубликатов на вашем веб-сайте.
Хотя вы можете подумать, что ваш сайт содержит всего 100 страниц высшего качества, некоторые технические проблемы могут привести к тому, что робот Google вместо этого обнаружит сотни тысяч похожих или дублированных страниц.
Способы исправления «Обнаружено — в настоящее время не проиндексировано»
После определения потенциальных причин, по которым ваш URL-адрес не индексируется, вы можете приступить к устранению этих проблем.
Чтобы улучшить качество вашего сайта, начните с устранения проблем с дубликатами страниц, некачественным контентом или контентом, удаленным из других источников, а также с других потенциальных проблем с качеством, которые вы можете обнаружить.
Дополнительным преимуществом является то, что вы можете заметить улучшение рейтинга вашей страницы при решении этих проблем.
Подчеркните важность страницы
В нашем первоначальном запросе упоминалось, что у Mandeep возникли проблемы с подтверждением (или индексацией) определенной веб-страницы поисковыми системами.
В данном случае давайте поработаем над тем, чтобы страница выглядела более значимой для поисковых систем. Это побудит их посетить и проиндексировать его.
Добавьте страницу в XML-карту сайта веб-сайта.
Простой способ сообщить Google о том, что определенная страница должна быть приоритетной для сканирования и индексирования, — это включить ее в XML-карту сайта вашего сайта.
По сути, это указатель всех URL-адресов, которые, по вашему мнению, должны сканировать поисковые роботы.
Помните, что робот Googlebot уже признал существование вашей страницы, но не уверен, содержит ли она ценный контент, достойный сканирования и добавления в его поисковый индекс.
Если он уже есть в карте сайта XML, не останавливайтесь на достигнутом. Рассмотрим следующие шаги.
Добавьте внутренние ссылки на страницу
Еще один способ показать важность страницы — разместить на нее ссылку с внутренних страниц сайта.
Например, добавив страницу в основную навигационную систему, например в главное меню.
Как специалист по SEO, я бы рекомендовал использовать внутренние ссылки на ваш контент для оптимальной работы поисковых систем. Соединяя связанные страницы на своем сайте, вы сигнализируете Google, что эти страницы несут важность и актуальность, улучшая вашу общую стратегию SEO.
Добавьте внешние ссылки на страницу
Обратные ссылки играют решающую роль в поисковой оптимизации (SEO). В течение некоторого времени стало понятно, что Google оценивает актуальность веб-страницы и ее экспертность по определенной теме, проверяя ссылки с других сайтов, указывающие на нее.
Если ваша веб-страница не убеждает Google в ее высоком качестве для индексации, получение обратных ссылок с надежных и связанных сайтов, ведущих на нее, может стать дополнительным доказательством ее ценности.
Если страницу товара с конкретным красным платьем сложно проиндексировать, демонстрация страницы этого платья в популярных блогах о моде может сигнализировать Google, что это первоклассная страница.
Отправьте его на сканирование
После того, как вы обновили свой сайт, отправьте страницу на повторное сканирование через консоль поиска Google.
Если в отчете «Индексирование» консоли поиска Google ваш URL-адрес остается в категории «Обнаружен — в настоящее время не сканируется» в течение длительного периода (период времени может варьироваться от нескольких дней до недель, прежде чем Google просканирует отправленную страницу), он может указывают на то, что со страницей могут быть текущие проблемы.
В итоге
Улучшите структуру и содержание вашего сайта, чтобы сканеры поисковых систем могли легко его найти и классифицировать. При этом увеличивается вероятность того, что страницы перейдут из состояния «Найдено — еще не проиндексировано» на «Проиндексировано».
Чтобы добиться оптимальной производительности вашего конкретного веб-сайта, важно провести тщательное исследование его общего качества и определить стратегии, позволяющие сделать «Страницы обнаруженные, но еще не проиндексированные» более заметными для поискового робота Google (Googlebot).
Смотрите также
2024-10-24 14:39
