AWS S3 заблокировал Googlebot для URL-адресов моих изображений – вот мое восстановление

от

Как эксперт по SEO с более чем десятилетним опытом работы за плечами, я видел свою долю проблем и побед. Однако фиаско AWS S3, произошедшее еще в середине июня, действительно было событием, заслуживающим внимания. Это было похоже на то, как будто однажды я проснулся и обнаружил, что мой верный помощник — Google Search and Discover — загадочным образом потерял способность демонстрировать мои изображения.

В середине июня я обнаружил, что Google не отображает многие из моих изображений в результатах поиска, и некоторые читатели обратили на это мое внимание. Для расследования я использовал полезный инструмент проверки URL-адресов Google Search Console. Оказалось, что URL-адреса S3, которые я использовал для хранения своих изображений, не позволяли роботу Googlebot их сканировать. Вот краткий отчет о проблеме с индексированием/сканированием URL-адресов изображений, с которой я столкнулся.

Из-за проблемы на AWS произошло значительное снижение видимости (показов) моих изображений в Google Search и Google Images, составившее примерно 83%. Это снижение также привело к падению количества переходов (кликов) на мой сайт при поиске изображений примерно на 76%. Хотя я все еще испытываю небольшое снижение количества показов и кликов при поиске изображений – около 16% и 26% соответственно – с тех пор ситуация значительно улучшилась.

Диаграмма эффективности поиска в Google Search Console отображает колебания количества показов и кликов с течением времени. Примерно 15 июня наблюдается заметный спад, за которым следует постепенный рост, начиная примерно с 8 июля. Кроме того, вы можете заметить, что мой трафик изображений еще не полностью восстановился до прежнего уровня (до ошибки AWS) даже два месяца спустя.

Похоже, что когда веб-сканер Google (Googlebot) попытался получить доступ к URL-адресам моих изображений, размещенных на Amazon Simple Storage Service (S3), он обнаружил ошибку «404 Not Found». Однако когда я получил доступ к этим же URL-адресам со своего компьютера, они загрузились без каких-либо проблем. Эти изображения использовались на этом сайте более десяти лет, и внезапно AWS, похоже, ограничил доступ робота Googlebot.

В любом случае, вот что увидел робот Googlebot, когда попытался просканировать эти URL-адреса:

AWS исправил это через несколько дней:

Вот как выглядели мои изображения в инструменте проверки URL-адресов в консоли поиска Google:

Это должно выглядеть примерно так:

После этого я решил перенести свои фотографии в AWS CloudFront — сервис, которого не было на момент создания этого сайта — в качестве объяснения того, почему я использовал S3 для изображений в прошлом. К счастью, проблема S3 с роботом Googlebot решена и работает без сбоев. Однако я не собираюсь возвращаться к S3 для своих изображений.

1. Я благодарен Гленну Гейбу за то, что он указал на то, что Google Discover преждевременно удалил мои изображения. Он также написал статью о миграции образов, которую я прочитал перед переходом с AWS S3 на AWS CloudFront. Первоначально я решил не перемещать свои старые изображения, поскольку AWS решил эту проблему, но с конца июня все мои вновь загружаемые изображения используют CloudFront.

По сути, то, что произошло, было не проблемой Google, а скорее изменением со стороны AWS, в результате которого AWS S3 стал препятствовать роботу Googlebot. Проблема исправлена, однако, похоже, последствия уже определены… Если графики покажут какие-либо дальнейшие колебания, я обновлю этот аккаунт, чтобы вести хронику этих изменений. Однако, учитывая стабильность в течение последних пяти недель или около того, я не ожидаю существенных изменений в будущем.

Смотрите также

2024-08-27 15:44

Тесты Google Local Panel Maps расширяются в результатах поиска

от

Как опытный эксперт по SEO с более чем двадцатилетним опытом работы, я должен признать, что последний тест пользовательского опыта Google Maps вызвал у меня интерес. Пройдя через бесчисленные изменения алгоритмов и обновления интерфейса, я могу с уверенностью сказать, что это значительный шаг вперед для поисковой оптимизации и улучшения пользовательского опыта.

В настоящее время, нажав на карту на панели местных знаний Google Search, вы перейдете на Карты Google. Однако Google экспериментирует с тем, чтобы вы оставались на странице результатов поиска и вместо этого расширяли карту.

Как опытный веб-мастер, я недавно заметил на X, что после отображения панели знаний щелчок по карте теперь открывает ее непосредственно в результатах поиска, а не на Картах Google. Кроме того, близлежащие места отображают информацию в новом пользовательском интерфейсе, и теперь видны отзывы с различных сайтов. Однако при попытке написать отзыв, похоже, произошел небольшой сбой. Мото-к также отметил это.

Вот гифка этого в действии:

Я не могу это повторить, но вот полное видео:

После появления панели знаний, щелчок по карте теперь будет отображать ее непосредственно в результатах поиска, а не запускать Карты Google отдельно. Информация о близлежащих местах была обновлена ​​в новом пользовательском интерфейсе, и теперь также видны отзывы с различных веб-сайтов. Однако, похоже, возникла проблема при попытке написать обзор.

— moto-k (@moto_local) 22 августа 2024 г.

Смотрите также

2024-08-27 15:44

Google: мы обычно не пробуем варианты URL-адресов

от

Как опытный веб-мастер с более чем десятилетним опытом работы за плечами, я могу с уверенностью сказать, что последнее заявление Джона Мюллера из Google подтверждает то, что мы все знаем уже много лет: робот Googlebot не тестирует варианты URL-адресов по своей прихоти.

Во время своего последнего обсуждения SEO Джон Мюллер из Google объяснил, что бот Google (Googlebot) обычно не тестирует различные варианты URL-адресов, чтобы проверить их работоспособность. Например, если у вас есть URL-адрес типа домен.com/pagegoeshere1/, робот Googlebot не будет пытаться использовать домен.com/pagegoeshere2/ из любопытства или для каких-либо других целей.

Важно отметить, что это не свежая тема; еще в 2018 году тот же запрос был адресован Джоном Мюллером из Google, который заявил, что робот Googlebot не генерирует URL-адреса. На протяжении многих лет этот вопрос по-прежнему часто задают в кругах SEO, поэтому я подумал, что необходимо вернуться к нему.

Примерно через 9 минут 50 секунд Джона спросили: «Индексирует ли Google URL-адреса, которые не содержат страниц в подпапках? Может ли это потенциально вызвать проблемы?»

Джон сказал: «Обычно системы Google не экспериментируют с разными версиями URL-адресов. Вместо этого они используют ссылки для поиска новых URL-адресов».

Вот видео:

Вот стенограмма:

Сканирует ли Google подпапки в URL-пути, в которых нет страниц? Будет ли это проблемой?

Я видел вариации этого с течением времени. очень часто встречаются URL-адреса с несуществующими путями. Простой ответ заключается в том, что системы Google обычно не просто пробуют варианты URL-адресов, они полагаются на ссылки для обнаружения новых URL-адресов.

По сути, это означает, что Google может не обнаружить или проиндексировать эти подкаталоги, если вы не свяжетесь с ними напрямую. Однако для Google совершенно нормально пытаться получить доступ к этим подкаталогам, даже если они возвращают ошибку 404 (не найдено). Страницы вашего сайта, возвращающие статус 404, когда они не используются, являются обычным явлением и не указывают на какие-либо проблемы.

Смотрите также

2024-08-27 14:44

Получите свою страницу входа в качестве дополнительной ссылки в результатах поиска Google

от

Как опытный веб-мастер с более чем десятилетним опытом работы в цифровой среде, я могу с уверенностью сказать, что обеспечение отображения вашей страницы входа в качестве дополнительной ссылки — это скорее искусство, чем наука. Хотя это и не гарантировано, существуют определенные стратегии влияния на процесс принятия решений Google.

Чтобы оптимизировать внешний вид страницы входа в качестве дополнительной ссылки в сводке результатов поиска Google, выполните следующие действия:

Более простой ответ мог бы быть таким: хотя я не могу обещать гарантированного результата, существуют стратегии, которые вы можете использовать, чтобы потенциально положительно повлиять на решения Google.

В последнем видеоролике Google Office Hours Джон Мюллер из Google подчеркнул важность того, чтобы ваша страница входа содержала определенный контент и была легко доступна поисковым системам.

О чем Джон не упомянул, так это о том, как побудить Google показывать там определенные ссылки. Возможно, вы захотите разместить эти ссылки в основной навигации на своем сайте (мобильный сайт). Хотя Джон конкретно этого не говорил. Раньше он говорил, что иногда на сайтах с плоской архитектурой возникают проблемы с дополнительными ссылками…

Итак, вот дополнительные ссылки для моего сайта:

Я не вижу страницу со ссылкой для входа в систему как дополнительную ссылку:

Вместо того, чтобы настаивать на том, что это не должна быть дополнительная ссылка, я бы отдал ей приоритет в качестве ключевой ссылки в мобильной версии моего веб-сайта, если бы я хотел ее сделать. Кроме того, я бы обогатил контент на этой конкретной странице, чтобы улучшить взаимодействие с пользователем.

Вот видео:

Вот стенограмма:

Как компании, занимающиеся программным обеспечением как услугой (SAAS), могут обеспечить появление своей страницы входа в дополнительных ссылках?

Как специалист по цифровому маркетингу, я должен уточнить, что лично я не диктую содержание, отображаемое в дополнительных ссылках. Они функционируют аналогично обычным результатам поиска, предоставляя быстрые ссылки на соответствующие страницы веб-сайта, когда он появляется в результатах поиска Google.

Однако есть несколько вещей, которые вы можете сделать специально со страницами входа.

Первоначально убедитесь, что если ваш контент доступен только после входа в систему, незарегистрированные пользователи автоматически перенаправляются на страницу входа. Кроме того, убедитесь, что поисковые системы имеют доступ к этой странице входа в систему, чтобы правильно ее проиндексировать.

Кроме того, убедитесь, что поисковые системы могут получить доступ к вашей странице входа, не используя тег noindex и не блокируя сканирование файлов robots.txt.

Выполнение этих действий гарантирует, что ваша страница входа будет выглядеть так же, как и любая другая страница вашего сайта, что позволит индексировать ее поисковыми системами.

Обращаем ваше внимание: Google никогда не предоставлял возможность включать дополнительные ссылки в сводку результатов поиска. Однако раньше существовал метод подавления дополнительных ссылок, но эта функция была прекращена в 2016 году.

Смотрите также

2024-08-27 14:44

Августовское обновление ядра Google. Графики увеличения количества полезного контента.

от

Как опытный веб-мастер, который видел больше обновлений Google, чем мне хотелось бы запомнить, это основное обновление от августа 2024 года стало для меня настоящим испытанием. Я наблюдал, как сайты поднимались, падали, а иногда и приходили в норму, как йо-йо на стероидах.

Обновление ядра Google от августа 2024 года вызвало настоящий переполох с момента его первого выпуска. На некоторых веб-сайтах, на которые повлияло полезное обновление контента в сентябре 2023 года, появились признаки улучшения. Однако у других возникли проблемы, которые, возможно, были связаны с ошибкой ранжирования в поиске, которая позже была исправлена ​​в течение нескольких дней.

Хотя Google посоветовал нам подождать, чтобы увидеть полный эффект, мы не любим ждать.

С течением времени многочисленные веб-сайты, которые уже были активны, демонстрируют постоянное улучшение своих рейтингов, но будет ли эта тенденция продолжаться, повернуть вспять или усилиться, остается неясным. На данный момент многие из этих сайтов (хотя и не все — рост некоторых из них замедлился) продолжают демонстрировать дальнейший прогресс.

На этих графиках о росте сообщили Гленн Гейб, Лили Рэй и Мари Хейнс, не называя явным образом сайты. Однако многие пользователи, такие как вы, также наблюдают за подобными тенденциями и делятся ими в комментариях на этой самой платформе.

Должен отметить, что по состоянию на вчерашний день, в воскресенье, Гленн опубликовал из почти 400 сайтов, которые он отслеживает и которые пострадали от полезного обновления контента еще в сентябре, 73 подали некоторые признаки жизни. Так что большинство из них все еще мертвы, но многие немного приходят в себя.

Вот некоторые из этих графиков:

Я взял несколько чартов Semrush для некоторых известных сайтов…

Housefresh (обратите внимание, мне сказали, что на этот сайт не повлияло полезное обновление контента, а скорее предыдущие основные обновления — извините за путаницу):

Ретрододо:

Кроме того, я заметил некоторые существенные или почти полные изменения после августовского обновления ядра. Например, сайт HCUX, о котором я упоминал ранее, теперь превысил свою позицию до сентябрьского HCU(X). Это говорит о том, что он, возможно, оправился от воздействия основных обновлений».

» Гленн Гейб (@glenngabe), 25 августа 2024 г.

<р>1. Это одно из самых впечатляющих выздоровлений, с которыми я когда-либо сталкивался.

Это блог, посвященный прическам глобального охвата.

Я не вникал в него, чтобы оценить степень/характер улучшений, но теперь сайт выглядит здорово.» Лили Рэй (@lilyraynyc) 23 августа 2024 г.

Вместо того чтобы объяснять проблему ошибкой со стороны Google, правильнее было бы сказать, что Google могла бы более эффективно обрабатывать информацию, связанную с влиянием HCU на владельцев сайтов. Последствия действительно были серьезными для многих, и у некоторых по-прежнему отсутствует ясность относительно того, как исправить ситуацию и даже возможно ли выздоровление». Мари Хейнс (@Marie_Haynes) 22 августа 2024 г.

Вот хорошее видео от Гленна о том, что он видел в конце прошлой недели:

Несмотря на то, что основное обновление в марте 2024 года нанесло дополнительный ущерб всем этим веб-сайтам, с основным обновлением в августе 2024 года появился проблеск надежды, поскольку оно, похоже, принесет пользу некоторым из затронутых сайтов.

Мы продолжим отслеживать это и держать вас в курсе на протяжении всего обновления.

Смотрите также

2024-08-26 16:14