AWS S3 заблокировал Googlebot для URL-адресов моих изображений – вот мое восстановление

от

Как эксперт по SEO с более чем десятилетним опытом работы за плечами, я видел свою долю проблем и побед. Однако фиаско AWS S3, произошедшее еще в середине июня, действительно было событием, заслуживающим внимания. Это было похоже на то, как будто однажды я проснулся и обнаружил, что мой верный помощник — Google Search and Discover — загадочным образом потерял способность демонстрировать мои изображения.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

В середине июня я обнаружил, что Google не отображает многие из моих изображений в результатах поиска, и некоторые читатели обратили на это мое внимание. Для расследования я использовал полезный инструмент проверки URL-адресов Google Search Console. Оказалось, что URL-адреса S3, которые я использовал для хранения своих изображений, не позволяли роботу Googlebot их сканировать. Вот краткий отчет о проблеме с индексированием/сканированием URL-адресов изображений, с которой я столкнулся.

Из-за проблемы на AWS произошло значительное снижение видимости (показов) моих изображений в Google Search и Google Images, составившее примерно 83%. Это снижение также привело к падению количества переходов (кликов) на мой сайт при поиске изображений примерно на 76%. Хотя я все еще испытываю небольшое снижение количества показов и кликов при поиске изображений – около 16% и 26% соответственно – с тех пор ситуация значительно улучшилась.

Диаграмма эффективности поиска в Google Search Console отображает колебания количества показов и кликов с течением времени. Примерно 15 июня наблюдается заметный спад, за которым следует постепенный рост, начиная примерно с 8 июля. Кроме того, вы можете заметить, что мой трафик изображений еще не полностью восстановился до прежнего уровня (до ошибки AWS) даже два месяца спустя.

Похоже, что когда веб-сканер Google (Googlebot) попытался получить доступ к URL-адресам моих изображений, размещенных на Amazon Simple Storage Service (S3), он обнаружил ошибку «404 Not Found». Однако когда я получил доступ к этим же URL-адресам со своего компьютера, они загрузились без каких-либо проблем. Эти изображения использовались на этом сайте более десяти лет, и внезапно AWS, похоже, ограничил доступ робота Googlebot.

В любом случае, вот что увидел робот Googlebot, когда попытался просканировать эти URL-адреса:

AWS исправил это через несколько дней:

Вот как выглядели мои изображения в инструменте проверки URL-адресов в консоли поиска Google:

Это должно выглядеть примерно так:

После этого я решил перенести свои фотографии в AWS CloudFront — сервис, которого не было на момент создания этого сайта — в качестве объяснения того, почему я использовал S3 для изображений в прошлом. К счастью, проблема S3 с роботом Googlebot решена и работает без сбоев. Однако я не собираюсь возвращаться к S3 для своих изображений.

1. Я благодарен Гленну Гейбу за то, что он указал на то, что Google Discover преждевременно удалил мои изображения. Он также написал статью о миграции образов, которую я прочитал перед переходом с AWS S3 на AWS CloudFront. Первоначально я решил не перемещать свои старые изображения, поскольку AWS решил эту проблему, но с конца июня все мои вновь загружаемые изображения используют CloudFront.

По сути, то, что произошло, было не проблемой Google, а скорее изменением со стороны AWS, в результате которого AWS S3 стал препятствовать роботу Googlebot. Проблема исправлена, однако, похоже, последствия уже определены… Если графики покажут какие-либо дальнейшие колебания, я обновлю этот аккаунт, чтобы вести хронику этих изменений. Однако, учитывая стабильность в течение последних пяти недель или около того, я не ожидаю существенных изменений в будущем.

Смотрите также

2024-08-27 15:44