Как опытный веб-мастер с более чем десятилетним стажем работы, я могу с уверенностью сказать, что сети доставки контента (CDN) были для меня одновременно и находкой, и головной болью на протяжении всей моей карьеры. С одной стороны, они значительно улучшают производительность сайта, ускоряют доставку страниц и увеличивают количество страниц, сканируемых поисковыми системами, такими как Google. Но с другой стороны, иногда они могут вызывать проблемы, которые потенциально могут нанести ущерб вашим усилиям по SEO, если ими не управлять должным образом.
Одним из важнейших аспектов, о которых следует помнить, является понимание того, как работают CDN: они кэшируют веб-страницу и отображают ее из центра обработки данных, ближайшего к браузеру, запрашивающему эту веб-страницу. Это ускоряет доставку веб-страниц, но при первом обслуживании страниц они должны обслуживаться непосредственно с вашего сервера, чтобы «разогреть» кеш CDN. Эта первоначальная подача может значительно увеличить ваш «бюджет сканирования» и привести к увеличению сканирования на несколько дней.
Еще одним важным моментом является обеспечение того, чтобы ваш CDN случайно не блокировал Googlebot. Жесткие блокировки, такие как ошибки сервера (500 или 502 ответа), могут замедлить скорость сканирования или даже исключить URL-адреса из поискового индекса. Мягкие блоки, такие как «Ты человек?» всплывающие окна (межстраничные объявления ботов) должны отправлять ответ сервера 503, чтобы сигнализировать о временной проблеме и предотвратить удаление контента из индекса Google.
Чтобы устранить любые проблемы с вашим CDN, я всегда рекомендую использовать инструмент проверки URL-адресов Google в консоли поиска. Если ваш брандмауэр CDN (брандмауэр веб-приложений или WAF) блокирует робота Googlebot по IP-адресу, вы сможете проверить наличие заблокированных IP-адресов и сравнить их с официальным списком IP-адресов Google, чтобы узнать, есть ли они в списке.
По моему скромному мнению, использование CDN может быть чем-то похоже на хождение по минному полю: один неверный шаг, и ваши усилия по SEO могут оказаться под угрозой. Но при тщательном управлении и регулярных проверках определенно стоит приложить усилия, чтобы воспользоваться преимуществами более быстрой доставки страниц и увеличения сканирования поисковыми системами.
Да, и позвольте мне рассказать вам небольшую шутку: почему веб-мастер обанкротился? Потому что он продолжал использовать CDN, но забыл о стоимости серверов! (Знаю, знаю – это немного старомодно, но все равно каждый раз заставляет меня смеяться.)
Google недавно выпустил руководство, объясняющее влияние сетей доставки контента (CDN) на индексацию поисковыми системами, что улучшает SEO, но также может столкнуться с определенными проблемами.
Что такое CDN?
Сеть доставки контента (CDN) — это, по сути, онлайн-сервис, предназначенный для хранения и быстрого отображения веб-страниц из центров обработки данных, расположенных рядом с пользователем, запрашивающим страницу. Сохраняя копии веб-страниц, CDN могут доставлять эти страницы быстрее, поскольку они обслуживаются с сервера, расположенного ближе к посетителю веб-сайта, тем самым уменьшая количество шагов или «прыжков», необходимых для перемещения страницы из исходного источника в браузер посетителя. .
CDN открывают больше возможностей сканирования
Использование сети доставки контента (CDN) дает преимущество: Google автоматически увеличивает скорость сканирования веб-страниц, когда обнаруживает, что они доставляются из этой сети. Эта функция понравится специалистам по SEO и поставщикам контента, которые стремятся увеличить количество страниц, индексируемых сканером Google, Googlebot.
Обычно робот Googlebot корректирует скорость сканирования с сервера, если чувствует, что скорость приближается к определенному пределу, что потенциально может замедлить работу сервера. Этот процесс регулировки скорости сканирования известен как «регулирование». Примечательно, что этот порог регулирования выше при обнаружении сети доставки контента (CDN), что приводит к сканированию большего количества страниц.
Ключевым моментом использования сети доставки контента (CDN) является первоначальное обслуживание страниц, которые в первый раз должны поступать непосредственно с вашего сервера. Например, рассмотрим веб-сайт с более чем миллионом веб-страниц — когда эти страницы первоначально запрашиваются, они будут доставлены непосредственно с вашего сервера, прежде чем будут кэшироваться и обслуживаться CDN в будущих запросах.
При первом посещении URL-адреса сеть доставки контента (CDN) еще не кэшировала его содержимое, поскольку ранее его никто не запрашивал. Следовательно, вашему исходному серверу необходимо сначала обслужить этот URL-адрес, чтобы заполнить кеш CDN, что аналогично тому, как работает HTTP-кэширование. Этот процесс часто называют «разогревом» кеша CDN.
По сути, наличие сети доставки контента (CDN) для вашего интернет-магазина не освобождает ваш сервер от обслуживания примерно 1 000 007 уникальных URL-адресов хотя бы один раз. CDN не будет помогать, пока не будут предоставлены эти начальные URL-адреса. Это может существенно увеличить нагрузку на «бюджет сканирования» и привести к высокой скорости сканирования в течение нескольких дней. Поэтому, если вы планируете одновременно запустить массовый запуск URL-адресов, имейте в виду, что это может повлиять на производительность вашего сервера на начальном этапе.
Использование CDN приводит к обратным последствиям для сканирования
Google рекомендует предусмотреть случаи, когда сеть доставки контента (CDN) может поместить веб-сканер Google, Googlebot, в список ограничений, что приведет к блокировке сканирования. Для лучшего понимания эти типы ограничений разделены на две группы:
1. Временные блокировки. Эти блокировки действуют в течение определенного периода и обычно применяются, когда CDN испытывает высокий трафик или проводятся работы по техническому обслуживанию.
2. Постоянные блокировки. В отличие от временных блокировок, они сохраняются на неопределенный срок и могут быть вызваны неоднократными нарушениями политик CDN со стороны робота Googlebot во время сканирования.
1. Жесткие блоки
2. Мягкие блоки
Как опытный веб-разработчик с многолетним опытом работы за плечами, я столкнулся с изрядной долей ошибок сервера, особенно с печально известными 500 (внутренняя ошибка сервера) и 502 (плохой шлюз). Эти неприятные проблемы могут вызвать настоящую головную боль, когда они неожиданно возникают. Они не только нарушают бесперебойную работу веб-сайта, но и влияют на его видимость в поисковых системах, таких как Google.
По своему опыту я видел, как эти ошибки могут замедлить скорость сканирования Googlebot и потенциально привести к исключению URL-адресов из поискового индекса Google. Это кошмар для любого веб-мастера или SEO-специалиста, поскольку означает потерю трафика и потенциальных клиентов. Очень важно оперативно решать эти проблемы, чтобы предотвратить долгосрочный ущерб производительности и репутации вашего веб-сайта.
Так что, если вы когда-нибудь столкнетесь с такими ошибками на своем сайте, не игнорируйте их! Примите немедленные меры по устранению и устранению проблемы как можно скорее, чтобы ваш сайт оставался доступным и видимым для вашей аудитории.
Предпочтительным ответом является код 503 (служба недоступна), что указывает на временную ошибку.
Потенциальная проблема, о которой следует помнить, — это случаи, которые Google называет «случайными ошибками», когда сервер отправляет ответ 200, указывая, что ответ был успешным (несмотря на то, что с этим ответом 200 отображается страница с ошибкой). Эти страницы с ошибками будут отображаться в Google как дубликаты и могут быть удалены из поискового индекса. Это может стать серьезной проблемой, поскольку исправление ошибок такого типа может занять некоторое время.
Инцидент, известный как «мягкая блокировка», может произойти, когда сеть доставки контента (CDN) отображает один из вопросов «Вы человек?» всплывающие окна (также называемые межстраничными объявлениями ботов) для поискового робота Google, Googlebot. В идеале эти межстраничные объявления с ботами вместо этого должны вызывать ответ сервера 503, сигнализируя Google, что проблема носит временный характер.
…»Если появляется промежуточная страница, пользователи воспринимают только ее, а не ваш фантастический веб-сайт. Для этих межстраничных объявлений с проверкой ботами мы советуем предоставлять отдельное сообщение с помощью кода статуса HTTP 503 для автоматических клиентов, таких как сканеры. Это действие гарантирует, что контент будет помечен как временно недоступный, что предотвратит его автоматическое удаление из индекса Google.
Проблемы отладки с помощью инструмента проверки URL-адресов и элементов управления WAF
Google советует проверить инструмент проверки URL-адресов в консоли поиска, чтобы отслеживать, как ваши веб-страницы доставляются через сеть доставки контента (CDN). Если робот Googlebot блокируется функцией безопасности CDN, известной как брандмауэр веб-приложений (WAF), из-за ограничения IP-адреса, вы можете проверить заблокированные IP-адреса и сравнить их со списком официальных IP-адресов Google, чтобы определить, является ли один из них IP-адреса появляются в этом списке.
Чтобы ваш веб-сайт появлялся в результатах поисковых систем, очень важно убедиться, что важные сканеры могут получить доступ к вашему сайту. Имейте в виду, что некоторые IP-адреса могут по незнанию оказаться в черных списках, поэтому периодическая проверка этих черных списков полезна для успеха вашего сайта в поиске и других областях. Если черный список кажется обширным (как в этом сообщении в блоге), сосредоточьтесь на проверке начальных сегментов диапазонов IP-адресов, а не отдельных IP-адресов, таких как 192.168.0.101, вы можете просто поискать что-то вроде 192.168.0.101.
Чтобы убедиться, что ваш веб-сайт отображается в поисковых системах, дважды проверьте, могут ли важные веб-сайты попасть на ваш. Иногда IP-адреса могут быть заблокированы без вашего ведома, поэтому разумно время от времени проверять черные списки на предмет успеха вашего сайта в поиске и других аспектов. Если список длинный (как в этом сообщении в блоге), сосредоточьтесь на проверке первых частей диапазонов IP-адресов, а не отдельных IP-адресов, таких как 192.168.0.101; вы можете просто поискать что-то вроде 192.168.
Для получения дополнительной информации прочтите документацию Google:
Сканирование декабря: CDN и сканирование
Смотрите также
- Действия команды поиска Google и Bing в Новый 2025 год
- Акции KZOS. Казаньоргсинтез: прогноз акций.
- Google запускает новый вид «24 часа» в консоли поиска
- Акции T. Т-Технологии: прогноз акций.
- Будет ли в Once Human кроссплатформенная игра и кроссплатформенный прогресс?
- Google Ads разрешит рекламу курьеров по фэнтези-спорту и лотереям во многих штатах
- OpenAI выпускает поиск ChatGPT: цитаты, элементы управления Robots.txt и многое другое
- Обновление ядра Google за декабрь 2024 г. уже доступно — что мы видим
- Акции LENT. Лента: прогноз акций.
- Акции ELMT. Элемент: прогноз акций.
2024-12-29 10:41