Как опытный эксперт по SEO с более чем десятилетним опытом работы, я своими глазами видел эволюцию веб-стандартов и лучших практик. Недавнее открытие аналитика Google Гэри Иллиеса о гибкости размещения файлов robots.txt является интригующим событием, которое бросает вызов давним убеждениям.
В недавнем сообщении на LinkedIn аналитик Google Гэри Иллес оспорил общепринятое мнение о местонахождении файлов robots.txt.
Уже давно считается, что файл robots.txt веб-сайта должен располагаться в корневом каталоге, например example.com/robots.txt.
Иллиес объяснил, что строгое соблюдение протокола исключения роботов (REP) не всегда необходимо. Он также поделился менее известной подробностью о REP.
Гибкость файла robots.txt
Файл robots.txt не обязательно должен находиться в корневом домене (example.com/robots.txt).
Иллиес предполагает, что допустимо иметь два отдельных файла robots.txt, расположенные в разных доменах: один на главном веб-сайте, а другой в сети доставки контента (CDN).
Иллиес предполагает, что веб-сайты могут централизованно управлять своими файлами robots.txt в сети доставки контента (CDN), сохраняя при этом контроль над сканированием своего основного сайта.
Как специалист по цифровому маркетингу, я часто сталкиваюсь с ситуациями, когда на веб-сайте имеется несколько файлов robots.txt. Например, в вашем примере есть два таких файла: один расположен по адресу
С помощью этого метода вы можете управлять унифицированным и всеобъемлющим файлом robots.txt в своей CDN (сети доставки контента) и вместо этого автоматически перенаправлять запросы роботов с вашего основного домена в этот основной файл.
https://www.linkedin.com/watch?v=feed/update/urn:li:share:7214278388029534209
Как эксперт по SEO, я бы перефразировал заметку Иллиеса следующим образом: при сканировании веб-сайта я гарантирую, что роботы поисковых систем соблюдают рекомендации, изложенные в RFC 9309. Эти боты будут следовать любым перенаправлениям и рассматривать целевой файл как robotxxt. файл для исходного домена.
Оглядываясь назад на 30 лет существования Robots.txt
В этом году исполняется 30 лет со дня принятия Протокола исключения роботов. Это событие подчеркивает продолжающуюся эволюцию веб-стандартов, о чем свидетельствует недавнее заявление Иллиеса.
Он поднимает вопрос, следует ли называть файл «robots.txt», подразумевая потенциальные изменения в подходе к выдаче инструкций по сканированию.
Как это может вам помочь
Следование указаниям Иллиеса может помочь вам в следующем:
- Централизованное управление. Объединив правила файла robots.txt в одном месте, вы можете поддерживать и обновлять директивы сканирования по всему своему веб-сайту.
- Улучшенная согласованность: единый источник достоверных данных для правил robots.txt снижает риск конфликта директив между вашим основным сайтом и CDN.
- Гибкость. Этот подход позволяет создавать более адаптируемые конфигурации, особенно для сайтов со сложной архитектурой или тех, которые используют несколько поддоменов и CDN.
Эффективное управление файлами robots.txt посредством упрощенного процесса может значительно улучшить администрирование веб-сайтов и инициативы по поисковой оптимизации (SEO).
Смотрите также
- Почему контент важен для SEO
- Акции SBER. Сбербанк: прогноз акций.
- Google о том, почему простые факторы не являются сигналами ранжирования
- Акции привилегированные LNZLP. Лензолото: прогноз акций привилегированных.
- Акции MSRS. Россети Московский регион: прогноз акций.
- Максимальная эффективность для привлечения потенциальных клиентов: передовые стратегии и подводные камни, которых следует избегать
- Акции PHOR. ФосАгро: прогноз акций.
- Google Indexing API: отправленные материалы проходят строгую проверку на спам
- Поиск Google тестирует карусель последних сообщений
- Стратегии распада и обновления контента для поддержания релевантности сайта
2024-07-04 16:44