Как опытный эксперт по SEO с более чем десятилетним опытом работы, я своими глазами видел эволюцию веб-стандартов и лучших практик. Недавнее открытие аналитика Google Гэри Иллиеса о гибкости размещения файлов robots.txt является интригующим событием, которое бросает вызов давним убеждениям.
В недавнем сообщении на LinkedIn аналитик Google Гэри Иллес оспорил общепринятое мнение о местонахождении файлов robots.txt.
Уже давно считается, что файл robots.txt веб-сайта должен располагаться в корневом каталоге, например example.com/robots.txt.
Иллиес объяснил, что строгое соблюдение протокола исключения роботов (REP) не всегда необходимо. Он также поделился менее известной подробностью о REP.
Гибкость файла robots.txt
Файл robots.txt не обязательно должен находиться в корневом домене (example.com/robots.txt).
Иллиес предполагает, что допустимо иметь два отдельных файла robots.txt, расположенные в разных доменах: один на главном веб-сайте, а другой в сети доставки контента (CDN).
Иллиес предполагает, что веб-сайты могут централизованно управлять своими файлами robots.txt в сети доставки контента (CDN), сохраняя при этом контроль над сканированием своего основного сайта.
Как специалист по цифровому маркетингу, я часто сталкиваюсь с ситуациями, когда на веб-сайте имеется несколько файлов robots.txt. Например, в вашем примере есть два таких файла: один расположен по адресу
С помощью этого метода вы можете управлять унифицированным и всеобъемлющим файлом robots.txt в своей CDN (сети доставки контента) и вместо этого автоматически перенаправлять запросы роботов с вашего основного домена в этот основной файл.
https://www.linkedin.com/watch?v=feed/update/urn:li:share:7214278388029534209
Как эксперт по SEO, я бы перефразировал заметку Иллиеса следующим образом: при сканировании веб-сайта я гарантирую, что роботы поисковых систем соблюдают рекомендации, изложенные в RFC 9309. Эти боты будут следовать любым перенаправлениям и рассматривать целевой файл как robotxxt. файл для исходного домена.
Оглядываясь назад на 30 лет существования Robots.txt
В этом году исполняется 30 лет со дня принятия Протокола исключения роботов. Это событие подчеркивает продолжающуюся эволюцию веб-стандартов, о чем свидетельствует недавнее заявление Иллиеса.
Он поднимает вопрос, следует ли называть файл «robots.txt», подразумевая потенциальные изменения в подходе к выдаче инструкций по сканированию.
Как это может вам помочь
Следование указаниям Иллиеса может помочь вам в следующем:
- Централизованное управление. Объединив правила файла robots.txt в одном месте, вы можете поддерживать и обновлять директивы сканирования по всему своему веб-сайту.
- Улучшенная согласованность: единый источник достоверных данных для правил robots.txt снижает риск конфликта директив между вашим основным сайтом и CDN.
- Гибкость. Этот подход позволяет создавать более адаптируемые конфигурации, особенно для сайтов со сложной архитектурой или тех, которые используют несколько поддоменов и CDN.
Эффективное управление файлами robots.txt посредством упрощенного процесса может значительно улучшить администрирование веб-сайтов и инициативы по поисковой оптимизации (SEO).
Смотрите также
- Google Ads разрешит рекламу курьеров по фэнтези-спорту и лотереям во многих штатах
- Спросите SEO-специалиста: какие ресурсы лучше всего подходят для изучения SEO и за кем лучше всего следить в Интернете, чтобы получить хороший совет? через @sejournal, @HelenPollitt1
- Google назвал точную причину, почему негативное SEO не работает
- Нет – Reddit не блокирует поиск в Google
- Консоль поиска Google работает над устранением задержек и задержек в работе поиска
- Руководство по стратегии органического SEO: как повысить видимость в поиске и стимулировать рост
- Реклама местных услуг Google теперь на мобильных устройствах Local Business Finder
- Использование потребителями социальных сетей (опять) меняется
- В Google Ads появился новый флажок: измененный или синтетический контент
- Задержки в консоли поиска Google не являются обновлением ядра Google
2024-07-04 16:44