Как опытный специалист по цифровому маркетингу с более чем десятилетним опытом работы за плечами, я видел эволюцию тактик и методов SEO, включая очень важный файл robots.txt. Хотя верно, что заблуждение о том, что файл robots.txt предотвращает несанкционированный доступ к контенту, широко распространено, важно понимать его ограничения и возможности.
Как опытный веб-мастер с многолетним опытом работы за плечами, я могу подтвердить, что заявление Гэри Иллиса из Google об ограниченном контроле файла robots.txt над несанкционированным доступом сканеров находит во мне большой отклик. За свою карьеру я сталкивался с многочисленными случаями, когда, казалось бы, хорошо продуманные файлы robots.txt не могли предотвратить несанкционированное сканирование конфиденциальных данных ботами или создание ненужной нагрузки на мои серверы.
Распространенный аргумент в отношении файла robots.txt
Похоже, что всякий раз, когда возникает тема Robots.txt, кто-то обычно напоминает всем, что это не мешает всем веб-сканерам получать доступ к сайту.
«Роль файла robots.txt не включает предотвращение несанкционированного доступа к контенту. Однако важно отметить, что представление о том, что файл robots.txt может предотвратить несанкционированный доступ, не является заблуждением среди тех, кто его понимает. функциональность.»
Затем он углубился в понимание последствий блокировки веб-сканеров. Он объяснил этот процесс как выбор варианта, который либо сохраняет, либо делегирует контроль над веб-сайтом. По сути, он описал это как сценарий, в котором запрашивается доступ, будь то браузер или сканер, а сервер отвечает различными способами, удовлетворяя или отклоняя этот запрос.
- Файл robots.txt (оставляет сканеру право решать, сканировать его или нет).
- Брандмауэры (WAF, он же брандмауэр веб-приложений — брандмауэр контролирует доступ)
- Защита паролем
Как опытный веб-мастер, я хотел бы подчеркнуть важность безопасной авторизации доступа в нашем цифровом мире. Когда дело доходит до предоставления доступа, мы должны убедиться, что запрашивающий является подлинным, и его доступ контролируется соответствующим образом.
Стойки играют свою роль, но не менее важную роль играют противовзрывные двери и диафрагмы, когда дело доходит до защиты ваших Звездных врат.
Как опытный веб-разработчик с более чем десятилетним опытом работы за плечами, я могу с уверенностью сказать, что при управлении веб-сайтом важно понимать роль и ограничения файла robots.txt. Хотя может показаться заманчивым полагаться на robots.txt для авторизации доступа, я на собственном горьком опыте понял, что это не лучший инструмент для этой работы. В нашем арсенале есть множество других инструментов, которые служат этой цели гораздо эффективнее, и я настоятельно рекомендую использовать их. Поверьте, ваш сайт скажет вам спасибо!
Используйте правильные инструменты для управления ботами
Существует несколько способов предотвратить доступ к вашему сайту автоматизированных инструментов, таких как скраперы, хакерские боты и пользовательские агенты с искусственным интеллектом. Помимо блокировки поисковых сканеров, рекомендуется использовать систему брандмауэра, поскольку она обеспечивает гибкость с точки зрения фильтрации на основе поведения (например, скорости сканирования), IP-адреса, пользовательского агента и географического местоположения, а также других факторов. Некоторые популярные варианты включают решения уровня сервера, такие как Fail2Ban, облачные системы, такие как Cloudflare WAF, или плагины безопасности WordPress, такие как Wordfence.
Прочитайте публикацию Гэри Иллиеса в LinkedIn:
robots.txt не может предотвратить несанкционированный доступ к контенту
Смотрите также
- Почему контент важен для SEO
- Google о том, почему простые факторы не являются сигналами ранжирования
- Акции SBER. Сбербанк: прогноз акций.
- Максимальная эффективность для привлечения потенциальных клиентов: передовые стратегии и подводные камни, которых следует избегать
- Акции KZOS. Казаньоргсинтез: прогноз акций.
- Google обновляет всю документацию по сканеру
- Акции MSRS. Россети Московский регион: прогноз акций.
- Акции PHOR. ФосАгро: прогноз акций.
- Акции NOMP. Новошип: прогноз акций.
- Акции RKKE. РКК Энергия им.С.П.Королева: прогноз акций.
2024-08-02 10:41