Автоматизированные боты, работающие на основе искусственного интеллекта, оказывают всё большее влияние на веб-сайты, затрагивая такие аспекты, как скорость, точность данных, операционные расходы и легкость поиска контента в интернете. Недавние исследования показывают, что проблема заключается не только в копировании информации ботами, но и в управлении тем, как весь этот автоматизированный трафик взаимодействует с веб-сайтами и бизнесом, который на них полагается.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Скрапинг — это наименьшая из проблем.
Распространенное беспокойство среди владельцев веб-сайтов и специалистов по SEO заключается в том, что AI боты собирают контент с веб-сайтов. Они обеспокоены тем, что AI системы используют этот контент для обучения больших языковых моделей, не давая должного признания, когда этот контент затем используется для генерации AI-powered ответов.
- Владельцы сайтов беспокоятся об интеллектуальной собственности.
- Маркетологи, занимающиеся поисковой оптимизацией, беспокоятся о том, как системы AI используют их контент.
https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text
Но команды инфраструктуры все чаще сталкиваются с различными и не менее серьезными проблемами.
Банальность ботов, которые теряются и собирают информацию.
Отчет показывает, что веб-краулер Meta, используемый для внешних задач, неоднократно посещал немного отличающиеся версии одной и той же веб-страницы в течение нескольких дней, прежде чем системы безопасности смогли его заблокировать.
Это не преднамеренное злоупотребление. Это происходит, когда автоматизированные системы создаются с дефектным кодом или не имеют надлежащих мер безопасности.
Человек, который вчера был совершенно потерян, теперь быстро создал и запустил бота, и даже не предпринял базовый шаг по созданию файла robots.txt для управления тем, как он взаимодействует с веб-сайтами.
Это ключевой момент. Инфраструктурные проблемы, с которыми мы сталкиваемся сегодня, во многом вызваны автоматизацией, которая была плохо спланирована и теперь широко используется.
Боты потребляют ресурсы, не создавая ценности.
Мы не можем игнорировать экономические последствия. Отчёт показывает, что около 80% всей веб-активности от ИИ используется для обучения моделей ИИ – гораздо больше, чем для обычных веб-поисков или пользователей, просматривающих интернет.
Бизнесы оказались в ловушке между видимостью и стоимостью.
Компании сталкиваются с проблемой: им приходится платить за возросший онлайн-трафик из автоматизированных источников, одновременно пытаясь выяснить, приводит ли этот трафик к достаточно ценному вниманию, чтобы оправдать его стоимость.
Вопрос сейчас: Какие боты стоят того, чтобы за них платить?
В отчете утверждается, что владельцам сайтов следует задать себе этот вопрос:
Какие боты, на каких частях моего сайта, при каких условиях?
Управление ботами влияет на то, насколько легко люди могут найти ваш веб-сайт, ваши операционные расходы и то, как хорошо работает ваш сайт. Основная цель — убедиться, что автоматизированный веб-трафик поддерживает ваши общие бизнес-цели.
Трафик может уже быть затронут.
Веб-аналитика все больше подвергается влиянию автоматизированного трафика. Недавний отчет показывает, что трафик от AI-ботов утроился за последний год. В настоящее время около 3% всех посещений в сети TollBit приходится на этих AI-ботов, что означает примерно один из тридцати одного посещения.
С увеличением количества автоматического трафика в сети, простое отслеживание общих показателей трафика — ненадёжный способ оценить, как на самом деле растёт ваша аудитория.
Веб-сайт может получить больше посетителей, но это не всегда означает больше клиентов, регистраций, продаж или прибыли. Иногда дополнительный трафик поступает от ботов или автоматизированных источников.
В отчёте предполагается, что лучшими показателями успеха являются те, которые напрямую связаны с бизнес-результатами, такие как количество людей, которые ищут бренд напрямую, объём трафика, идущего непосредственно на веб-сайт, насколько увлекателен контент и, в конечном счёте, сколько дохода генерируется.
Поскольку всё больше веб-трафика поступает из автоматизированных источников, простое подсчёта посещений не является надёжным способом измерения того, насколько хорошо работает сайт.
Решения и тактики смягчения последствий
Отчёт выступает за осознанный подход к управлению ботами.
Первый шаг — это видимость.
Прежде чем изменять настройки вашего веб-сайта, важно сначала понять, как ведет себя автоматизированный трафик. Вместо того, чтобы пытаться выявить каждого отдельного бота, сосредоточьтесь на распознавании общих закономерностей, таких как частые запросы, повторяющиеся циклы и активность, сосредоточенная вокруг изменяющихся веб-адресов.
Второй шаг — защита дорогостоящих функций сайта.
В отчете также рекомендуется разделять поисковых краулеров от краулеров ИИ.
Боты различаются по своей полезности. Поисковые краулеры важны для того, чтобы помочь людям находить информацию в сети, поэтому они должны иметь больше доступа, чем боты, используемые для обучения ИИ, или те, с неясными целями.
Как цифровой маркетолог, я видел, как быстро всё меняется в сети. Универсальный подход к управлению автоматизированными системами больше не работает – цифровая среда слишком сложна. Именно поэтому наш недавний отчёт предлагает вносить конкретные, целенаправленные корректировки вместо масштабных ограничений. Нам нужно быть точными в нашей политике, чтобы оставаться эффективными.
Мы не пытаемся блокировать весь автоматизированный трафик; мы хотим им управлять. Цель состоит в том, чтобы убедиться, что боты помогают нашим бизнес-целям, не создавая дополнительных расходов. Этого можно достичь, тщательно выбирая, каким ботам разрешен доступ к различным областям нашего веб-сайта и когда.
Выводы
Бо́т-трафик – это уже не просто сбор данных с веб-сайтов. Это более широкая проблема, которая влияет на базовые системы компании, её способность понимать свои данные и общую бизнес-деятельность.
Эффективное управление ботами – это не просто блокировка как можно большего количества ботов. Речь идет о понимании того, чего пытается достичь ваш веб-сайт, а затем о различении полезного автоматизированного трафика и трафика, который вреден для ваших целей.
Прочитайте основанный на данных отчёт Kinsta:
Реальная проверка трафика ИИ и ботов
Смотрите также
- Google тестирует цвета фона фрагмента поиска при наведении
- Google Ads Новая метрика исходного значения конверсии
- Как разработать политику в отношении социальных сетей
- Задержка Отчетов в Реальном Времени Google Аналитики Снова
- Обновление Google о спаме, декабрь 2024 г. Жесткое деиндексирование и понижение рейтинга некоторых сайтов
- Больше сайтов блокируют обход LLM – Может ли это обернуться против GEO?
- Какой самый низкий курс юаня к рублю?
- Google Product Studio распространяется и в других странах
- e-pick: Ваши заветные карты ждут! 🎉
- Акции AKRN. Акрон: прогноз акций.
2026-06-12 03:10