Как опытный эксперт по SEO, который ориентируется в цифровом мире со времен Yahoo! и AltaVista, я могу с уверенностью сказать, что появление ботов с искусственным интеллектом в веб-сканировании — это не просто очередная причуда, а переломный момент для нас, поисковых маркетологов. Имея за плечами более чем двадцатилетний опыт работы, я видел бесчисленные сдвиги и трансформации в мире SEO, и этот, возможно, самый интригующий.
В отчете, опубликованном Vercel, подчеркивается растущее влияние ботов с искусственным интеллектом на сканирование веб-страниц.
Каждый месяц через сеть Vercel через сеть Vercel отправляется примерно один миллиард запросов через сеть Vercel.
Данные показывают, что за последний месяц GPTBot сделал 569 миллионов запросов, а на долю Клода — 370 миллионов.
Кроме того, PerplexityBot выполнил около 24,4 миллиона запросов, а AppleBot — около 314 миллионов запросов.
Примерно 28% от общего числа запросов, выполняемых роботом Googlebot, приходится на эти роботы с искусственным интеллектом, при этом в общей сложности было выполнено 4,5 миллиарда запросов.
Вот что это может означать для SEO.
Ключевые выводы по роботам с искусственным интеллектом
В ходе анализа были рассмотрены модели трафика в сети Vercel и различных веб-архитектурах. Он обнаружил некоторые ключевые особенности сканеров с искусственным интеллектом:
- Основные роботы с искусственным интеллектом не обрабатывают JavaScript, но извлекают файлы JavaScript.
- Поисковые роботы с искусственным интеллектом зачастую неэффективны: ChatGPT и Claude тратят более 34% своих запросов на 404 страницы.
- Тип контента, на котором фокусируются эти сканеры, варьируется. ChatGPT отдает приоритет HTML (57,7%), а Клод больше внимания уделяет изображениям (35,17%).
Географическое распространение
В отличие от типичных поисковых систем, которые осуществляют свою деятельность в различных точках мира, сканеры с искусственным интеллектом в настоящее время преимущественно сосредотачивают свою деятельность на территории Соединенных Штатов.
- ChatGPT работает из Де-Мойна (Айова) и Феникса (Аризона).
- Клод работает из Колумбуса (Огайо).
Корреляция веб-альманаха
Эти результаты хорошо согласуются с данными раздела SEO из Веб-альманаха, который также подчеркивает рост использования веб-сканеров на базе искусственного интеллекта.
Согласно отчету, веб-сайты начали использовать файлы robots.txt для установления руководящих принципов для ботов с искусственным интеллектом, указывая им, какие области им разрешено или запрещено исследовать.
Среди ботов, проанализированных на мобильных веб-сайтах, GPTBot появлялся чаще всего, его доля составляла примерно 2,7% от общего числа. Кроме того, часто упоминается бот Common Crawl, который обычно используется для сбора данных, используемых при создании языковых моделей.
В обоих отчетах подчеркивается, что владельцам веб-сайтов необходимо приспосабливаться к поведению сканеров с искусственным интеллектом.
3 способа оптимизации для сканеров с искусственным интеллектом
Согласно последним данным Vercel и Web Almanac, я хотел бы поделиться тремя стратегиями улучшения вашего сайта для поисковых систем с искусственным интеллектом (ИИ).
1. Рендеринг на стороне сервера
Боты с искусственным интеллектом не используют JavaScript, поэтому контент, динамически создаваемый посредством рендеринга на стороне клиента, потенциально может оставаться скрытым.
Рекомендуемые действия:
- Реализация рендеринга на стороне сервера для критического контента.
- Убедитесь, что основной контент, метаинформация и структуры навигации присутствуют в исходном HTML.
- По возможности используйте генерацию статического сайта или поэтапную статическую регенерацию.
2. Структура и доставка контента
Данные Vercel показывают различные предпочтения типов контента среди сканеров с искусственным интеллектом:
ChatGPT:
- Отдает приоритет HTML-контенту (57,70%)
- Тратит 11,50% выборок на файлы JavaScript.
Клод:
- Сильно фокусируется на изображениях (35,17%)
- Выделяет 23,84% выборок для файлов JavaScript.
Рекомендации по оптимизации:
- Четко и семантически структурируйте HTML-контент.
- Оптимизация доставки изображений и метаданных
- Включите описательный альтернативный текст для изображений.
- Реализуйте правильную иерархию заголовков
3. Технические соображения
Высокие показатели 404 от сканеров с искусственным интеллектом означают, что вам необходимо учитывать следующие технические соображения:
- Поддерживать обновленные карты сайта
- Реализуйте правильные цепочки перенаправления
- Используйте согласованные шаблоны URL-адресов
- Регулярный аудит 404 ошибок
Заглядывая в будущее
Проще говоря, для поисковых маркетологов вывод таков: чат-боты с искусственным интеллектом (ИИ) в настоящее время являются важным игроком в сканировании веб-сайтов, поэтому стратегии SEO должны быть скорректированы, чтобы идти в ногу с этим развитием.
Как специалист по цифровому маркетингу, я воодушевлен будущим потенциалом ботов с искусственным интеллектом. Хотя в настоящее время они могут полагаться на ранее сохраненные или устаревшие данные, их способность сканировать и обрабатывать новый контент из различных онлайн-источников ожидает значительный рост в ближайшем будущем.
Чтобы гарантировать, что ваш контент будет правильно сканироваться и индексироваться, рассмотрите возможность реализации рендеринга на стороне сервера, поддержания четкой иерархии URL-адресов и поддержания актуальности карты сайта.
Смотрите также
- Обновление ядра Google за декабрь 2024 г. уже доступно — что мы видим
- Акции KZOS. Казаньоргсинтез: прогноз акций.
- Google Ads разрешит рекламу курьеров по фэнтези-спорту и лотереям во многих штатах
- OpenAI выпускает поиск ChatGPT: цитаты, элементы управления Robots.txt и многое другое
- 10 стратегических идей SEO и тактических советов на 2025 год и последующий период
- Будет ли в Once Human кроссплатформенная игра и кроссплатформенный прогресс?
- Google запускает новый вид «24 часа» в консоли поиска
- Фасетная навигация: лучшие практики для SEO
- Акции TGKB. ТГК-2: прогноз акций.
- В Google Ads for Performance Max Brand Control добавлено переопределение товарных объявлений
2024-12-19 22:38