Технический SEO-аудит для эпохи AI-поиска: Как максимизировать вашу AI-видимость.

от

Как оптимизировать мой сайт для ChatGPT и Perplexity, а не только для Google?

Как мне узнать, действительно ли AI-боты сканируют мой сайт?

Как должна измениться моя стратегия технического SEO для AI Search?

К 2026 году большая часть поисковых запросов к вашему веб-сайту, вероятно, будет исходить от автоматизированных программ, работающих на людей.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Эти машины не обращают внимания на ваши ключевые слова. Они обращают внимание на то, есть ли у вас:

  • HTML загружается корректно менее чем за 200 миллисекунд.
  • Страница с деталями продукта доступна менее чем за четыре клика.
  • Контент отвечает на конкретный вопрос из девяти слов, который никогда не появлялся ни в одном инструменте исследования ключевых слов за всю вашу карьеру.

Это не просто предположение. Данные с наших серверов, полученные с сотен бизнес-сайтов, последовательно показывают, что эта тенденция наблюдается с середины 2025 года.

Что на самом деле происходит на вашем сайте?

Мой коллега, Стен, заметил кое-что необычное в наших сообщениях Slack: длина запросов пользователей увеличивалась гораздо быстрее, чем мы ожидали от нормального человеческого общения.

Огромный рост – 161% – в количестве поисковых запросов, состоящих из десяти и более слов, вызван не тем, что люди вдруг начали вводить более длинные запросы. Вместо этого это происходит потому, что ИИ-помощники разбивают один запрос на множество более мелких поисков, происходящих одновременно, технику, которую исследователи называют «fan-out».

Рост длины запросов в 2025 году

Резкий рост длинных запросов является ключевым индикатором. Хотя люди не ищут естественным образом, используя всё более длинные фразы, компьютеры – да. К октябрю 2025 года запросы, состоящие из семи и более слов, составляли почти 1% от всех поисков – примерно в три раза больше, чем обычно.

Коэффициент кликабельности рассказывает более важную историю, чем просто количество показов. Хотя поисковые запросы по 10-словным фразам значительно увеличились (на 161%), частота, с которой люди нажимали на эти результаты, резко упала до 2,26%, что является резким снижением по сравнению с 8–11%, наблюдавшимися в 2023 году.

Наш ИИ напрямую отвечает на вопросы, используя информацию с вашего веб-сайта, не требуя от пользователей фактического посещения вашего сайта.

Как SEO-эксперт, я начал называть эти случаи «фантомными показами». По сути, это сигналы, показывающие, что ИИ действительно *оценивает* ваш контент, даже если это не приводит к немедленному клику. Если вы игнорируете их в своих отчетах только потому, что они не приносят трафик, вы упускаете из виду важную часть головоломки и принимаете решения на основе неполных данных — это как пытаться ориентироваться, не имея полного обзора дороги.

Три бота, посещающих ваш сайт, и их влияние на видимость в SERP

Поисковые краулеры на основе искусственного интеллекта не все одинаковы, и многие SEO-специалисты ошибочно полагают обратное.

Поисковые боты, используемые для обучения, тщательно исследуют веб-сайты, но не учитывают, сколько кликов требуется, чтобы добраться до контента. ‘Обучающий визит’ просто сообщает ИИ о наличии вашего контента – он не гарантирует, что кто-либо действительно его найдет.

Поисковые боты на основе искусственного интеллекта не очень глубоко исследуют веб-сайты. Обычно они переходят всего на пару страниц после попадания на сайт и обычно посещают каждую страницу примерно раз в месяц.

Чат-боты на базе искусственного интеллекта активируются, когда кто-то задаёт вопрос, используя такие инструменты, как ChatGPT, Perplexity или Claude. Затем ИИ находит ответ для них. Это единственные случаи, когда ИИ фактически используется и виден.

Тип бота Что это вызывает Crawl Depth Влияние на видимость ИИ
Обучающие боты Модели образовательных циклов Deep — игнорирует расстояние клика. Никаких напрямую. Только осведомленность.
AI поисковые боты Новое обнаружение URL & свежий контент Shallow — ~1 визит/месяц сверх 2–3 кликов Критически важный привратник. Если он пропустит страницу, пользовательские боты тоже её не найдут.
AI пользовательские боты Реальный запрос пользователя в ChatGPT / Claude / Perplexity Селективный — обусловленный скоростью и структурой Высокий. Ближайший прокси к впечатлению от ИИ.

Ваш веб-сайт может получать много посещений от ботов, используемых для обучения ИИ и поисковых систем, но это не означает, что он отображается в результатах поиска на основе ИИ. Если вы не отслеживаете эти посещения ботов и не определяете, что это за боты, вы видите лишь малую часть картины.

Какие SEO-сигналы уважают LLM?

Robots.txt – ваш основной рычаг.

Ведущие платформы искусственного интеллекта, такие как ChatGPT, Claude и Gemini, обычно следуют правилам, установленным в файле robots.txt веб-сайта. Perplexity немного отличается — его поисковый бот следует правилам, но когда пользователь напрямую просит его получить доступ к сайту, он этого не делает. Cloudflare подтвердил это. Большинство владельцев веб-сайтов не проверяли свои файлы robots.txt, чтобы увидеть, как ИИ-боты получают доступ к их контенту, и это важно сделать.

Карты сайта широко поддерживаются.

ChatGPT, Claude и PerplexityBot все используют XML-карты сайта для обнаружения URL-адресов. Поддерживайте их точность.

Сигналы Лучше Сохранить Для SEO & Рейтинговых Усилий

Эти сигналы, похоже, не влияют на то, как ИИ отображает результаты, но они по-прежнему важны для ранжирования в традиционных результатах поиска.

Канонические теги и директивы noindex ничего не значат для AI-ботов.

AI-чат-боты, такие как ChatGPT, не создают поисковый индекс, как это делает Google, поэтому они не полагаются на сигналы, которые сообщают поисковым системам, какой контент важен. Это означает, что контент, заблокированный для Google с помощью тега ‘noindex’, по-прежнему полностью доступен для ChatGPT.

LLM.txt ничего не делает.

Наши данные логов показывают, что основные AI боты не читают этот файл. Не тратьте здесь время.

Рендеринг JavaScript – это критическая слепая зона.

Многие AI-инструменты, сканирующие веб-сайты (например, ChatGPT, Claude и Perplexity), не могут обрабатывать JavaScript. Это означает, что если ваш веб-сайт полагается на JavaScript для загрузки важной информации, эти инструменты не смогут её увидеть. Использование серверного рендеринга гарантирует, что все – включая эти AI-инструменты – смогут получить доступ ко всему вашему контенту. Google Gemini отличается, хотя; он использует ту же технологию, что и обычный веб-краулер Google, поэтому он *может* рендерить JavaScript.

Как убедиться, что ChatGPT, Perplexity и LLMs могут получить доступ к вашему контенту

Поисковые системы с искусственным интеллектом обычно проверяют более глубокие страницы веб-сайтов примерно раз в месяц, и они редко заходят дальше трех кликов от главной страницы. К сожалению, страницы, содержащие наиболее подробные и полезные ответы, часто оказываются теми, которые этим поисковым системам труднее всего найти.

Чтобы улучшить производительность вашего веб-сайта, убедитесь, что ваши важные, подробные страницы легко доступны. Ссылайтесь на них с других страниц вашего сайта, чтобы посетители могли до них добраться за четыре клика или меньше.

Сосредоточьтесь на страницах, которые исследовали ваши программы обучения ИИ, но которые не нашли ваши реальные пользователи – это наиболее важные области для улучшения. Если пользовательские ИИ-боты часто посещают определенные страницы, это сигнализирует о том, что вам следует создавать больше контента на те же темы, углубляясь в ту же степень детализации.

Оптимизируйте контент для более длительных, распространяемых запросов.

Большинство поисковых запросов, запускающих цитирования на основе искусственного интеллекта, не имеют фактических поисков – они создаются самим ИИ. Хотя эти искусственные запросы появляются в Google Search Console с показами, но без кликов, они необычно длинные и не являются запросами, по которым кто-либо намеренно пытался бы ранжироваться.

Как найти возможности для запросов Fan Out

Как SEO-эксперт, одна из моих основных стратегий для поиска возможностей с поиском на основе ИИ – это выявление поисковых запросов ‘fan-out’. Это более длинные, разговорные вопросы, которые задают люди. Чтобы действительно углубиться в это, я подключаю свой API Google Search Console (GSC) к JetOctopus – это позволяет мне обойти обычный лимит в 1000 строк в интерфейсе GSC. Затем я фильтрую запросы, которые длиннее 7 слов, имеют менее 50 показов и в настоящее время не получают ни одного клика, анализируя данные за последние 3 месяца. В итоге у вас остается, по сути, ‘Матрица возможностей Fan-Out’ – это точные вопросы, которые используют AI-агенты при изучении контента, подобного вашему, и где вы потенциально можете занять место в рейтинге!

Типы запросов, которые наиболее масштабируются

Если ваш контент не представляет информацию чётко в виде списков, сравнений, рейтингов или с плюсами, минусами и подробными спецификациями, вы упускаете огромную возможность охватить более широкую аудиторию. По сути, вы не облегчаете людям поиск того, что они ищут.

Поисковые запросы отзывов о продуктах резко возросли, с 239 в июне 2025 года до более чем 40 000 к сентябрю 2025 года – рост более чем на 16 000%. Этот всплеск был вызван AI-программами, собирающими подробные мнения в интернете. Если на страницах вашего продукта недостаточно подробной информации, эти программы их не найдут.

Технический аудит: С чего начать

Шаг 1: Определите трафик AI User Bot в логах.

Соберите журналы вашего сервера (из Apache или Nginx) и извлеките каждую строку, которая включает следующие пользовательские агенты ботов: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot и Claude-User. После этого организуйте эти записи в таблице, группируя их по типу бота и конкретному веб-адресу (endpoint), к которому они обращались. Имейте в виду, что определение того, какие боты предназначены для обучения, а какие являются обычными пользователями, требует постоянно обновляемого списка, который вы создаете и поддерживаете самостоятельно, поскольку не существует стандартного способа их различить.

JetOctopus Log Analyzer автоматически категоризирует бот-трафик – различая обучающих ботов, поисковых ботов и реальных пользователей – всего в несколько кликов. Это позволяет быстро увидеть, к каким страницам обращаются ваши AI боты (показывая, какой контент виден AI и готов к масштабированию) и, что крайне важно, какие страницы посещают обучающие боты, которые реальные пользователи никогда не видят – выделяя области, требующие немедленного внимания и улучшения.

Шаг 2: Аудит технической доступности глубоких страниц

Чтобы проверить, могут ли AI-боты правильно получать доступ к контенту вашего сайта, протестируйте репрезентативный выбор более глубоких страниц. Сначала проверьте размер страницы, изучив HTML-код. Затем просмотрите необработанный HTML, чтобы убедиться, что важная информация не добавляется с помощью JavaScript. Чтобы понять, насколько глубоко бот может просканировать, вручную переходите по страницам с главной страницы и подсчитайте, сколько кликов требуется для достижения определенного контента. Используйте Chrome DevTools или Lighthouse для измерения времени загрузки страниц. Важно проверить, скрыт ли важный контент за элементами, такими как аккордеоны или кнопки «View More», – AI-боты часто не могут видеть контент, который требует взаимодействия. Имейте в виду, что для больших веб-сайтов проверка только выборки страниц может упустить значительные проблемы, поскольку AI-агенты не моделируют клики пользователей и не увидят контент, который появляется только после взаимодействия пользователя со страницей.

Шаг 3: Очистите ваш файл Robots.txt

Внимательно проверьте свой файл robots.txt, просмотрев каждое правило ‘Disallow’ и ‘Allow’ для каждого типа бота. Поскольку боты на основе искусственного интеллекта уважают эти правила, убедитесь, что вы случайно не заблокировали важные страницы. Самостоятельно протестируйте несколько ключевых URL, чтобы убедиться в их доступности. Потратив всего полчаса на это, вы сможете избежать либо блокировки поисковых систем, которые *хотите* видеть на своем сайте, либо случайной публикации приватного контента в открытый доступ.

Шаг 4: Отобразите свои Фантомные Впечатления

Получите данные из отчётов о производительности Google Search Console, уделяя особое внимание показам, которые не привели к каким-либо кликам. Из-за ограничения в 1000 строк в пользовательском интерфейсе вам потребуется использовать GSC API или экспортировать данные меньшими частями, либо по дате, либо по поисковому запросу. Затем вы можете объединить эти меньшие наборы данных с помощью таких инструментов, как таблицы или BigQuery. Учитывайте, как часто появляется поисковый запрос – если он появляется регулярно, это, вероятно, не незначительная вариация более популярного запроса.

Подключите вашу Google Search Console (GSC) к JetOctopus, чтобы снять ограничения на данные и мгновенно создать матрицу возможностей Fan-Out. Эта матрица показывает конкретные вопросы, которые AI использует для понимания вашего контента, позволяя вам быстро принять меры.

Шаг 5: Отслеживайте изменения.

JetOctopus Alerts помогает вам быть в курсе изменений в ваших AI-ботах и производительности веб-сайта. Он объединяет уведомления об активности ботов, сканировании Google, скорости веб-сайта, SEO-проблемах и любых снижениях в том, как ваш сайт отображается в результатах поиска, позволяя вам быстро выявлять и устранять проблемы до того, как они станут более серьезными.

Новый KPI: Техническая Доступность

В 2026 году успешное SEO будет зависеть от того, насколько легко ИИ сможет найти и понять информацию на вашем веб-сайте. В частности, сможет ли он быстро найти конкретный факт даже на ваших самых глубоких и малоизвестных страницах – например, на вашей 50 000-й странице продукта – менее чем за одну пятую секунды?

Если люди не находят ваш контент, такие вещи, как рейтинг вашего веб-сайта, количество ссылок, указывающих на него, и качество вашего контента, имеют всё меньшее значение. Всё чаще поисковые запросы выполняются ИИ, а не людьми. Ключ в том, чтобы понимать, как быстро происходит этот сдвиг.

Начните с ваших логов. Все остальное следует из этого.

Хотите увидеть, как ИИ-боты взаимодействуют с вашим сайтом: на какие страницы они заходят, какие пропускают и где скрываются ваши возможности для расширения охвата? Забронируйте живую демонстрацию платформы JetOctopus. Мы проанализируем ваши фактические данные журналов и покажем вам то, о чем не рассказывают ваши отчеты GSC.
CHECK MY AI VISIBILITY

Кредиты изображения

Смотрите также

2026-05-12 08:13