Что раскрывает последний отчёт Web Almanac о ботах, влиянии CMS и llms.txt.

The Web Almanac — это ежегодный отчёт, который преобразует данные из HTTP Archive в полезную информацию. Он сочетает в себе широкий анализ данных с экспертным мнением людей из веб-индустрии.

Как SEO-эксперт, я хотел получить предварительный обзор того, что отчет за 2025 год раскрывает о текущем состоянии поиска. Поэтому я пообщался с Крисом Грином, одним из авторов отчета и уважаемым голосом в индустрии с более чем 15-летним опытом, чтобы получить его мнение.

Крис недавно рассказал мне несколько интересных вещей о том, как используются файлы llms.txt и как системы управления контентом (CMS) на самом деле оказывают огромное влияние на поисковую оптимизацию (SEO), часто способами, которые мы не осознаём. Исследование выявило некоторые скрытые детали и удивительные идеи, которые большинство людей упустили бы.

Вы можете либо посмотреть полное интервью с Крисом в конце этой записи, либо продолжить чтение краткого содержания этой статьи.

Как цифровой маркетолог, изучение данных Web Almanac действительно открыло мне глаза. Это подтвердило то, что я часто подозреваю – веб на удивление фрагментирован и, откровенно говоря, немного хаотичен. Еще многое предстоит сделать для улучшения общего опыта для пользователей.

Управление ботами больше не вопрос ‘Google, или не Google?’

В течение некоторого времени управление ботами было довольно простым – вы либо разрешали, либо блокировали ботов Google. Но сейчас становится сложнее, как отметил Eoghan Henn ранее, и исследование Chris подтверждает это.

Мы начали с обсуждения того, как файлы robots.txt все чаще используются для указания того, как ИИ-ботам разрешено получать доступ к веб-сайтам.

Крис объяснил, что важно понимать различных веб-краулеров – чего они пытаются достичь и каковы могут быть последствия их блокировки. Блокировка некоторых ботов может оказать большее влияние, чем блокировка других, поэтому это следует учитывать внимательно.

Помимо этого, поставщикам платформ необходимо следовать этим рекомендациям и правильно обрабатывать эти файлы. Это не всегда происходит, и понимание этических соображений, связанных с ИИ и автоматизированными веб-краулерами, становится все более важным для специалистов по SEO.

Крис отметил, что, хотя отчёт Almanac выделил проблему с тем, как используется robots.txt, SEO-специалистам необходимо активно изучать, как эффективно управлять ботами.

Важно понимать, как каждый бот или веб-краулер влияет на ваш веб-сайт, и объяснить это вашей компании. Если ваша команда попытается заблокировать слишком много бот-трафика, чтобы сэкономить деньги, это может серьезно навредить производительности вашего веб-сайта в AI-powered поиске и других приложениях.

Крис отметил, что редакционные команды часто не хотят, чтобы их контент копировали и переиздавали в другом месте. Поэтому SEO-специалистам необходимо понимать эту проблему, знать, как решить её с технической точки зрения, и уметь объяснить её заинтересованным сторонам внутри бизнеса.

С ростом числа поисковых систем и веб-краулеров, SEO-командам необходимо тщательно оценивать все потенциальные эффекты и сотрудничать с другими отделами для надлежащего управления доступом к веб-сайту.

LLMs.txt применяется, несмотря на отсутствие официального внедрения платформой.

Один удивительный результат из отчета заключается в том, что в настоящее время только около 2% проанализированных веб-сайтов используют предлагаемый стандарт llms.txt.

Файл ‘llms.txt’ вызвал дебаты среди SEO-специалистов, многие ставят под сомнение его полезность. В то время как некоторые SEO-инструменты, такие как Yoast, приняли его, AI-компании пока не продемонстрировали, что они фактически используют информацию, которую он предоставляет.

Крис признал, что темпы внедрения оказались выше, чем он предполагал, достигнув 2%. Однако этот рост, по-видимому, во многом обусловлен тем, что SEO-инструменты включают функцию llms.txt, либо по умолчанию, либо в качестве опции.

Крис сомневается, что это окажет длительное влияние. Он отмечает, что Google неоднократно заявляла об отсутствии намерений использовать формат llms.txt, и без сильной поддержки от ведущих компаний в области ИИ, таких как OpenAI, это может остаться небольшим, хорошо намеренным начинанием, вместо того, чтобы стать широко используемым стандартом.

Компания Google неоднократно заявляла, что не планирует использовать стандарт llms.txt, и подтвердила свою позицию на мероприятии Search Central в Цюрихе в прошлом году. Вероятно, он им не нужен, поскольку их технология веб-краулинга и рендеринга страниц уже очень сильна. Ключевой вопрос сейчас в том, примет ли OpenAI этот стандарт, но я считаю, что у них есть более насущные проблемы, которые нужно решить, чем установление нового стандарта.

Разные, но успокаивающе одинаковые там, где это важно.

Затем я спросил Криса, как SEO-специалисты могут найти баланс между тем, чтобы веб-сайты легко находились людьми, использующими поисковые системы, и обеспечением того, чтобы они также были понятны автоматизированным системам.

Он считает, что текущие практики SEO очень похожи на те, что были до акцента на недавние изменения, и что эта тенденция, вероятно, сохранится до начала 2026 года.

Несмотря на то, что поисковые и ИИ-системы имеют некоторые сходства, Крис подчеркнул, что они не одинаковы. Люди, которые думают, что оптимизация для поисковых систем – это то же самое, что оптимизация для ИИ, не понимают, насколько по-разному работают эти две системы – у них разные приоритеты, а такие задачи, как понимание информации, её поиск и создание контента, выполняются совершенно разными способами.

Несмотря на новые инструменты и функции, он считает, что SEO по своей сути не изменилось. Он видит SEO и оптимизацию для AI как фундаментально схожие вещи – важные принципы остаются прежними. Однако вам потребуется другая стратегия, поскольку AI предоставляет и представляет информацию по-новому.

Крис сказал, что SEO-специалисты будут больше ориентироваться на ленты, управление лентами, оптимизацию лент.

Новая система Google для обработки покупок – позволяющая совершать транзакции прямо из результатов поиска или внутри Gemini – является значительным изменением. Она еще больше снижает необходимость для клиентов посещать отдельные веб-сайты. Однако, даже с этим сдвигом, создание высококачественного контента остается важным для видимости – просто то, где появляется этот контент, эволюционирует.

CMS Platforms Shape The Web More Than SEOs Realize

Одним из самых удивительных открытий в отчете Web Almanac 2025 стало то, насколько большой контроль платформы CMS и связанные с ними инструменты оказывают на веб.

Крис признал, что недооценил значительное влияние платформ, таких как Shopify и Wix, на современное техническое SEO. Он считает, что эти платформы формируют эту область глубже, чем многие осознают.

Крис считает, что, хотя специалисты по SEO стремятся делать хорошую работу, их общее влияние на веб ограничено, если они не работают с крупными платформами, такими как WordPress, Wix или Shopify. Он предполагает, что те, кто хочет оказать более широкое влияние, должны сосредоточиться на влиянии на этих крупных поставщиков программного обеспечения и их экосистемы, а не работать с отдельными клиентами.

Соблюдение технических стандартов должным образом даст некоторым веб-сайтам конкурентное преимущество, поскольку многие другие медленно внедряют эти лучшие практики.

Ключевым выводом из нашей дискуссии стало осознание того, сколько веб-сайтов имеют проблемы, и насколько ограничены наши возможности как SEO-специалистов в их решении.

Крис отметил, что многие SEO-специалисты чувствуют, что Google им что-то должно, поскольку они выполняют большую часть закулисной работы, чтобы поддерживать работу интернета. Однако он также считает, что общее влияние SEO-индустрии может быть преувеличено. Он отметил, что данные из Web Almanac показали, насколько несовершенен и неорганизован все еще веб, описывая его как ‘действительно беспорядочный’.

AI Агенты не заменят SEO-специалистов, но они заменят плохие процессы.

Мы закончили наше обсуждение разговором об AI-агентах и автоматизации. Крис начал с того, что отметил, что термин ‘agents’ может быть запутанным, потому что люди используют его по-разному.

Он объяснил, что инструменты ИИ не предназначены для замены квалифицированных SEO-специалистов, а для того, чтобы помочь им работать быстрее. Многие SEO-задачи включают в себя повторение одних и тех же действий, таких как сбор данных и выявление тенденций – вещи, которые ИИ может легко автоматизировать. Реальная ценность SEO-эксперта заключается в планировании стратегий, принятии разумных решений и понимании общей картины.

Первоначальные ИИ-помощники могут справляться со значительной частью задач – примерно с 60 до 80 процентов – во многом как квалифицированный стажёр. Однако, эти инструменты требуют вашего руководства, чтобы быть по-настоящему эффективными. Вам нужно будет применить свои собственные знания и опыт, не только в таких областях, как онлайн-маркетинг или продажи, но и конкретно к уникальным потребностям вашей компании, по мнению одного эксперта.

Крис считает, что многие SEO-специалисты могли бы улучшить свою работу, более тщательно адаптируя свои стратегии к уникальным потребностям каждого клиента. Он предлагает создать систему, которая автоматизирует около 80% работы, а затем сосредоточить свой опыт на последних 20%, чтобы доработать подход и добиться наилучших результатов.

SEO-специалисты, которые работают с инструментами искусственного интеллекта, улучшают свои процессы и адаптируются к новым технологиям, будут гораздо ценнее в долгосрочной перспективе, чем те, кто не принимает эти изменения.

Крис предостерег, что при тестировании автоматизации мы не должны автоматизировать процессы, которые уже имеют дефекты.

Прежде чем пытаться что-то улучшить, убедитесь, что вы полностью понимаете, как это работает. Если базовый процесс имеет недостатки, автоматизация только создаст последовательно средние результаты, и это не принесет пользы никому.

Крис верит, что специалисты по SEO, которые научатся эффективно использовать и улучшать инструменты AI, будут наиболее успешными в долгосрочной перспективе. Он предполагает, что те, кто сможет продемонстрировать постоянное улучшение и адаптацию, будут иметь значительное преимущество по мере того, как AI становится все более распространенным.

SEO-специалисты могут добиться успеха, взаимодействуя со сложностью.

Web Almanac 2025 не утверждает, что SEO уходит в прошлое, но оно меняется. Командам необходимо адаптироваться к этим изменениям, поскольку SEO теперь включает в себя не только основы. Хотя такие вещи, как обеспечение легкой сканируемости веб-сайтов и их техническая исправность, по-прежнему важны, они теперь являются частью более широкой картины, которая включает в себя AI, каналы контента, закрытые системы и решения, принимаемые такими платформами, как Google и Facebook.

Когда технические стандарты не используются правильно в большой системе, люди, которые действительно понимают, как эти системы работают, всё ещё могут найти способы добиться успеха.

Автоматизация наиболее эффективна, когда она улучшает уже хорошие системы, но она может на самом деле ухудшить ситуацию, если просто ускоряет несовершенные. По мере того, как инструменты автоматизации становятся все более распространенными, специалисты по SEO, которые уделяют приоритетное внимание сильным процессам, разумному принятию решений и пониманию общей картины бизнеса, будут оставаться ценными.

Я разрабатываю веб-сайты уже давно, и позвольте мне сказать вам, что веб становится все сложнее. В наши дни успешное SEO — это не попытки *обыграть* алгоритмы, а понимание и работа *с* этой сложностью. SEO-специалисты, которые будут преуспевать, — это те, кто примет этот вызов, а не будет от него отворачиваться.

В 2026 году успешное SEO не будет сосредоточено на выборе между традиционным поиском и искусственным интеллектом. Вместо этого, оно будет заключаться в понимании того, как разные платформы используют контент и на чем нам следует сосредоточить наши усилия по оптимизации.

Посмотрите полное видео-интервью с Крисом Грином здесь:

Спасибо Крису Грину за то, что поделился своими соображениями и стал моим гостем в IMHO.

Смотрите также

• Акции OZPH. Озон Фармацевтика: прогноз акций.

• Акции CBOM. МКБ: прогноз акций.

• Акции UWGN. ОВК: прогноз акций.

• Акции ROLO. Русолово: прогноз акций.

• Акции SNGS. Сургутнефтегаз: прогноз акций.

• Бинг размещает рекламу в сниппетах функций с названием «Вы также можете понравиться»

• Какой самый низкий курс доллара к гривне?

• Акции ROSN. Роснефть: прогноз акций.

• Анализ динамики цен на криптовалюту XLM: прогнозы XLM

• Акции BELU. Novabev Group: прогноз акций.

2026-01-29 16:44