Мюллер из Google называет идею «Markdown для ботов» «глупой идеей».

от

Как SEO-эксперт, я наблюдаю за захватывающей тенденцией: некоторые разработчики сейчас адаптируют Markdown-доставку специально для AI-краулеров, таких как боты. Цель? Сократить использование токенов, что в конечном итоге делает сканирование и индексацию более эффективными. Это умный способ оптимизировать контент для AI, и я ожидаю, что мы увидим больше этого в будущем.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Джон Мюллер из Google настоятельно не рекомендовал практику прямой передачи файлов в формате Markdown AI-сканерам. Он высказал технические опасения на Reddit и прямо назвал этот подход «плохой идеей» на Bluesky.

Что происходит

Разработчик поделился на Reddit TechSEO, что планирует использовать Next.js для выявления AI-ботов, таких как GPTBot и ClaudeBot, при посещении ими веб-сайта. Вместо того, чтобы показывать этим ботам полную веб-страницу, система будет отправлять им простую версию контента в виде обычного текста.

Разработчик сообщил, что предварительные тесты показали снижение использования токенов на страницу на 95%. Они считают, что это улучшение позволит сайту обрабатывать больше запросов от AI-ботов, использующих генерацию с расширением извлечения (RAG).

Мюллер ответил серией вопросов.

Думаете ли вы, что поисковые системы правильно интерпретируют Markdown файл на веб-сайте, или они увидят его просто как обычный текст? Смогут ли они переходить по ссылкам внутри него? И какое влияние это окажет на структуру вашего веб-сайта – такие вещи, как внутренние ссылки, заголовки, подвалы и навигация? Одно дело отправить Markdown файл напрямую, но это кажется совсем другим, когда поисковая система ожидает HTML страницу, а получает текстовый файл вместо этого.

В Bluesky Мюллер был более прямолинеен. Он ответил эксперту по SEO Джоно Алдерсону, который считал, что преобразование страниц в простой Markdown удаляет важный контекст и организацию.

Мюллер написал:

Преобразование веб-страниц в markdown кажется бессмысленным. Поскольку большие языковые модели теперь могут обрабатывать изображения, почему бы не сохранять целые веб-сайты в виде картинок?

Олдерсон отметил, что преобразование веб-страницы в Markdown может привести к потере важной информации и её организации. Он рассматривает получение контента в формате Markdown как быстрое решение, а не долгосрочное.

Человек, который первым поделился этой идеей, объяснил, что большие языковые модели лучше понимают Markdown, чем HTML, предполагая, что это связано с тем, что они были широко обучены на коде. Однако это еще не доказано.

Почему это важно

Как SEO-эксперт, я внимательно слежу за советами Джона Мюллера, и он последователен в этом вопросе. Недавно он ответил на вопрос Лили Рей об создании отдельных Markdown или JSON-версий страниц для Large Language Models, и его ответ перекликался с тем, что он говорил раньше. В основном, он рекомендует отдавать приоритет чистому, хорошо структурированному HTML и разметке schema, а не создавать контент *специально* для ботов – то есть не создавать отдельные версии только для них. Сосредоточьтесь на том, чтобы ваш основной HTML-контент был отличным, и это послужит всем, включая LLMs.

SE Ranking проанализировал 300 000 веб-сайтов и обнаружил, что наличие файла llms.txt, похоже, не влияет на частоту упоминания веб-сайта при генерации ответов моделями ИИ. Джон Мюллер из Google отметил, что этот файл аналогичен мета-тегу keywords, который основные поисковые системы официально не используют для ранжирования веб-сайтов или определения цитирований.

В настоящее время официальная документация от поисковых платформ не указывает на то, что создание контента специально для ботов – например, упрощенных версий веб-страниц с использованием Markdown – помогает улучшить поисковые позиции или получить больше цитирований. Гэри Мюллер из Google выразил аналогичные опасения в нескольких беседах, и данные от SE Ranking подтверждают это – они не обнаружили никаких доказательств того, что эти форматы, ориентированные на ботов, имеют какое-либо значение.

Заглядывая в будущее

Пока платформы искусственного интеллекта конкретно не запросят веб-страницы в формате Markdown, всё ещё лучше всего сосредоточиться на чистом HTML. Избегайте избыточного JavaScript, замедляющего загрузку контента, и используйте структурированные данные, когда платформы предоставляют чёткие рекомендации по этому поводу.

Смотрите также

2026-02-05 00:09