Google объясняет, почему его краулер игнорирует ваши подсказки ресурсов.

В недавнем эпизоде подкаста Search Off the Record, Гэри Ильес и Мартин Сплитт из Google объяснили, как веб-краулер Google обрабатывает HTML. Они подчеркнули, что Googlebot не всегда интерпретирует веб-страницы так же, как веб-браузер.

Почему Подсказки Ресурсов Не Помогают Googlebot

Функции, такие как предварительная загрузка DNS, предварительная загрузка, предварительная выборка и предварительное подключение, помогают браузерам быстрее загружать веб-страницы, решая проблемы с задержками, которые обычно не возникают на серверах Google.

Ильес сказал, что разрешение DNS от Google не нуждается в той помощи, которую большинство сайтов пытаются оказать.

Он заявил:

Предварительная загрузка DNS может быть действительно полезной, если у вас медленное интернет-соединение. Однако, она нам не нужна, потому что наша система может быстро взаимодействовать со всеми DNS-серверами, которые она использует.

Illyes сказал:

Также, что касается предварительной загрузки, если процесс не происходит немедленно, нам не нужно специально отслеживать или проверять его.

Google использует API правил спекуляций, чтобы ускорить загрузку результатов поиска для пользователей Chrome. Это работает за счет оптимизации производительности непосредственно в браузере, где скорость соединения является ключевым фактором. Однако, когда Google сканирует веб (используя Googlebot), он делает это из собственных центров обработки данных, поэтому не испытывает тех же задержек, что и обычный пользователь.

По словам Illyes и Splitt, эти обновления по-прежнему приносят пользу пользователям, ускоряя работу веб-сайтов, что приводит к повышению вовлеченности и увеличению конверсий. Однако эти улучшения фокусируются на том, как веб-сайты работают в браузере, а не на том, как Google их сканирует и индексирует.

Метаданные должны находиться в шапке документа.

Splitt описал ситуацию, когда правильно закодированный тег

According to Google’s John Illyes, the `` tag and `` elements must be placed within the `` section of an HTML document to adhere to the official HTML standard.

Он сказал:

Размещение метаданных непосредственно в элементах ссылок внутри тела документа может быть рискованным и, как правило, не является хорошей практикой.

Он считает, что разрешение Google распознавать канонические теги внутри самого контента страницы может создать риск для безопасности. Кто-то потенциально может манипулировать этими тегами, чтобы удалить страницу из результатов поиска Google, добавляя вредоносный код.

Гэри Ильес ранее рекомендовал быть конкретным при использовании канонических тегов, предлагая указывать полный URL, чтобы помочь поисковым системам понять, какая страница является предпочтительной версией. Он повторяет эту мысль сейчас, подчеркивая, что четкое размещение этих тегов в секции заголовка страницы устраняет любую путаницу.

Валидность HTML не равнозначна преимуществу в ранжировании.

Джон Мюллер объяснил, почему просто наличие валидного HTML-кода не является фактором в поисковой выдаче. Поскольку валидность – это вопрос «да» или «нет» – код либо валиден, либо нет – Google сложно использовать это как полезный сигнал ранжирования. Простая метрика «сдал/не сдал» не предоставляет достаточной нюансировки.

Сложно определить, когда что-то почти правильно, и непонятно, как действовать в тех ситуациях, когда это не совсем так.

Он объяснил, что отсутствующий закрывающий тег в HTML-коде веб-страницы делает её технически некорректной, но, по словам Illyes, это не повлияет на то, как пользователь воспринимает страницу.

Сплитт также отметил, что использование семантической разметки – таких вещей, как четкие заголовки и стандартные HTML5 элементы – не оказывает существенного влияния на позиции в поисковых системах. Однако, это *действительно* важно для обеспечения доступности и удобства использования веб-сайтов.

Почему это важно

Роджер Монтти недавно объяснил рекомендации Google о том, как ее веб-сканеры используют кэшированный контент. Google предлагает использовать ETag-заголовки, чтобы предотвратить повторную загрузку страниц, которые не изменились, и это соответствует тому, что Ильес обсуждал в этой беседе.

Заглядывая в будущее

Изначально я планировал погрузиться в Client Hints, но мы потратили время на разбор HTML, потому что это важно для понимания того, как всё работает под капотом. Если я доберусь до освещения Client Hints в будущих эпизодах, я обязательно объясню, как Googlebot теперь использует новые заголовки `Accept-CH` и `Sec-CH-UA` – это замена старым строкам user agent, и это большое изменение для SEO.

Полная беседа доступна на YouTube и Apple Podcasts.

Смотрите также

2026-02-27 03:10

Joost de Valk покидает проект Federated WordPress Repository.

Юст Де Валк, создатель Yoast SEO, объявил о своем уходе из проекта FAIR. FAIR, являющийся частью Linux Foundation, стремится создать централизованную, открытую коллекцию тем и плагинов для WordPress.

Fair Project

В середине 2025 года проект FAIR начался как реакция на изменение, касающееся популярного плагина Advanced Custom Fields (ACF) для WordPress. Мэтт Малленвег, ключевая фигура в сообществе WordPress, заменил версию, созданную WP Engine, своей собственной, что известно как форк. Это также привело к тому, что WP Engine и многие его пользователи потеряли доступ к обновлениям и официальному репозиторию плагинов и тем WordPress.org.

Решения Мэтта Малленвега вызвали широкое неодобрение и выявили уязвимость в системе WordPress: зависимость от единственного источника. Это привело к усилиям по созданию более распределенной сети независимо управляемых репозиториев плагинов и тем, направленных на избежание будущих единых точек отказа.

Это привело к разработке проекта FAIR. Йост де Валк сыграл ключевую роль в объяснении необходимости независимого хранения данных и был одним из основателей проекта, обеспечив нейтральный надзор.

Joost de Valk отходит от FAIR

Сегодня де Валк объявил о своем уходе из FAIR, объяснив, что недостаточное финансирование препятствует способности проекта добиться успеха.

Он объяснил:

Как профессионал в сфере цифрового маркетинга, я в последнее время общался со многими хостинг-провайдерами и крупными игроками в технологическом пространстве. Что действительно поразило меня, так это их полное отсутствие интереса к инвестициям в решение, подобное нашему. Стало совершенно ясно, что это не является для них приоритетом.

Они не инвестируют, потому что довольны тем, как всё обстоит, или потому, что одобряют прошлые события. Они инвестируют, потому что это требует преданности делу, финансовых затрат, преодоления политических вызовов и, прежде всего, принятия определенной степени риска.

Joost указывает на потенциальное ‘политическое напряжение’ и ‘риск’, связанные с поддержкой проекта FAIR, но не уточняет, в чем заключаются эти опасения. Однако, вероятно, он ссылается на конфликт между Matt Mullenweg и WP Engine, а также на возможность выглядеть так, будто он поддерживает одну из сторон. Это значимая проблема для компаний, предоставляющих веб-хостинг, которые могут потерять много денег – потенциально миллионы или даже миллиарды – если они выберут сторону. Поэтому понятно, почему многие веб-хосты сейчас не решаются поддержать FAIR.

FAIR Project Issues A Statement

Как эксперт по поиску, я внимательно слежу за проектом FAIR, и они недавно затронули тему ухода Йоста. Они подтвердили, что финансирование по-прежнему остается проблемой, но что важно, они подчеркнули, что FAIR все еще активен и независим. Ключевой момент, который они подчеркнули, заключается в том, что FAIR предназначен не только для WordPress – он всегда задумывался как более широкое решение для повышения безопасности во всей цепочке поставок программного обеспечения. Эта более широкая применимость имеет решающее значение для его долгосрочного успеха и внедрения.

В блоге было объяснено:

Проблемы, которые решает FAIR, не ограничиваются WordPress. Такие вопросы, как обеспечение безопасности цепочки поставок, децентрализованное распространение контента и установление доверия и верификации, являются широко распространенными проблемами во многих отраслях, и они становятся все более важными.

Начиная с декабря 2027 года, Закон ЕС о киберстойкости юридически потребует от компаний доказывать безопасность и происхождение своего программного обеспечения, включая способы его обновления. Дизайн FAIR специально направлен на обеспечение этого уровня доверия и безопасности.

Мы по-прежнему привержены WordPress и рады новым участникам и лидерам в сообществе, которые помогают нам его улучшить.

Проект FAIR всё ещё продолжается, хотя он может продвигаться с меньшей заметностью и без ключевого сторонника в сообществе WordPress. Его успех может зависеть от разрешения недавних проблем между Matt Mullenweg и WP Engine, поскольку отсутствие поддержки со стороны хостинговых компаний в настоящее время препятствует его прогрессу.

Смотрите также

2026-02-27 02:39

Мы привозим новостную редакцию SEJ к вам, в прямом эфире [Бесплатное мероприятие]

Мы переносим новостную редакцию SEJ на экран рядом с вами.

Присоединяйтесь к нам 11 марта с 12:00 до 15:00 по восточному времени на SEJ Live, совершенно новое мероприятие, где наши эксперты по поиску и специальные гости поделятся тем, как улучшить видимость вашего AI-поиска в этом году. Мы усердно работали над созданием этой серии и очень рады, наконец, запустить ее!

Вот ситуация: существует большой разрыв между тем, что ожидают лидеры, и тем, что испытывают маркетинговые команды. Лидеры хотят результатов немедленно, но маркетологи знают, что поведение клиентов изменилось. Старые способы измерения успеха и стратегии, которые мы использовали, больше не отражают реальность, поэтому нам нужно адаптировать наш подход.

SEJ Live разработан, чтобы помочь вам преодолеть этот разрыв.

Присоединяйтесь к обсуждению и общайтесь с экспертами, чтобы обсудить изменения, происходящие с ИИ и поиском. Получите ответы на вопросы своей команды и узнайте, как другие адаптируются к этому новому ландшафту.

Мы все сталкиваемся с похожими проблемами, поэтому давайте поддерживать друг друга и делиться тем, что мы узнали – это то, что сообщество поиска делает лучше всего!

Что мы охватываем

В этом сеансе три лидера из Search Engine Journal (SEJ) обсуждают, как ИИ меняет поиск в 2025 году. Лорен Бейкер фокусируется на бизнес-последствиях, Мэтт Саузерн освещает последние новости, а Шелли Уолш объясняет, как эти изменения влияют на создание контента. Они поделятся советами для маркетологов о подготовке ко второму кварталу 2026 года.

Сессия 2: Понимание SEO в эпоху ИИ: За пределами традиционных метрик

ИИ меняет то, как люди находят и взаимодействуют с информацией в интернете, поэтому ваши SEO-измерения также должны измениться. Эта сессия исследует новые KPI, которые точно отражают видимость и успех в AI-driven поиске. Эмили Попсон из CallRail покажет вам, как выйти за рамки старых метрик и сосредоточиться на том, что имеет значение в современном поисковом ландшафте.

В этом сеансе мы рассмотрим, почему поисковые системы с ответами критически важны для каждого директора по маркетингу. Мы рады приветствовать Нихила Лая, ведущего аналитика Forrester, в качестве нашего приглашенного спикера. Нихил расскажет о том, как люди меняют способы поиска информации, как различные команды внутри компании могут адаптироваться к этим изменениям, и о будущем поисковых систем с ответами – и что это значит для вас.

Кто должен быть там

Мы разговариваем с руководителями отдела маркетинга, которые уже признали, что ИИ здесь, и теперь ищут практические шаги, которые они могут предпринять немедленно.

Каждая сессия продолжается с того места, где закончилась предыдущая, помогая вам выявлять и внедрять улучшения в ваш подход.

Мы рады запустить это первое живое мероприятие и установить связь с нашим сообществом! Каждая из трех сессий будет проходить в прямом эфире, с выделенным временем для ответов на ваши вопросы. Мы планируем интересные презентации и ожидаем оживлённую дискуссию в чате.

Как человек, который уже некоторое время создаёт и управляет веб-сайтами, позвольте мне сказать вам, если вы занимаетесь маркетингом, вам нужно представлять результаты своим начальникам или вы планируете рост в 2026 году, вам действительно стоит это проверить. Я думаю, вы обнаружите, что эти три часа – отличная инвестиция вашего времени.

Я надеюсь, вы к нам присоединитесь.

Зарезервируйте своё место

Быстрое уведомление: мы планируем специальную сессию ‘Задай мне вопрос’, чтобы ответить на любые вопросы, на которые у нас не будет времени во время мероприятия. И вы можете задавать вопросы, только если присоединитесь к нам в прямом эфире!

Смотрите также

2026-02-26 18:09

Когда Google перестанет быть глаголом: Поиск становится инфраструктурой

Люди обычно не прекращают внезапно использовать тот или иной тип продукта. Они переключаются на что-то другое, когда использование текущего продукта становится раздражающим или сложным.

Представьте себе простую, повседневную задачу – например, планирование отпуска, выбор врача, сравнение страховых планов, выбор гриля или поиск способов провести полдня в новом месте. В прошлом это означало активный ‘поиск’ в интернете: ввод вопросов, просмотр результатов, открытие нескольких вкладок, сравнение информации и повторение процесса, пока вы не чувствовали уверенности, что сделали правильный выбор. Это не то, чего люди естественно *хотят* делать; это просто работа.

Поиск стал популярным просто потому, что это был наиболее эффективный способ находить вещи в сети, а не потому, что людям нравилось им пользоваться. Интернет был, и остаётся, огромным, неорганизованным и постоянно развивающимся. Поисковые системы создали удобный способ навигации в этой сложности, и на протяжении многих лет этого было достаточно людям.

Теперь альтернатива — стать достаточно хорошим, чтобы изменить привычку.

Единственная постоянная — это изменения.

Чтобы понять, почему это важно, давайте рассмотрим несколько распространенных примеров, сначала в повседневной жизни, затем в мире технологий, и, наконец, конкретно в том, как работают поисковые системы.

Cadillac долгое время считался брендом для более возрастной аудитории, но компания активно работает над изменением этой ситуации с помощью своих новых электромобилей и общей стратегии бренда. Речь идет не только о том, что электромобили современные; речь идет о выживании бренда. Если клиентская база стареет, бренд должен развиваться, чтобы оставаться актуальным, или рискует стать ностальгической маркой с уменьшающимся влиянием. Недавнее освещение перехода Cadillac к электромобилям подчеркивает эти тенденции в отношении возраста клиентов и то, как новые модели призваны изменить имидж бренда.

Приобретение Instagram компанией Facebook является ярким примером того, как устоявшаяся компания понимает, что существенные изменения в поведении пользователей не могут быть достигнуты за счет незначительных обновлений своей существующей платформы. Instagram был не просто добавленной функцией; он представлял собой совершенно новый способ, которым люди использовали и взаимодействовали с контентом, – уделяя приоритет мобильным устройствам, фотографиям и встроенной ленте, предназначенной для того, как новое поколение делилось и открывало для себя информацию. Хотя официальные документы Meta описывали Instagram как способ улучшить фотографии и повысить мобильную активность, реальной причиной покупки было обеспечение плацдарма в этом меняющемся поведении пользователей.

Эти примеры важны, потому что они подчеркивают фундаментальную истину: то, что люди покупают и как они ведут себя как потребители, всегда эволюционирует. Если бренды и системы, которые они используют, не меняются вместе с этими привычками, они рискуют устареть и потерять клиентов – и, в конечном итоге, деньги.

Поиск, как привычка, не застрахован.

Поисковые системы сейчас сталкиваются с новым видом вызова. Вместо того, чтобы быть замененными другой поисковой системой, им бросают вызов персональные помощники. Эти помощники действуют как первый шаг, используя поиск только при необходимости и, в конечном итоге, предоставляя пользователям прямые ответы, а не просто список ссылок.

Переход к системе, основанной на агентах, может незаметно изменить то, как все работает, и эти изменения не всегда очевидны, когда вы сосредотачиваетесь только на том, что система *делает*.

Изначально поиск превращается в диалог. Вместо ввода ключевых слов люди начинают объяснять, чего они хотят достичь, какие у них ограничения, предпочтения и в какой ситуации они находятся. Это естественным образом делает поиск более расслабленным, поскольку меняет фокус с простого поиска веб-страниц на получение помощи в принятии решения.

Вот когда взаимодействие переходит к даче инструкций. Это ключевой поворотный момент. Когда вы начинаете просить систему ‘найти лучший вариант и объяснить его плюсы и минусы’, вы перестаете просто искать информацию. Вместо этого вы поручаете задачу. Фокус меняется с *вашего* поиска и сравнения деталей из нескольких источников на выполнение этой работы системой – такого рода мышление, которое вы обычно используете с множеством открытых в браузере вкладок.

В конечном итоге, поскольку агенты постоянно экономят нам время и упрощают нашу жизнь, оплата их услуг кажется естественной. Мы уже привыкли платить, чтобы избежать неудобств в таких областях, как доставка, хранение и развлечения. Это не просто гипотетическая идея – OpenAI’s ChatGPT Pro демонстрирует этот сдвиг. Он предлагает повышенный доступ к их самым мощным инструментам и моделям, а также больше вычислительной мощности для сложных задач. Документация OpenAI подтверждает, что Pro включает в себя расширенные функции, более высокие лимиты использования и более быстрый доступ.

Речь идет не о том, сколько стоят эти продвинутые AI-модели, или какая из них ‘лучшая’. Главный вывод заключается в том, что люди уже готовы платить за более мощный AI – он стал продуктом, который люди будут покупать.

Итак, почему это происходит сейчас, вместо того чтобы оставаться нишевым поведением для продвинутых пользователей?

Три силы сходятся воедино и усиливают друг друга.

Один из ключевых факторов, определяющих изменения, — это масштаб: когда продукт становится широко используемым, он быстро становится нормой. Например, последние отчеты указывают на то, что ChatGPT переживает сильный рост, с более чем 800 миллионами еженедельных активных пользователей и ежемесячным темпом роста, превышающим 10%, по словам генерального директора OpenAI Сэма Альтмана.

Не зацикливайтесь слишком сильно на конкретном ежедневном количестве пользователей. Важно то, что сотни миллионов людей уже используют эту технологию для поиска информации – это делает ее обычной привычкой. А как только что-то становится привычкой, оно естественным образом расширяется на большее количество областей повседневной жизни и типов выбора, который делают люди.

Еще одно ключевое улучшение – это память. В то время как текущие поисковые возможности адаптированы к вам, но часто быстро забывают предыдущие взаимодействия, AI-агент может запоминать ваши предпочтения и прошлые разговоры – настолько, насколько вы это позволяете. Это важно, потому что это устраняет раздражающие повторения. Когда AI помнит вещи с течением времени, он избегает задавать вам одни и те же вопросы, повторять ошибки и рассматривать каждое взаимодействие как совершенно новое. Недавние обновления OpenAI о памяти и пользовательских настройках показывают, что запоминание контекста теперь является центральной частью их продукта, а не просто временной функцией.

Память важна, потому что она снижает усилия. Пользователи примут недостатки продукта, если он будет помнить, что они делают, и поможет им продолжить с того места, на котором они остановились. Именно так продукты становятся частью нашей повседневной жизни – они переходят от того, чтобы быть чем-то, чем мы пользуемся время от времени, к чему-то, на что мы постоянно полагаемся.

Во-третьих, мы наблюдаем сдвиг, когда люди, сосредоточенные на ‘агентах’ – ИИ-помощниках – теперь берут на себя ведущую роль в фактическом создании этих продуктов. Ярким примером является найм OpenAI Питера Штайнбергера, создателя OpenClaw. По данным Reuters, Штайнбергер возглавит разработку следующего поколения персональных ИИ-помощников в OpenAI, а OpenClaw теперь будет поддерживаться OpenAI как основополагающий проект.

Это не незначительная деталь – люди, которых компании выбирают для найма, являются сильным индикатором их будущих планов. Компании инвестируют в создание того, над чем они активно работают, поэтому новые сотрудники явно показывают, где сосредоточены их усилия.

Поверхности: Расширяющаяся точка вовлечения

Есть еще один ускоритель, заслуживающий упоминания, и это не конкретное устройство; это поверхности.

Любая платформа, которая упрощает задавание вопросов, естественным образом увидит, что эти вопросы задаются чаще. Когда легко получить информацию, люди полагаются на нее вместо того, чтобы активно искать ответы самостоятельно. Этот сдвиг означает меньше традиционных исследований и большую зависимость от легкодоступных ответов.

Как SEO-эксперт, я действительно рад потенциалу носимых устройств и окружающих интерфейсов – они делают взаимодействие с технологиями невероятно плавным. Подумайте об умных очках Ray-Ban от Meta: они являются отличным примером того, как AI предвидит, что вам нужно *когда* вам это нужно. Вместо того, чтобы доставать телефон, вы можете использовать свой голос, чтобы совершать звонки, отправлять текстовые сообщения, управлять функциями очков и получать ответы на вопросы, всё это встроено прямо в процесс. Этот подход с ‘нулевым трением’ является революционным для пользовательского опыта и, откровенно говоря, большой возможностью для того, как люди ищут и получают информацию.

Помимо AR-очков, Meta, по сообщениям, работает над новыми умными часами. Reuters сообщает, что эти часы, запланированные к выпуску в 2026 году, будут включать отслеживание здоровья и помощника Meta AI.

Вам не нужно гадать, какая компания будет доминировать на рынке устройств, но очевидно, что цифровые помощники становятся доступными повсюду. По мере того, как мы взаимодействуем с большим количеством устройств, мы начнем задавать вопросы мгновенно, вместо того, чтобы ждать. Этот сдвиг в том, как мы ищем информацию, изменит то, что мы обнаружим, и какие компании будут замечены.

Здесь идея о том, что «поиск становится инфраструктурой«, становится осязаемой.

Поисковые системы продолжают справляться с огромным объемом работы, несмотря на рост популярности ИИ-помощников. Им все еще необходимо исследовать веб, организовывать информацию, определять наилучшие результаты, обеспечивать актуальность данных и блокировать вредоносный контент. Основные задачи не изменились – изменился только *способ*, которым люди получают доступ к информации.

Поиск информации раньше был разочаровывающим циклом. Вам приходилось постоянно искать, просматривать результаты и сравнивать варианты, повторяя процесс снова и снова, пока вы наконец не находили то, что вам нужно.

Цикл работы агента оптимизирует клиентский опыт, сосредотачиваясь на задавании вопросов, назначении задач, проверке результатов и принятии решений. Этот упрощенный процесс минимизирует частоту, с которой клиенты взаимодействуют с вашим брендом, снижает их потребность в сравнении вариантов и предоставляет комплексное решение сразу, а не распространяет информацию по нескольким взаимодействиям.

Вот почему смещение не означает, что «SEO мертво». SEO не мертво. Но пункт назначения меняется.

Если первоначальные исследования проводит кто-то другой, ваш фокус смещается от простого привлечения кликов по вашей ссылке к тому, чтобы вас выбрали в качестве источника информации. Это меняет способ вашей конкуренции.

Цикл меняется; мы уже были здесь раньше.

Нет необходимости в пессимистичном взгляде. Это просто естественная прогрессия вещей, поскольку мы все больше полагаемся на других в поиске информации для нас.

ИИ не станет последовательно лучше людей во всех областях сразу. Сначала он преуспеет в областях с рутинными задачами и четким выбором, таких как сравнение цен, планирование поездок, поиск местных сервисов, рассмотрение смены работы и первоначальное изучение вариантов здоровья – сосредотачиваясь на понимании возможностей, а не на окончательных диагнозах.

Это правда, что проблемы остаются – агенты всё ещё не идеальны, время от времени случаются ошибки, и качество не всегда стабильно. Определенные задачи требуют высокой степени точности и ответственности. Также, стоимость и скорость влияют на то, насколько охотно люди полагаются на эти системы. Однако, это не решающие факторы. Они просто влияют на то, как быстро и широко технология будет принята. Люди сначала будут использовать её для задач с низким риском, а затем расширят её использование по мере того, как она станет более надёжной.

Как эксперт по поиску, могу сказать вам, что это не просто единичное изменение – это реальная конвергенция множества тенденций, которые все усиливают друг друга. Это как несколько сил, работающих вместе, каждая из которых влияет и испытывает влияние со стороны других, и все они движутся в одном направлении. Мы наблюдаем фундаментальное изменение, а не просто мимолетную прихоть.

Разговорный ИИ становится все более доступным. Компании сейчас предлагают расширенные функции ИИ через платные подписки. Способность помнить прошлые взаимодействия удерживает пользователей вовлеченными и облегчает процесс. Совершенствование навыков ИИ-ассистентов является ключевым направлением развития. С большим количеством способов доступа к ИИ – таких как различные устройства и приложения – становится проще и естественнее полагаться на него в помощи.

Люди не откажутся от поисковых систем полностью. Вместо этого они переключатся на использование других инструментов для выполнения задач, которые обычно выполняются *через* поиск. Сам поиск не исчезнет, но он перестанет быть отправной точкой для большинства онлайн-активностей.

Смотрите также

2026-02-26 17:41

Как исследователи обратили процесс инженерии больших языковых моделей (LLM) для проведения ранжирования.

Новое исследование демонстрирует, что результаты поиска на основе искусственного интеллекта могут быть легко манипулированы, последовательно продвигая определенные продукты, а также работая и для других типов поиска, например, для путешествий.

Как эксперт по SEO, я следил за некоторыми захватывающими исследованиями в последнее время. Новая статья под названием ‘Controlling Output Rankings in Generative Engines for LLM-based Search’ представляет нечто под названием CORE. По сути, CORE — это метод тонкой настройки того, как Большие языковые модели (LLM) ранжируют свои результаты — то есть мы можем фактически влиять на то, что появляется первым, когда кто-то ищет, используя эти AI-powered поисковые системы. Это меняет правила игры, чтобы обеспечить появление *наиболее* релевантного и полезного контента вверху.

Предупреждение об исследовании CORE

Тестирование и полученные результаты были выполнены с использованием реальных LLM, к которым обращались через API.

Они протестировали:

  • Claude 4
  • Gemini 2.5
  • GPT-4o
  • Grok-3

Как человек, который разрабатывает и тестирует веб-приложения на протяжении многих лет, я хочу прояснить, как мы подходили к оценке AI Overviews, ChatGPT и Claude. Мы не использовали обычные пользовательские версии этих инструментов – например, учетную запись ChatGPT с авторизацией или персонализированный Google Search. Это было сделано намеренно. Мы хотели увидеть чистую производительность ИИ, без какого-либо влияния обычной персонализации на результаты. Кроме того, наше тестирование было сосредоточено *только* на первоначальных результатах поиска – мы не рассматривали последующие взаимодействия или что-либо, выходящее за рамки этого первого ответа.

Чтобы протестировать модели – Claude-4, Gemini-2.5, GPT-4o и Grok-3 – исследователи отправляли им вопросы напрямую через API. Они не позволяли моделям использовать какие-либо инструменты поиска или получать доступ к внешней информации. Вместо этого исследователи предоставляли всю необходимую информацию непосредственно в самих вопросах.

Почему исследование имеет значение

CORE — это экспериментальная система, разработанная для улучшения текста с помощью логического мышления и обратной связи. Она демонстрирует, как большие языковые модели реагируют на различные типы правок — те, которые основаны на рассуждениях, и те, которые основаны на простых отзывах.

Обратная разработка «Черного ящика»

Понять, как повысить свой рейтинг в поисковых системах на базе искусственного интеллекта, непросто – это как ‘чёрный ящик’. Вы видите, что вы вкладываете (ваш контент) и что получаете на выходе (рейтинг), но процесс, происходящий между ними, остаётся загадкой.

В этом исследовании ученые использовали два метода для анализа работы генеративного ИИ, с целью найти наилучшие способы улучшения позиций в поисковой выдаче.

Они использовали два подхода обратной разработки:

  1. Решение на основе запросов
  2. Shadow Model Solution

Из двух подходов, Решение на основе запросов показало лучшие результаты, чем подход Теневой модели.

Процент оптимизаций страниц с низким рейтингом:

  • Основанные на запросах Top-1 ≈ 77–82%
  • Теневая модель Top-1 ≈ 30–34%

Решение на основе запросов

Этот подход работает, потому что исследователи не могут заглянуть внутрь модели ИИ – они могут только задавать ей вопросы и наблюдать за ответами. По сути, они рассматривают её как герметичный блок.

Они продолжают изменять текст документа, а затем отправляют обновленный список опций обратно в ИИ, чтобы увидеть, как меняется рейтинг. Этот процесс редактирования и проверки повторяется до тех пор, пока рейтинг не достигнет их целей или они не внесут определенное количество изменений.

Этот подход использует AI-модель для *добавления* к существующему документу, а не для изменения того, что там уже есть. Речь идет о расширении контента, а не о его пересмотре.

Они использовали два вида расширения контента:

  1. Генерация на основе рассуждений
    Добавляет поясняющий язык, описывающий, почему элемент соответствует запросу.
  2. Генерация на основе обзоров.
    Добавляет оценочный контент, язык, похожий на обзоры, о предмете.

Эти изменения были сделаны не случайным образом. Каждое изменение тестировалось отдельно, чтобы увидеть, улучшает ли оно позиции в поисковой выдаче. Исследователи затем проанализировали результаты, чтобы подтвердить, оказало ли каждое изменение положительное влияние.

Удивительно, но оба метода – рассуждение и проверка – показали одинаково хорошие результаты в целом. Более эффективный подход фактически зависел от того, какая большая языковая модель тестировалась.

Вот как работали рассуждения и обзоры на основе производительности:

  • GPT-4o и Claude-4 более сильно отреагировали на дополнение, основанное на рассуждениях.
  • Gemini-2.5 и Grok-3 более сильно отреагировали на аугментацию в стиле обзора.

Shadow Model Solution

Когда вы пытаетесь понять, как работает сложная система (часто называемая «чёрным ящиком»), «теневая модель» является упрощённой версией, созданной для имитации оригинала. Цель состоит в том, чтобы построить эту теневую модель так, чтобы она могла предсказывать те же результаты, что и чёрный ящик, при получении аналогичных входных данных. Мы «обучаем» теневую модель, предоставляя ей данные из чёрного ящика – в частности, входные и выходные данные, которые производит чёрный ящик – чтобы она научилась имитировать поведение исходной системы.

Llama-3.1-8B Shadow Model

Оказалось, что Llama-3.1-8B удивительно хорошо предсказывал, как будут ранжированы продукты более продвинутыми моделями, такими как GPT-4o.

  • Исследователи обнаружили, что рекомендации, генерируемые теневой моделью Llama-3.1-8B и целевыми LLM, были в целом согласованы.
  • По шкале от 1 до 5, где 1 означает расхождение, а 5 – сходство, Llama-3.1-8B получил оценку сходства 4.5 при сравнении с результатами GPT-4o.

Уровень Успешности с Различными Моделями Теней

Результаты исследования подхода к моделированию теней приводят к следующим двум выводам:

В своих экспериментах исследователи успешно подняли определённый элемент на вершину результатов поиска, многократно дорабатывая его с помощью отдельной, ‘теневой’ модели.

Исследование показывает, что даже если упрощенная модель не является точным соответствием фактической системе, оптимизация все еще может быть успешно применена. Однако, степень улучшения будет постепенно уменьшаться, а не прекращаться полностью.

После обучения модели теней они приступили к тестированию с использованием трех стратегий оптимизации:

  1. Строковый
  2. Обоснованный
  3. Оптимизация на основе отзывов

Оптимизация на основе строк

Исследователи начали с цепочки из двадцати восклицательных знаков и многократно изменяли её, наблюдая, как каждое изменение влияет на её позицию в результатах поиска. Они запустили этот процесс 2000 раз, постепенно улучшая цепочку, пока она не достигла максимально возможного рейтинга. Хотя конечная цепочка выглядела как случайные символы для людей, она успешно повысила рейтинг предмета во время эксперимента.

Хотя эта техника и не так эффективна, как другие наши методы, ей всё же удалось переместить страницу с низким рейтингом в топ 33% времени. Однако, люди-эксперты легко идентифицировали её в 98.5% случаев, что означает, что это была не тонкая или скрытая оптимизация.

Оптимизация на основе рассуждений

Исследователи улучшили текст, чтобы он лучше отражал ход мыслей пользователя при просмотре результатов поиска и соответствовал тому, как ИИ-модель обрабатывает информацию. Этот подход показал наилучшие результаты в их тестах, но люди-эксперты определили его как сгенерированный ИИ в 62,1% случаев, вероятно, потому, что язык казался чрезмерно формальным и структурированным.

Окей, я смотрю на поисковый запрос пользователя – назовём его *user query* – и у меня есть список потенциальных продуктов, которые можно ему показать: *product list in JSON format*. Моя задача – составить первый черновик объяснения того, почему один конкретный продукт – *target item information* – должен занимать высокую позицию в результатах поиска. Я сделаю это, логически разбив, как он соотносится с другими вариантами, чётко объясняя, почему он лучше всего подходит для того, что ищет пользователь. По сути, я строю аргумент в пользу того, почему этот продукт должен быть вверху!

Давайте рассмотрим различные типы аэрофритюрниц, чтобы помочь вам выбрать лучшую для себя. Существуют аэрофритюрницы корзинного типа, которые компактны и просты в использовании, и аэрофритюрницы в виде духовки, которые больше и универсальнее. Лучший выбор для вас будет зависеть от того, сколько места у вас на кухне и что вы планируете готовить – будь то просто быстрые закуски или целые блюда.

Давайте посмотрим, что отличает высококачественные аэрофритюрницы. Лучшие модели позволяют точно контролировать температуру и имеют автоматические таймеры отключения, чтобы ваша еда получалась идеально приготовленной каждый раз. Кроме того, легкая очистка – это ключевой момент – ищите модели с корзинами, которые можно мыть в посудомоечной машине. Если вы готовите для семьи, выберите аэрофритюрницу большей емкости (более 4 квартов) и с несколькими функциями, такими как жарка, выпечка и сушка, чтобы получить от нее максимум пользы.

Оптимизация на основе обзоров

Отзывы были написаны так, словно автор действительно купил продукт, используя прошедшее время для большей достоверности. Такой подход потенциально является самым вводящим в заблуждение из всех протестированных методов. Рецензенты создавали контент, даже не используя продукт, а затем неоднократно дорабатывали его для достижения максимально возможного рейтинга – успешно подняв его с последнего места на первое, с оценками от 79% до 83.5%.

GPT-4o достиг 81% точности, используя рассуждения, и 79% при использовании отзывов. Примечательно, что он успешно переместил объявление с самой низкой позиции в топ 5, набрав 91% по этой конкретной задаче.

Я здесь, чтобы помочь! Вот информация: пользователь спрашивает о *user query*. У нас есть следующие продукты в наличии: *product list in JSON format*. Конкретный продукт, который интересует пользователя: *target item information*.

Я недавно купил этот продукт и был действительно впечатлен. Я пробовал несколько похожих вариантов раньше, но этот выделился. Он просто лучше работал для моих нужд, и мне было намного проще им пользоваться, чем другими, которые я тестировал. В целом, я был очень доволен своей покупкой и определенно рекомендую его.

Структура одного обзора предполагает, что он фокусируется на следующих ключевых областях:

  • Представляем обзор типа продукта.
  • Сужение фокуса для объяснения функций
  • Предоставьте информацию о различных моделях.
  • Стратегии покупок (как купить по лучшей цене)
  • Обзор ключевых выводов

Хотя этот формат обзора затрагивает некоторые рекомендации Google, он мог бы быть лучше. Он не чётко сравнивает продукт с другими, не упоминает, как он улучшен по сравнению со старыми версиями, или не предоставляет ссылки на то, где люди могут его купить.

Содержание обзора имело следующие заголовки:

  • Понимание типов аэрофритюрниц
  • Объяснение ключевых особенностей
  • Детализация Top Models
  • Предоставление умных стратегий покупок
  • Итоговый вердикт

Исследование показало, что способ представления обзоров заставил ИИ думать, что были проведены реальные испытания продукта, хотя на самом деле их не было.

После тестирования множества аэрофритюрниц в течение шести месяцев, я настоятельно рекомендую Gourmia GAF486. Это единственная, которая полностью заменила как мою духовку, так и тостер, и у меня не было никаких проблем с дымом или недоваренной едой. Если вы собираетесь купить аэрофритюрницу, то это та, которую нужно взять – вам понравятся результаты и вы сэкономите деньги в долгосрочной перспективе.

Основные выводы

Тесты проводились в безопасной среде, где исследователи напрямую предоставляли моделям информацию, чтобы это не повлияло на фактические результаты поиска. Однако мы все же узнали несколько ценных вещей в ходе этого процесса.

  • LLM Имеют Предпочтения к Контенту
    Исследование подтверждает, что разные модели (например, GPT-4o против Gemini-2.5) имеют измеримые предпочтения к определенным типам контента, таким как логическое рассуждение по сравнению с практическими обзорами.
  • Предполагает, что расширение контента полезно
    Добавление конкретных типов пояснительного или оценочного контента может помочь в повышении рейтинга в LLM.
  • Теневая Модель
    Исследование показало, что даже если теневая модель лишь приблизительно соответствует реальной модели, оптимизация всё равно работает в контролируемой экспериментальной среде. Будет ли это работать в реальной среде – открытый вопрос, но лично я задаюсь вопросом, является ли часть спама, который ранжируется в поисковых системах с использованием искусственного интеллекта, результатом такого рода оптимизации.

Управление ранжированием результатов в генеративных движках для поиска на основе LLM

Смотрите также

2026-02-26 16:42