Что показывает наше исследование поведения пользователей в режиме AI о будущем поиска?

Недавно мы провели исследование удобства использования с участием 37 человек, попросив их выполнить семь различных поисковых заданий. Результаты чётко демонстрируют, что пользователи…

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Режим ИИ
Редко выхожу, и
Уходите только тогда, когда они готовы совершить сделку.

Насколько нам известно, ни одно другое исследование не изучало AI Mode с таким уровнем детализации и независимости.

В прошлом мае я работал с Амандой, Эриком Ван Бускирком и его командой над подробным двухчастным анализом AI Overviews. Эрик и я также объединились для исследования того, как AI используется в туристической индустрии для Propellic.

Мы снова сотрудничали, чтобы создать еженедельный Growth Memo, который делится важными выводами и подтверждает, как люди используют AI Mode от Google.

Поскольку такие компании, как Google и OpenAI, не делятся информацией о том, как люди используют их инструменты искусственного интеллекта, мы вмешиваемся, чтобы предоставить эту недостающую информацию.

https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text

Мы провели удалённое исследование, в ходе которого участники записывали свои экраны и озвучивали ход своих мыслей. Полученная коллекция из 250 выполненных задач даёт нам прочную основу для нашего анализа. Вы можете найти полное описание наших исследовательских методов – включая подробности о семи поисковых задачах, которые мы использовали – в конце этого документа.

И вас могут удивить некоторые из полученных результатов. Нас удивили.

Это более длинная запись, поэтому возьмите напиток и расположитесь поудобнее.

Executive Summary

Недавнее исследование режима ИИ от Google показывает, что он значительно влияет на то, как люди используют эту функцию.

Режим ИИ удерживает внимание и заставляет пользователей оставаться внутри. Примерно в трёх четвертях всех пользовательских сессий пользователи не покидали панель режима ИИ – и 88 % первых взаимодействий пользователей были с текстом, сгенерированным ИИ. Вовлечённость была высокой: медианное время по типу задачи составляло примерно 52-77 секунд.
Клики редки и в основном транзакционные. Медианное количество внешних кликов на задачу составляло ноль. Да, вы не ослышались. Нуль. И 77,6% сессий не имели внешних посещений.
Люди просматривают информацию поверхностно, но всё равно принимают решения в режиме AI. Более половины задач были классифицированы как «быстрое ознакомление», когда пользователи просматривают сгенерированный ИИ-саммари, формируют мнение и переходят к следующему.
Видимость, а не трафик, является новой валютой. Участники делали оценки бренда непосредственно на основе результатов работы AI Mode.

TL;DR? Вот основные выводы из этого исследования:

Режим ИИ запоминается (остается включенным).
Клики зарезервированы для транзакций.
AI Mode сопоставляет тип сайта с намерением.
Предварительные просмотры продуктов функционируют как миниатюрные страницы с детальной информацией о продукте (также известные как PDPs).

Благодарности

Но прежде чем мы углубимся в детали, позвольте быстро выразить признательность команде, стоявшей за этим исследованием.

Я и моя команда, работая с Эриком Ван Бускирком из Clickstream Solutions, недавно завершили масштабное исследование удобства использования AI Mode от Google. Это исследование раскрывает ключевые детали о том, как люди используют эту новую функцию поиска и AI-чата, а также показывает, какие брендированные веб-сайты она выделяет и когда.

Эрик Ван Бускирк руководил исследованием как директор. Мы работали вместе, чтобы определить, что будет изучать исследование и как оно будет проводиться, но Эрик отвечал за управление исследовательской группой, проведение исследования и представление результатов. Затем мы сотрудничали, чтобы понять, что означают данные.

Хотя данные кликов дают нам первоначальное понимание того, как люди используют Режим ИИ, это исследование удобства использования позволило взглянуть гораздо глубже. Мы наблюдали за реальными пользователями, выполняющими задачи, что дало нам подробные сведения об их опыте.

Наша платформа для тестирования была UXtweak.

Игнорируйте эти данные режима ИИ на свой страх и риск.

Генеральный директор Google Сундар Пичаи подчеркнул, что новый режим поиска на базе искусственного интеллекта — это не просто забавная функция — это испытательный полигон для будущего поиска Google в целом.

В подкасте Лекса Фридмана Пичаи сказал (выделение моё):

Google утверждает, что его новые функции AI предназначены для перенаправления людей на веб-сайты, но наши исследования показывают, что пользователи на самом деле остаются в Google и принимают решения, не покидая его. Это потенциально может уменьшить количество кликов как по обычным результатам поиска, так и по рекламе.

В прошлом месяце я действительно углубился в кое-что интересное – в то, как продукты Google начинают конкурировать друг с другом, особенно в отношении их функций на основе искусственного интеллекта и AI Overviews. Это увлекательный взгляд на то, как они справляются с ростом искусственного интеллекта в рамках своей собственной экосистемы.

По мере того, как Google делает свой AI Mode доступным для большего числа людей, он вносит самое значительное изменение в Поиск – свой основной способ привлечения новых пользователей – за всю историю.

Хотя классическое SEO по-прежнему хорошо работает даже с развитием ИИ, нам, возможно, придется скорректировать наши стратегии, если ИИ станет основным способом поиска информации.

Чтобы подготовиться к тому, как люди будут искать в будущем, нам нужно рассматривать ИИ как конечную цель, а не просто отправную точку. Мы должны сосредоточиться на создании опыта, который действительно отвечает потребностям пользователей и тому, как они фактически ведут себя в сети.

Это исследование было направлено на понимание и подтверждение того, как люди фактически используют функцию AI Mode при выполнении различных типов поиска.

1. Режим ИИ запоминается.

Ключевая статистика

Люди сначала читают и обычно остаются в режиме AI. Вот что мы обнаружили:

Большинство сессий не имели ни одного внешнего посещения: это означает, что они не покидали AI Mode (совсем).
Примерно 88% первых взаимодействий* пользователей с данной функцией пришлись на текст режима ИИ.
Типичное вовлечение пользователя в Режим ИИ составляет примерно от 50 до 80 секунд на задачу.

Поиски в режиме AI определяются тремя ключевыми особенностями: они удерживают пользователей вовлеченными, успешно выполняют множество запросов и, что важно, делают это, не нуждаясь в перенаправлении трафика куда-либо еще.

*Вот что я имею в виду под «взаимодействием»:*

«Взаимодействие» в рамках задач пользователя = участник осмысленно взаимодействовал с AI Mode после его загрузки.
Что считается взаимодействием: чтение или прокрутка тела AI Mode дольше, чем беглый взгляд, включая просмотр блока результатов, такого как Shopping Pack или Right Pane, открытие карточки продавца, нажатие на встроенную ссылку, значок ссылки или пакет изображений.
Что не считается взаимодействием: Краткие взгляды, перемещения курсора или колебания перед началом взаимодействия.

Люди, использующие Режим ИИ, приходят в основном для чтения сгенерированного текста, а не для просмотра или поиска. Большинство сеансов — около 88% — начинаются с взаимодействия с результатами работы ИИ, и пользователи обычно проводят как минимум минуту в этом опыте.

Интересно, что люди тратят более чем в два раза больше времени, используя AI Mode, чем со стандартными AIOs.

Общая вовлеченность значительно выше.

Почему это важно

Воспринимайте панель режима ИИ как основную область для чтения, а не как тизер для синих ссылок.

Режим ИИ фокусируется на предоставлении наиболее полезного ответа на ваш вопрос, а не просто перенаправлении на веб-сайты. Он разработан для приоритезации полного и удовлетворительного ответа, а не только ссылок.

В результате это полностью меняет цепочку создания ценности для создателей контента, компаний и издателей.

Insight

Я считаю, что режим AI не получает столько внимания, сколько традиционные инструменты поиска, потому что в настоящее время он функционирует как отдельный и обособленный опыт.

Теперь, когда все больше людей используют функции искусственного интеллекта в браузере Google с Gemini, я считаю, что результаты наших исследований станут еще более значимыми.

2. Клики предназначены для транзакций.

Несмотря на небольшое количество кликов, покупательские намерения присутствуют.

В исследовании участники покидали основное задание только тогда, когда это было необходимо, например, когда их просили добавить что-то в корзину, или если они немного времени изучали сайт.

Поскольку очень мало людей перешли по результатам поиска, мы можем с уверенностью сказать, что AI Mode направляет пользователей на внешние сайты только тогда, когда они готовы совершить покупку.

Даже запросы со сравнительным и информационным намерением, как правило, удерживают пользователей внутри функционала.

Запросы на покупки, такие как [canvas bag] и [tidy desk cables], приводят к самой высокой доле выхода из AI Mode.
Сравнения, такие как [Oura vs Apple Watch], показывают наименьшую долю выхода задач.

Когда пользователям предлагалось выполнить какое-либо действие – например, добавить товар в корзину или найти продукт – в большинстве случаев они нажимали на инструменты для совершения покупок, такие как Shopping Packs или Merchant Cards.

Почти каждый пятый пользователь ушёл после отключения функций AI и перехода на другой веб-сайт, что затрудняет понимание причин их первоначального посещения.

Исследования показывают, что люди часто заявляют, что проверят веб-сайт продавца или поищут продукт на платформах, таких как Amazon или eBay, когда ищут товары.

Даже при сравнении продуктов, будь то программное обеспечение или физические товары, пользователи редко переходят по ссылкам.

Как человек, который занимается управлением веб-сайтами уже некоторое время, я заметил значительный сдвиг с появлением поисковых систем на базе ИИ. По сути, AI Mode перехватывает все клики ‘Top of Funnel’ и ‘Middle of Funnel’ – то есть люди узнают о продуктах и принимают решение о покупке *внутри* результатов работы ИИ. Они даже не посещают наши веб-сайты, чтобы провести это исследование.

Ключевые характеристики

Из 250 действительных задач медианное количество внешних кликов было равно нулю!
Задание с [canvas bag] получило 44 внешних клика, а [tidy desk cables] — 31 клик, что составляет две трети всех внешних кликов в этом исследовании.
Сравнения, такие как [Oura Ring vs Apple Watch] или [Ramp vs Brex], получали очень мало кликов (≤6 всего по всем задачам).

Почему это важно

Вот что интересно…

Как SEO-эксперт, я недавно проанализировал поведение пользователей в наших AIOs Overviews. То, что мы обнаружили, было весьма значительным: люди, использующие традиционную десктопную версию, уходят со страницы примерно в 10.6% случаев. Однако, когда пользователи находятся в AI Mode, это число падает практически до нуля. Это говорит мне о том, что AI Mode значительно повышает вовлеченность пользователей и удерживает их на странице.

Судя по моему опыту управления веб-сайтами на протяжении многих лет, результаты All-in-One *действительно* отображают традиционные органические результаты поиска и полезные функции SERP, такие как избранные сниппеты и панели знаний, прямо под ними. Интересно, что пользователи склонны задерживаться на результате AIO меньше, чем при стандартном поиске, но они гораздо чаще переходят по обычным органическим ссылкам и этим функциям SERP. Как будто AIO дает им быстрый ответ, но если им нужна более подробная информация, они сразу же переходят по ссылкам ниже.

Zero-Clicks

AI Overviews: 93%*
Режим ИИ: ~100%

Как эксперт по SEO, я анализировал недавние данные исследования удобства использования AIO, и важно прояснить ключевой результат. Мы заметили, что пользователи подавляющим большинством кликали на традиционные органические результаты поиска. Цифра 93%, которую часто приводят, на самом деле представляет собой процент пользователей, которые *не* кликнули ни на что в новой AI Overview – они просто пропустили ее. Это подчеркивает, что, хотя AI Overview и появляется, она не обязательно стимулирует вовлечение или клики *от* тех, кто ее видит.

При просмотре на компьютерах, режим ИИ генерирует примерно в два раза больше кликов внутри панели по сравнению со стандартной AIO панелью. На страницах результатов поиска с AIO панелью пользователи все еще могут кликать на обычные результаты, отображаемые ниже панели, поэтому общая частота кликов будет находиться где-то между частотой для самой AIO панели и обычной частотой без нее.

Озарение

По сути, обзоры ИИ (AIOs) служат отправной точкой, направляя пользователей на другие веб-сайты. Режим ИИ, однако, стремится удерживать пользователей в своей собственной системе, поэтому они не часто переходят по ссылкам.

Проблема с инструментами на базе искусственного интеллекта, такими как ChatGPT, заключается в том, что люди часто покидают платформу и сразу переходят на веб-сайты. Это затрудняет отслеживание того, что на самом деле стимулирует продажи, и понимание того, что работает хорошо.

3. AI Mode Matches Site Type With Intent

В исследовании мы оцениваем, какие типы сайтов AI Mode показывает для наших семи задач.

Типы следующие:

Бренды: Продавцы/поставщики.
Рынок: amazon.com, ebay.com, walmart.com, homedepot.com, bestbuy.com, target.com, rei.com.
Сайты с обзорами: nerdwallet.com, pcmag.com, zdnet.com, nymag.com, usatoday.com, businessinsider.com.
Издатели: nytimes.com, nbcnews.com, youtube.com, thespruce.com.
Платформа: Google.

Ключевая статистика

Покупки направляют к страницам продуктов:

Сумка Canvas: 93% выходов ведут на Бренд + Маркетплейс.
Аккуратные кабеля для рабочего стола: 68% переходят в Brand + Marketplace, с заметной долей Publisher.

Сравнения ведут к обзорам:

Ramp vs Brex: Обзор 83%.
Oura против Apple Watch: разделение 50% Бренд и 50% Маркетплейс.

Когда пользователю необходимо выполнить проверку репутации, результат разделяется на бренд и издателей:

Liquid Death: 56% Brand, 44 % Publisher.

Google сам появляется в задачах по покупкам:

Поисковые запросы в магазине на business.google.com отображаются на Canvas Bag (7%) и Tidy desk cables (11%).

Посмотрите на самые популярные домены по задачам:

Холщовая сумка: llbean.com, ebay.com, rticoutdoors.com, business.google.com.
Аккуратные кабельные каналы для стола: walmart.com, amazon.com, homedepot.com.
Приложения для изучения языков по подписке против бесплатных: pcmag.com, nytimes.com, usatoday.com.
Бутилированная вода (Liquid Death): reddit.com, liquiddeath.com, youtube.com.
Ramp vs Brex: nerdwallet.com, kruzeconsulting.com, airwallex.com.
Oura Ring 3 vs Apple Watch 9: ouraring.com, zdnet.com.
VR-аркада или умный дом: sandboxvr.com, business.google.com, yodobashi.com.

Почему это важно

Бизнесу необходимо понять, как работает поиск сегодня. Традиционное SEO означало, что практически любой веб-сайт мог появляться в результатах различных поисковых запросов, но поисковая система Google на базе искусственного интеллекта, часто называемая AI Mode, работает с гораздо более строгими принципами.

Бренды превосходят маркетплейсы, когда пользователи знают, какой продукт они хотят.
Маркетплейсы предпочтительны, когда выбор широк или универсален.
Сайты обзоров появляются для сравнений.
Мнения выделяют Reddit и издателей.
Google сам по себе наиболее заметен для локального намерения, и иногда для покупок.

Проницательность

Как SEO-специалистам, крайне важно понимать, как Google оценивает наши веб-сайты – учитывая такие факторы, как дизайн страницы, онлайн-репутация и то, как пользователи с ними взаимодействуют. Однако, самое важное – отслеживать, как ИИ интерпретирует наш контент, и анализировать типы страниц, занимающих высокие позиции в рейтинге, чтобы выявить возможности для улучшения нашей видимости.

Веб-сайты больше не будут появляться в результатах поиска по каждому возможному запросу. Вам потребуется сосредоточить свою стратегию на конкретной *причине*, по которой люди ищут информацию, поскольку поиск на базе искусственного интеллекта теперь приоритизирует определенные типы сайтов — такие как обзоры или страницы брендов — для конкретных запросов.

4. Предварительные просмотры продуктов ведут себя как мини-страницы подробной информации о продукте (PDP).

Ключевая статистика

Предварительные просмотры продуктов появляются примерно в четверти сессий AI Mode, и пользователи обычно тратят около 9 секунд на их просмотр, как правило, кликая только по одному.

Затем? 45% останавливаются на этом. Многие открытия — это быстрые проверки характеристик, а не переход по ссылке.

Очевидно, что некоторые рекомендации продуктов от нашего ИИ и способ работы веб-сайта могут быть действительно раздражающими для пользователей.

То, что происходит после того, как кто-то нажимает на вашу ссылку, имеет огромное значение. Такие вещи, как отзывы клиентов, действительно могут помочь вам получить максимальную отдачу от каждого клика, поскольку получение этих кликов может быть сложным.

Посмотрите на этот пример:

Похоже, людям действительно нравится эта сумка, и положительные отзывы определенно заставили бы меня рассмотреть возможность её покупки. Это та, которую я бы выбрал, основываясь на этом.

Почему это важно

В задачах по покупкам мы обнаружили, что брендовые сайты принимают на себя большинство выходов.

Когда люди сравнивают варианты, сайты с обзорами – самый популярный выбор. Однако, когда речь заходит о проверке репутации бренда – например, изучении такой компании, как Liquid Death – люди с одинаковой вероятностью посещают как веб-сайт самого бренда, так и сайт издателя.

Для запросов с намерением совершить транзакцию: Бренды поглощают большинство отказов, когда задача — купить один товар сейчас. [Canvas Bag] демонстрирует сильный уклон к страницам продуктов брендов (PDPs).
Для запросов, направленных на репутацию: Брендовые сайты отображаются вместе с издателями. Запрос для [Liquid Death] разделяется между liquiddeath.com и Reddit/YouTube/Eater.
Для сравнительных запросов: Бренды отходят на второй план. Выходы [Ramp vs Brex] в основном направляются на обзорные сайты, такие как NerdWallet и Kruze.

Озарение

С недавней возможностью совершать покупки напрямую в ChatGPT и AI Mode, пользователям, возможно, потребуется кликать еще меньше при совершении покупок в интернете.

С режимом AI всё происходит внутри приложения – вы даже можете совершать покупки, не покидая его.

История Режима ИИ ещё не закончена: Куда двигаться дальше

Клики редки. Влияние обильно.

Последние данные показывают значительный сдвиг в том, как люди осуществляют поиск. Если пользователи продолжат использовать возможности на базе искусственного интеллекта от Google, это фундаментально изменит привычки поиска, и специалистам по SEO необходимо обратить на это внимание.

Стратегия смещается от «получить клик» к «заслужить цитирование.»
Сравнения нужны для доверия, а не для трафика. Они снижают отказы, потому что пользователи чувствуют себя информированными внутри панели.
Продавцам следует оптимизировать быстрые выходы. Предлагайте цены, наличие и доказательства выше основной области экрана, чтобы конвертировать небольшое количество выходов, которые у вас есть.

Сосредоточьтесь на получении ссылок, которые напрямую решают проблему, а затем сосредоточьтесь на обеспечении ограниченного числа ценных возможностей, которые все еще доступны.

Но наше исследование на этом не заканчивается.

Сегодняшние результаты показывают, как люди используют AI Mode. Мы поделимся более подробным анализом в Части 2, которая выйдет на следующей неделе.

Но для тех, кто любит углубляться в детали, методология исследования приведена ниже.

Методология

Дизайн Исследования И Цель

Мы изучили, как новый AI-режим от Google влияет на поисковые привычки людей, используя комбинацию данных и прямых отзывов. Участники использовали AI-режим для выполнения семи реальных поисковых запросов в Google, что позволило нам отслеживать их действия (например, прокрутку, нажатия и время, потраченное на результаты), а также понять *почему* они это делали, основываясь на их собственных объяснениях.

Задачи:

Что говорят люди о Liquid Death, компании по производству напитков? Нравятся ли вам их напитки?
Представьте, что вы собираетесь купить трекер сна, и доступны только два варианта: Oura Ring 3 или Apple Watch 9. Какой бы вы выбрали и почему?
Вы получаете информацию о преимуществах кредитной карты Ramp по сравнению с Brex Card для малого бизнеса. Какая из них кажется лучше? Что могло бы заставить бизнес перейти с другой карты: детали комиссий, условия соответствия или вознаграждения?
В поле «Задайте любой вопрос» в режиме AI введите «Помоги мне купить водонепроницаемую холщовую сумку». Выберите ту, которая лучше всего соответствует вашим потребностям и которую вы бы купили (например, сумку для камеры, хозяйственную сумку, дорожную сумку и т.д.).
- Перейдите на страницу продавца. Нажмите, чтобы добавить в корзину и завершите эту задачу, не идя дальше.
Сравните приложения для изучения языков по подписке и бесплатные приложения. Заплатили бы вы и при каких обстоятельствах? Какой продукт вы бы выбрали?
Предположим, вы навещаете друга в большом городе и хотите пойти либо: 1. В виртуальный аркадный зал ИЛИ 2. В выставочный зал умного дома. Как называется город, который вы посещаете?
1. Предположим, вы работаете за небольшим столом, и ваши кабели в беспорядке. 2. В поле «Задайте любой вопрос» в режиме AI введите: «Кабели устройства загромождают мое рабочее пространство. Что я могу купить сегодня, чтобы помочь?» 3. Затем выберите один продукт, который, по вашему мнению, будет лучшим решением. Поместите его в корзину на внешнем веб-сайте и завершите эту задачу.

Участники и набор

Мы пригласили 37 взрослых, говорящих на английском языке и проживающих в США, принять участие в исследовании в период с 20 августа по 1 сентября 2025 года. Эта группа включала людей, которые помогали нам тестировать исследование заранее.

Для участия в исследовании участникам требовался уровень одобрения на Prolific не менее 95%, современный веб-браузер (например, Chrome, Edge или Firefox) и работающий микрофон. Участники выполняли задания удалённо на своих компьютерах, используя конкретную AI-платформу. Любые сессии с техническими проблемами или не соответствующие инструкциям были удалены из данных. Итоговый набор данных включает более 250 выполненных заданий от 37 участников.

Как профессионал в области цифрового маркетинга, перед запуском любого крупного исследования юзабилити, я всегда провожу несколько пилотных тестов. Они критически важны для устранения любых технических неполадок – например, убедиться, что демонстрация экрана работает, задачи настроены правильно и записи функционируют, как ожидается. Помимо технологий, пилотные тесты помогают мне уточнить формулировку задач и инструкций, чтобы участники точно понимали, что я спрашиваю. Самое главное, они подтверждают, что исследование действительно разработано для ответа на мои ключевые исследовательские вопросы и что все работает гладко в реальной удаленной среде. Это важный шаг для гарантии надежных данных и действенных инсайтов.

Протокол Заданий

Мы провели сессии пользовательского тестирования с использованием функции немодерируемого удаленного тестирования UXtweak. Участникам было предложено думать вслух, выполняя задачи в AI Mode от Google, объясняя, что привлекло их внимание и где они искали информацию. Они начали с прочтения задачи, затем перешли на Google.com/aimode для активации AI Mode и озвучивали свои мысли на протяжении всего взаимодействия. Каждый участник выполнил семь различных типов задач, охватывающих широкий спектр целей пользователей, таких как сравнение вариантов, совершение покупок и поиск общей информации.

Capture Stack

UXtweak зафиксировал полные сессии пользователей, включая видео их экранов, движения мыши, активность прокрутки и аудио. Эти сессии обычно длились от 20 до 25 минут, и участники получали хорошие стимулы. Необработанное видео, расшифровки и подробные журналы действий пользователей затем экспортировались для углубленного анализа и обзора.

Процедура аннотации

Трое опытных кодеров просматривали каждое видео одновременно. Каждый раз, когда элемент пользовательского интерфейса привлекал чье-либо внимание примерно на пять секунд или больше, это фиксировалось. Для каждого случая отмечались следующие детали:

Структурные: Поля, описывающие настройку, метаданные или структуру исследования – не поведение пользователя; включают данные, такие как ID участника, ID задачи, устройство, запрос, порядок нажатия или посещения элементов UI во время задачи, тип посещенного сайта (например, социальные сети, сообщество, бренд, платформа), доменное имя посещенного внешнего сайта и многое другое.
Характеристика: Поля, описывающие элементы пользовательского интерфейса или компоненты интерфейса, которые появились или были доступны участнику. Примеры включают тип элемента пользовательского интерфейса, включая торговые карусели, карточки продавцов, правую панель, значки ссылок, встроенную карту, локальный пакет, карточку GMB, пакеты продавцов и карточки продавцов.
Вовлечение: Поля, фиксирующие активное взаимодействие пользователя, внимание или затраченное время. Включает в себя чтение и внимание, поведение в чате и вопросы, а также поведение при кликах и взаимодействиях.
Результат: Поля, представляющие результаты пользователя, оценки аннотаторов или интерпретацию поведения. Комментарии аннотаторов, оценка усилий, где была найдена информация.

Чтобы улучшить способы поиска информации, программисты выявили ключевые идеи в видеороликах, такие как скорость представления информации, уровень выраженных сомнений и то, считались ли источники надежными. Затем руководитель исследований просмотрел около 10% видеороликов, чтобы убедиться в последовательности кодирования.

Обработка Данных И Метрики

Мы обработали данные аннотаций, используя Python и pandas. Сначала мы удалили заполнители кодов, такие как ‘999=Not Applicable’ и ‘998=Not Observable’. Затем мы стандартизировали категории, такие как appearance, clicks и sentiment. Мы также удалили необычно высокие или низкие значения из измерений, основанных на времени. После этого процесса очистки у нас осталось примерно 250 полезных строк данных для каждой задачи.

Наш конвейер генерации с расширением извлечения (RAG) позволил реализовать три этапа анализа:

Подготовка данных (загрузка): Мы преобразовали семь задач каждого участника в отдельные строки, очистили кодированные значения и стандартизировали время, клики и другие метрики. Стенограммы были сохранены, чтобы структурированные данные (такие как время удержания) могли быть связаны с тем, что говорили пользователи. Цель: создать чистый, унифицированный набор данных, который связывает поведение с обоснованием.
Релевантная фильтрация (извлечение): Мы использовали структурированные поля и аннотации, чтобы выделить закономерности, такие как пользователи, покинувшие AI Mode, нажавшие на карточку торговца или проявившие нерешительность. Затем мы искали в расшифровках темы, такие как доверие, удобство или разочарование. Цель: объединить поведение и настроения, чтобы выявить истинные намерения пользователей.
Интерпретация (количественный + качественный синтез): Для каждой группы мы рассчитали описательные статистики (время пребывания, клики, доверие) и сопоставили их с доказательствами из транскриптов. Так мы выявили такие идеи, как: «задачи с внешними сайтами показали более высокую удовлетворенность, но больше путаницы с призывами к действию.» Цель: связать то, что люди делали, с тем, что они чувствовали в AI Mode.

Эта система позволила нам искать данные очень детально – например, мы могли найти всех пользователей, которые прокрутили более половины страницы при использовании AI Mode и также проявили признаки недоверия. Это позволило нам связать то, что мы узнали из анализа данных, с причинами, которые люди приводили для своих действий.

Мы можем легко находить конкретные группы людей или экземпляры, такие как те, кто выразил недоверие к AIO, или пользователи, которые взаимодействовали с контентом, прокручивая страницу более чем на половину вниз.

Статистический анализ

Мы проанализировали, как 250 пользователей выполнили задачи, используя как базовые сводки, так и более детальный статистический анализ. Для каждого измерения мы включили количество появлений, среднее значение, медиану, разброс данных, погрешность и диапазон вероятных значений. Для вещей, которые мы категоризировали – например, вышел ли кто-то из AI Mode или кликнул на карточку торговца – мы сообщили результаты в процентах.

Мы изучили данные из более чем 50 различных областей, включая используемые устройства, время, проведенное на страницах, и взаимодействие с интерфейсом, а также выраженные чувства пользователей. Мы оценили уверенность в этих чувствах, анализируя расшифровки того, что говорили пользователи.

Надёжность и мощность

Обученные эксперты проверили каждое задание, и мы проверили их работу, чтобы убедиться, что все последовательно маркируют вещи. Мы также проанализировали, как шаблоны маркировки экспертов сопоставлялись друг с другом, чтобы подтвердить, что все применяли одни и те же стандарты.

37 человек выполнили в общей сложности около 250 отдельных задач. С таким количеством задач мы можем надёжно обнаруживать реальные различия – даже небольшие. Результат около 50% в этом наборе данных точен в пределах примерно шести процентных пунктов, что достаточно точно для наших целей.

Ограничения

Это исследование включало меньшее количество участников, чем наше предыдущее исследование AI Overviews (37 против 69). Оно было сосредоточено конкретно на пользователях, расположенных в США. Все поиски проводились с использованием AI Mode, поэтому мы не сравнивали результаты AI с результатами без AI. Метод ‘think-aloud’ мог заставить участников потратить немного больше времени на каждый поиск. Качество кодирующих примеров на основе AI зависит от качества данных, используемых для его обучения, но мы проверили его точность с помощью тщательных проверок.

Этические нормы соответствия

Все участники согласились принять участие после получения полной информации об исследовании. Все записи были защищены шифрованием, и любые личные данные были удалены для защиты конфиденциальности. Исследование следовало этическим принципам Prolific и условиям обслуживания UXtweak.

Смотрите также

2025-10-07 17:17