AI Recommendations Change With Nearly Every Query: Sparktoro

Недавний отчёт SparkToro показал, что инструменты искусственного интеллекта часто дают разные рекомендации брендов каждый раз, когда вы задаёте им один и тот же вопрос.

Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.

Купить на падении (нет)

Данные показали, что ChatGPT и функции AI Search от Google редко выдавали один и тот же список брендов при одинаковых вопросах, задаваемых несколько раз – менее 1% вероятности, на самом деле.

Ранд Фишкин из SparkToro и Патрик О’Доннелл из Gumshoe.ai объединились для проведения исследования. В ноябре и декабре они использовали добровольцев для тестирования 2961 запроса в ChatGPT, Claude и Google’s AI Overviews (использовали AI Mode, когда Overviews были недоступны).

Что обнаружили данные

Исследователи оценили 12 различных запросов, запрашивающих предложения по брендам в различных областях, таких как поварские ножи, наушники, больницы, специализирующиеся на лечении рака, компании цифрового маркетинга и книги в жанре научной фантастики.

Как человек, работавший с этими платформами некоторое время, могу сказать вам, что получение стабильных результатов — это настоящая задача. Я запускал каждый запрос десятки раз — от 60 до 100 запусков на платформу — и то, что я постоянно обнаруживал, заключалось в том, что почти каждый ответ был другим. В частности, бренды, которые он предлагал, порядок, в котором он их представлял, и даже *количество* рекомендаций, которые он давал, менялись почти каждый раз. Редко когда получается один и тот же ответ дважды!

Фишкин подвёл итог основному выводу:

Как цифровой маркетолог, я заметил кое-что действительно интересное в отношении инструментов искусственного интеллекта. Если вы будете неоднократно спрашивать их о рекомендациях по брендам или продуктам, вы почти каждый раз будете получать удивительно отличающийся ответ. Редко когда одно и то же предложение повторяется дважды, что подчеркивает их способность генерировать разнообразные идеи.

Клод был немного лучше в генерации одного и того же списка элементов каждый раз, но он не всегда выдавал их в одном и том же порядке. В целом, ни одна из платформ искусственного интеллекта не работала так надежно, как ожидали исследователи.

Проблема изменчивости запросов

Исследователи также изучили, как люди естественно пишут инструкции для ИИ. Они попросили 142 участников создать запросы о наушниках для члена семьи, который путешествует, и обнаружили, что запрос каждого человека был уникален.

Оценки семантической схожести запросов, написанных людьми, составили всего 0.081. Фишкин объяснил, что это означает, что они не очень похожи, сравнивая это с…

«Кунг Пао Чикен и арахисовая паста.»

Запросы разделяли общее намерение, но мало что ещё.

Несмотря на то, что заданные вопросы были довольно разными, ИИ последовательно предлагал одни и те же несколько брендов наушников. Bose, Sony, Sennheiser и Apple упоминались в 55-77 процентах из 994 ответов.

Что это значит для отслеживания видимости ИИ

Недавние исследования ставят под сомнение полезность отслеживания ‘AI ranking position’. По словам Рэнда Фишкина, любой инструмент, утверждающий, что он показывает это, неточен и вводит в заблуждение.

Данные показывают, что определенные бренды последовательно появляются чаще, когда одни и те же типы вопросов задаются многократно. Это особенно верно в конкретных областях, таких как облачные вычисления, где часто упоминались ведущие компании. Однако в более широких областях, таких как научная фантастика, результаты были менее предсказуемыми и более разнообразными.

Эти исследования последовательно показывают, что рекомендации ИИ непоследовательны. Они меняются в зависимости от того, где вы смотрите – сравниваете ли вы разные платформы, разные части одной и той же платформы или даже если задаете один и тот же вопрос несколько раз.

Методологические заметки

Исследование было проведено совместно с Gumshoe.ai, компанией, предоставляющей технологию отслеживания на основе искусственного интеллекта. Рэнд Фишкин, возглавивший исследование, поделился, что изначально считал, что отслеживание с помощью искусственного интеллекта не будет очень полезным.

Команда сделала свои полные методы исследования и исходные данные общедоступными на специальном веб-сайте. Участники опроса использовали свои обычные настройки AI, и исследователи намеренно избегали их стандартизации, чтобы отразить, как люди фактически используют эту технологию.

Этот отчёт не является формальным академическим исследованием с рецензированием. Фишкин признал, что в проведении исследования были некоторые ограничения и предположил, что в будущем следует провести более масштабное исследование.

Заглядывая в будущее

Исследователи не были уверены, сколько раз необходимо запускать запрос, чтобы получить согласованные и достоверные данные, или производит ли использование API такие же результаты, как ручной ввод запросов.

При оценке инструментов отслеживания на основе искусственного интеллекта важно спрашивать у поставщиков, как именно работают их инструменты. Как отмечает Рэнд Фишкин:

Прежде чем инвестировать в AI-отслеживание, убедитесь, что ваш поставщик может объяснить, как рассчитываются их метрики видимости, и отвечает на ключевые вопросы, которые мы выделили.

Смотрите также

2026-01-30 19:10