Запросы относительно методов работы исследовательского центра Pew вызывают сомнения в точности их выводов о резюме, созданных искусственным интеллектом Google. Детали процесса создания этих ИИ-резюме, размер выборки и статистическая достоверность ставят под вопрос надежность результатов.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Официальный заявление Google
Google предоставила официальное объяснение тому, почему результаты исследования Pew Research могут не точно отражать взаимодействие пользователей с обзорами, созданными искусственным интеллектом, и обычными функциями поиска. Представитель Google поделился этим заявлением в ходе беседы.
Основные моменты защиты Google:
- Пользователи всё чаще ищут функции искусственного интеллекта
- Они задают больше вопросов
- Тенденции использования ИИ повышают видимость создателей контента.
- Исследование Pew использовало ошибочную методологию.
Всё больше людей увлекаются интерактивным опытом, основанным на искусственном интеллекте (ИИ). Интеграция ИИ-функций в поисковые системы позволяет пользователям задавать ещё больше запросов, открывая новые возможности для связи с разнообразными веб-сайтами. 💡
Размер выборки слишком мал
Я вел беседу о исследованиях Peew Research с Дуаном Форрестером, который ранее работал в Bing и сейчас имеет профиль на LinkedIn. Он высказал мнение, что размер выборки исследования недостаточен для получения значимых результатов, так как включал только ответы от 900+ взрослых и анализировал 66,000 поисковых запросов. Проще говоря, Дуэйн считает, что малое количество участников и поисковых запросов может не обеспечить точных или надежных данных.
Учитывая, что Google обрабатывает почти 500 миллиардов запросов каждый месяц, выводы, полученные из немногим более чем 0.0000134% этих (около 66 тысяч+ запросов), представляют собой поразительно малую долю. Другими словами, хотя абсолютное число в 66 тысяч единиц может и не быть незначительным, учитывая огромное количество обрабатываемых запросов каждый месяц, день, час или минуту, это является чрезвычайно малым размером выборки. В этом контексте необходимо признать её ничтожно малое представительство реальности и задаться вопросом о том, насколько результаты могут отражать действительность.
Насколько надежны статистика Pew Research?
В разделе «Надежность статистики» нашей методологии объясняется, насколько достоверны предоставленные статистические данные для различных возрастных групп.
- Возрастные группы 18-29 лет были оценены на плюс/минус 13,7 процентных пункта. Это оценивается как низкий уровень надежности.
- Возрастные группы от 30 до 49 лет имеют показатель плюс-минус 7.9 процентных пунктов. Этот результат классифицируется как умеренный и в целом надёжный, но всё же находится в довольно широком диапазоне.
- Возрастные группы от 50 до 64 лет были оценены с погрешностью плюс-минус 8,9 процентных пунктов. Это оценивается как умеренный или низкий уровень надежности.
- Возрастные группы старше 65 лет оценивались с погрешностью плюс/минус 10,2 процентных пункта, что находится в нижней границе надежности.
Рейтинги надежности, которые вы видите, взяты из объяснительной страницы Pew Research. В общем, эти результаты имеют значительную погрешность, делая их статистически непоследовательными. Как минимум, они могут рассматриваться как приблизительные значения, хотя, как указывает Дуэйн, размер выборки очень мал, что затрудняет подтверждение их представительности для реальных результатов.
Результаты исследования Pew сравните результаты в разные месяцы
После тщательного обдумывания и повторного изучения их подхода, заметной особенностью методологии Pew Research является то, что они сравнивали реальные поисковые запросы пользователей за март с аналогичными запросами исследователей в течение недели апреля.
Проблема заключается в том, что обзоры AI от Google могут меняться из месяца в месяц. Например, типы запросов, которые приводят к обзору искусственного интеллекта (AI Overview), меняются: AIO (операционализации искусственного интеллекта) становятся более значимыми в одних областях и менее — в других. Более того, предпочтения пользователей влияют на то, что они ищут, приводя к временным изменениям в поисковых алгоритмах, которые отдают предпочтение видео и новостному контенту.
Сложно делать сравнения результатов поиска за разные месяцы, независимо от того, используете ли вы стандартные методы поиска или создаете резюме с помощью ИИ.
Pew Research игнорирует то, что результаты ИИ-поиска динамические
Относительно обзоров и резюме по ИИ, они являются особенно адаптируемыми и склонны к изменению не только для разных пользователей, но и для одного и того же пользователя.
Исследование поискового запроса в рамках кратких выводов AI и повторение этого же запроса в другом веб-браузере может привести к различным, сгенерированным искусственным интеллектом, сводкам вместе с новой подборкой ссылок.
Проще говоря, важно отметить, что методология исследовательского центра Pew Research при сравнении поисковых запросов пользователей с теми же запросами через месяц может быть не надёжной. Это обусловлено тем фактом, что два набора данных собираются в разное время и подвержены изменениям и модификациям со стороны ИИ, делая их принципиально различными из-за таких факторов, как истекшее время, изменения и динамические характеристики AI резюме.
Следующие скриншоты показывают ссылки на запрос ‘Что такое тренировка RLHF в OpenAI?’
Google AI Voice Via Vivaldi Browser
Искусственный интеллект Google через браузер Chrome Canary
С правой стороны вы заметите, что не только меняются ссылки, но и отличаются те ссылки, которые включены в генерируемое ИИ сводное содержание.
Может ли это объяснять непоследовательные посещения со стороны издателей?
Традиционно как издатели, так и специалисты по поисковой оптимизации (SEO) привыкли видеть фиксированные рейтинги в результатах поиска по конкретным запросам. Однако Google’s системы с искусственным интеллектом (AI Overview и AI Mode) отображают динамические результаты поиска. Это означает, что показываемый контент и связанные сайты могут сильно меняться, часто включая множество различных сайтов в верхней тройке для идентичных запросов. Похоже, SEO-специалисты и издатели обратились к Google с просьбой расширить диапазон представленных вебсайтов, и кажется, что новые функции искусственного интеллекта как раз это делают. Стоит ли быть осторожными при запросе таких изменений?
Смотрите также
- Анализ динамики цен на криптовалюту BONK: прогнозы BONK
- Анализ динамики цен на криптовалюту HYPE: прогнозы HYPE
- Монета Pi вызывает хаос при запуске, лишь мимолетная вспышка славы!
- Крах Биткойна: съел ли жадность торт?
- Золото прогноз
- Догекоин к Луне? 🚀 (Возможно.)
- Google объясняет, почему задержки в отчетах Search Console не отображаются на панели статуса поиска
- Акции привилегированные TGKBP. ТГК-2: прогноз акций привилегированных.
- Акции MGKL. Мосгорломбард: прогноз акций.
- Google не будет приостанавливать ключевые слова в приостановленных кампаниях или группах объявлений
2025-07-25 01:09