Исследователи Microsoft обнаружили новую атаку под названием «Отравление рекомендаций ИИ». Она заключается в том, что компании незаметно внедряют вредоносные инструкции в кнопки на веб-сайтах, предлагающие AI-powered сводки, потенциально манипулируя ответами ИИ.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Если предложение тайно добавляется в память помощника, это может повлиять на будущие рекомендации, не давая вам понять, откуда оно взялось.
Что происходит
Microsoft проанализировал почтовый трафик за два месяца и обнаружил 50 отдельных попыток манипулирования системами искусственного интеллекта с использованием методов инъекции подсказок. Эти попытки исходили из 31 различной организации.
https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text
Исследователи обнаружили, что эта техника берет свои корни в легкодоступных онлайн-инструментах, таких как пакет npm CiteMET и веб-сайт AI Share URL Creator. Оба инструмента предназначены для того, чтобы помочь веб-сайтам стать более заметными для систем искусственного интеллекта.
Этот метод работает, используя тщательно разработанные веб-адреса (URLs), которые включают инструкции для большинства популярных AI-ассистентов. Microsoft поделилась информацией о структуре этих URLs для Copilot, ChatGPT, Claude, Perplexity и Grok, но объяснила, что срок действия этих инструкций ‘удерживается’ варьируется в зависимости от каждой платформы.
Эта техника официально известна как Отравление памяти (MITRE ATLAS AML.T0080) и Внедрение запроса в LLM (AML.T0051).
Что обнаружила Microsoft
Определённые 31 компании были реальными предприятиями, а не злоумышленниками или мошенниками.
Атаки были сосредоточены на веб-сайтах в сферах здравоохранения и финансов, где несправедливые предложения ИИ могут оказать существенное влияние. В одном случае веб-адрес компании был очень похож на адрес известного сайта, что могло ввести людей в заблуждение относительно его легитимности. Интересно, что одна из пострадавших компаний фактически предоставляла услуги безопасности.
Microsoft также указала на другую потенциальную проблему: многие из этих веб-сайтов включают области, где пользователи могут публиковать свой собственный контент, такие как разделы комментариев и форумы. Если ИИ считает веб-сайт надежным, он также может рассматривать весь контент на этом сайте как надежный, даже если он не был проверен на точность.
Ответ Microsoft
Как SEO-эксперт, следящий за развитием ИИ, могу сказать, что Microsoft активно работает над защитой Copilot от так называемых атак ‘prompt injection’. По сути, эти атаки пытаются манипулировать ИИ с помощью хитрых запросов. Microsoft сообщила нам, что они уже исправили многие из ранее обнаруженных уязвимостей – то есть эти атаки больше не работают – и постоянно улучшают защиту Copilot, чтобы опережать новые угрозы. Это хороший знак того, что они уделяют приоритетное внимание безопасности и создают более надежный инструмент ИИ.
Microsoft выпустила предварительно настроенные поисковые запросы для организаций, использующих Defender for Office 365. Эти запросы помогают командам безопасности проверять электронные письма и сообщения Teams на наличие веб-ссылок, которые могут пытаться использовать уязвимости памяти.
Вы можете управлять и удалять сохраненные воспоминания Copilot, перейдя в настройки персонализации в опциях чата Copilot.
Почему это важно
Microsoft рассматривает эту новую тактику как схожую со старыми проблемами, такими как SEO-спам и нежелательная реклама – с теми вещами, с которыми Google борется годами в веб-поиске. Однако вместо попыток манипулировать результатами поиска, это фокусируется на введении в заблуждение памяти AI-ассистентов.
Компании, которые искренне работают над улучшением отображения результатов ИИ, теперь сталкиваются с конкуренцией со стороны тех, кто манипулирует этими же результатами с помощью обманных тактик.
Сроки этого развития событий значительны. Недавний отчет SparkToro показал, что рекомендации брендов на основе искусственного интеллекта уже различаются в зависимости от поиска. Robby Stein из Google объяснил, что AI-поиск обычно находит бизнес-предложения, изучая, что другие веб-сайты говорят о них. Однако новая техника, называемая «отравлением памяти», обходит это, напрямую вставляя рекомендацию в AI-помощник пользователя.
Роджер Монти ранее обсуждал, как манипулирование данными для обучения ИИ может повлиять на ИИ-системы. Его работа была сосредоточена на ‘отравлении’ наборов данных, используемых для обучения ИИ. Это новое исследование от Microsoft демонстрирует другой, более прямой тип манипуляции – тот, который происходит, когда пользователи взаимодействуют с ИИ, и уже используется в коммерческих приложениях.
Заглядывая в будущее
Как человек, который давно разрабатывает веб-сайты, я внимательно слежу за тем, как ИИ справляется с этим. Прямо сейчас это немного под вопросом – будут ли эти ИИ-платформы наказывать сайты, которые это делают, или они просто отвернутся? Кажется, что компании все еще пытаются уйти от ответственности, и мы находимся в странной серой зоне, где это не явно запрещено правилами, но и не обязательно допустимо.
Смотрите также
- Акции FLOT. Совкомфлот: прогноз акций.
- Акции ELMT. Элемент: прогноз акций.
- 8% сотрудников-автоматиков решают уйти в отставку
- 39% навыков могут устареть к 2030 году, предупреждает отчет ВЭФ о занятости
- Построение сообщества для маркетологов: поиск своего «зачем»
- Официальная рекомендация Google по оптимизации для обзоров ИИ и режима ИИ
- Какой самый низкий курс евро к турецкой лире?
- Действительно ли стоит вкладывать свои монеты в криптовалюту VINECrypto? Стопроцентный поезд Муска или просто хайп?
- Акции UNKL. ЮУНК: прогноз акций.
- Google: рейтинг несвязанных ключевых слов в поиске? Сделайте ваши заголовки и контент более понятными
2026-02-20 22:39