
Google Chrome предупреждает разработчиков о том, что инструменты WebMCP могут быть использованы для манипулирования и захвата AI-агентов. Новые рекомендации описывают, как злоумышленники могут манипулировать агентами, работающими в браузере пользователя, включая в рамках их аутентифицированных сессий. Chrome опубликовал два руководства, одно для веб-разработчиков и другое для разработчиков AI-агентов.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Эксплойты не относятся к WebMCP
В предупреждении поясняется, что проблемы безопасности характерны не только для WebMCP; это общие недостатки, обнаруженные в больших языковых моделях и расширениях Chrome.
В первоначальном заявлении об отказе от ответственности поясняется, что потенциальный риск безопасности не является специфичным для WebMCP. Google Chrome отмечает, что инструменты искусственного интеллекта могут быть уязвимы для вредоносного контента из Интернета даже *без* использования WebMCP. В этом руководстве просто освещаются лучшие практики обеспечения безопасности, которые особенно важны, когда агенты ИИ *действительно* используют WebMCP.
Эта угроза безопасности существует даже без WebMCP, но мы обнаружили определенные меры безопасности, которые особенно важны для агентов, которые его используют.
https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text
Второй момент, который следует понимать, заключается в том, что расширения Chrome, если у них есть разрешение на доступ к веб-сайтам, могут изменить то, что вы видите на этих страницах, даже без использования WebMCP.
Расширения браузера могут изменять то, что происходит на веб-странице, запуская собственный код JavaScript, даже если WebMCP не используется.
Chrome опубликовал два связанных руководства по безопасности WebMCP:
- Вопросы безопасности агентов для WebMCP, для разработчиков агентов ИИ.
- и безопасность инструментов WebMCP для разработчиков, создающих инструменты WebMCP.
Вместе эти два руководства содержат рекомендации по безопасности для рисков быстрого внедрения в WebMCP, включая риски, влияющие на агенты искусственного интеллекта на основе браузера и инструменты, которые они используют.
Chrome определил два способа взлома ИИ-агентов
Рекомендации Chrome по безопасности для агентов ИИ, использующих WebMCP, выделяют две основные угрозы: вредоносные инструкции в коде агента и скомпрометированную информацию, создаваемую агентом.
- МанифестМанифест — это информация, которая описывает инструменты WebMCP и функции веб-сайта для агента ИИ. Манифест описывает, как называются функции веб-сайта, что они делают и какие входные данные они принимают, чтобы агенты ИИ могли их обнаружить и использовать.
- Загрязненные выходные данныеЗагрязненные выходные данные — это информация, возвращаемая инструментом WebMCP и содержащая вредоносные инструкции.
Вредные инструкции, известные как атаки с быстрым внедрением, могут быть замаскированы под деталями настройки инструмента ИИ — например, его названием, тем, что он должен делать, или его настройками. Эти скрытые инструкции направлены на то, чтобы заставить ИИ делать то, чего он не должен делать.
Второй вектор атаки, загрязненные выходные данные, представляет собой информацию, возвращаемую инструментом WebMCP и содержащую вредоносные инструкции. Chrome предупреждает, что даже проверенные инструменты могут возвращать зараженные выходные данные, если они включают сторонний контент, такой как комментарии пользователей, обзоры, сообщения на форумах или другие данные, предоставленные извне.
Как специалист по цифровому маркетингу, я все больше осознаю новый тип атак, нацеленных на большие языковые модели. Это сложно, потому что эти модели смешивают инструкции с данными, которые они обрабатывают, из-за чего им трудно отличить законные запросы от скрытых вредоносных команд, встроенных в контент. Chrome называет это «косвенным быстрым внедрением», и они заметили, что это становится все более распространенным в Интернете. По сути, кто-то может внедрить вредоносные инструкции в контент, и модель может следовать им, даже не осознавая этого.
Chrome говорит, что модели ИИ не могут надежно остановить быструю инъекцию
В руководстве по безопасности агента говорится:
Большие языковые модели обрабатывают все — инструкции, ввод пользователя и данные — как одну непрерывную строку текста. Это делает их уязвимыми для типа атаки, называемой непрямым внедрением подсказок, когда злоумышленники крадут вредоносные инструкции. Хотя некоторые модели имеют функции безопасности, предотвращающие это, принцип работы этих моделей означает, что они не могут полностью гарантировать защиту от вредоносных запросов.
Эксперты по безопасности неоднократно доказывали, насколько легко вредоносные подсказки могут манипулировать системами искусственного интеллекта, основанными на продвинутых языковых моделях. Эти атаки становятся все более распространенными в Интернете.
Chrome также указывает на неоднократные демонстрации атак с быстрым внедрением на агентные системы и ссылается на рост активности быстрого внедрения в сети.
Chrome рекомендует многоуровневые элементы управления безопасностью
Chrome предлагает сильный, многоуровневый подход к безопасности, а не полагаться исключительно на модель для выявления вредоносных команд. Это означает использование как строгих, предсказуемых правил, так и более гибких, основанных на вероятности мер защиты. Под «детерминистическими» мы подразумеваем меры безопасности, которые основаны на четких правилах и имеют определенные результаты «да» или «нет».
Среди детерминированных элементов управления, которые Chrome рекомендует:
- Установка лимитов токенов на ответы инструмента
- Ограничение взаимодействия между источниками
- Требование подтверждения пользователя перед выполнением действий
- Распознавание и обработка контента, помеченного как ненадежный
Chrome также заявляет, что ограничение количества веб-источников, с которыми может взаимодействовать агент, может уменьшить возможности для несанкционированных действий и кражи данных, особенно когда агенты работают внутри аутентифицированных пользовательских сеансов.
В руководстве также подчеркивается необходимость держать людей в курсе событий и рассматривать инструменты WebMCP как способные изменять состояние, если они явно не определены как доступные только для чтения.
Для дополнительной защиты Chrome рекомендует такие методы, как выявление ненадежного контента, классификаторы внедрения подсказок, которые сканируют описания и выходные данные инструментов, а также вторичные «критические» модели, которые оценивают запланированные вызовы инструментов перед выполнением.
Руководство для разработчиков инструментов WebMCP
Руководство по безопасности инструментов ориентировано на разработчиков, создающих веб-сайты и приложения, которые предоставляют инструменты WebMCP агентам ИИ.
Чтобы помочь агентам ИИ решить, когда запрашивать ваше одобрение, разработчики могут использовать функцию readOnlyHint для инструментов, которые просто извлекают информацию, не внося никаких изменений.
Chrome позволяет разработчикам контролировать, какие веб-сайты могут получать доступ к определенным функциям, используя настройку под названием «exposeTo». Это ограничивает доступ только к одобренным сайтам. Даже инструменты, которые только просматривают данные, потенциально могут раскрыть информацию о пользователях, поэтому важно делиться ими только с теми веб-сайтами, которым вы доверяете.
Заключение
Самым важным выводом из нового руководства являются не конкретные советы по безопасности, а, скорее, Chrome, признающий, что манипулирование ИИ с помощью вводящих в заблуждение подсказок по-прежнему остается серьезной проблемой.
Вместо того, чтобы сосредоточиться на улучшении модели предотвращения атак, рекомендации по безопасности Chrome предполагают, что злоумышленники *найдут* способы вставки вредоносных инструкций в такие вещи, как описания инструментов, результаты, предоставляемые инструментами, и контент из других источников. Поэтому Chrome рекомендует комплексный подход к безопасности, который использует несколько уровней защиты, включая ограничение доступа, изоляцию контента, проверку людьми, постоянный мониторинг проблем и использование отдельных систем для проверки всего.
Руководство Chrome рассматривает безопасность агента ИИ как общую ответственность между разработчиками агентов и разработчиками инструментов в экосистеме WebMCP.
Смотрите также
- Google тестирует цвета фона фрагмента поиска при наведении
- Задержка Отчетов в Реальном Времени Google Аналитики Снова
- Как разработать политику в отношении социальных сетей
- Google Ads Новая метрика исходного значения конверсии
- Акции AKRN. Акрон: прогноз акций.
- Рецепты поиска в Bing Обманывают издателей?
- Google Product Studio распространяется и в других странах
- e-pick: Ваши заветные карты ждут! 🎉
- Реклама местных услуг Google для налоговых специалистов снижает автокредиты и функции
- Обновление Google о спаме, декабрь 2024 г. Жесткое деиндексирование и понижение рейтинга некоторых сайтов
2026-06-11 12:40