Новые интернет-правила будут блокировать обучающих ботов ИИ

Как опытный веб-мастер, имеющий за плечами десятилетия навигации в постоянно меняющемся цифровом пространстве, я должен сказать, что это последнее предложение Кришны Мадхавана и Фабриса Канеля — глоток свежего воздуха. Идея расширить протокол исключения роботов, чтобы заблокировать роботам-ИИ-сканерам использование общедоступного контента в учебных целях, меняет правила игры.


Разрабатывается новый план по расширению протокола исключения роботов и тегов Meta Robots, что позволит им запретить всем веб-парсерам с искусственным интеллектом использовать общедоступный интернет-контент в учебных целях. Это предложение, разработанное Кришной Мадхаваном, главным менеджером по продуктам Microsoft AI, и Фабрисом Канелем, главным менеджером по продуктам в Microsoft Bing, упрощает процесс блокировки популярных поисковых роботов для обучения ИИ с помощью одного простого правила.

Почти все заслуживающие доверия веб-сканеры следуют рекомендациям, установленным тегами Robots.txt и Meta Robots, что облегчает издателям, которые хотят предотвратить использование их контента для обучения искусственному интеллекту (ИИ). В этом отношении данное предложение является долгожданной мечтой.

Целевая группа по интернет-инжинирингу (IETF)

Инженерная группа Интернета (IETF) — это глобальная организация, созданная в 1986 году и отвечающая за создание и поддержание стандартов Интернета на добровольной основе. Например, протокол исключения роботов был разработан независимо в 1994 году, а в 2019 году Google предложил IETF принять его в качестве официального стандарта с четко определенными условиями. В 2022 году IETF официально опубликовал протокол исключения роботов, предоставив определение протокола и расширив его первоначальные спецификации.

Три способа заблокировать обучающих ботов ИИ

Проект предложения по блокировке обучающих ботов ИИ предлагает три способа заблокировать ботов:

  1. Протоколы robots.txt
  2. Мета-роботы HTML-элементы
  3. Заголовок ответа прикладного уровня

Robots.Txt для блокировки роботов AI

Проект предложения направлен на создание дополнительных правил, которые распространят Протокол исключения роботов (Robots.txt) на обучающих роботов ИИ. Это наведет некоторый порядок и даст издателям возможность выбирать, каким роботам разрешено сканировать их сайты.

Соблюдение протокола Robots.txt является добровольным, но все законные сканеры, как правило, подчиняются ему.

В проекте объясняется цель новых правил Robots.txt:

Хотя протокол исключения роботов позволяет владельцам веб-сайтов решать, могут ли автоматизированные программы, известные как сканеры, получать доступ к URL-адресам на их сайтах и ​​каким образом (как описано в RFC8288), он не обеспечивает контроль над тем, как данные извлекаются из этих служб. может использоваться при обучении фундаментальным моделям создания ИИ.

Разработчикам приложений предлагается соблюдать эти теги. Однако теги не являются формой авторизации доступа».

Ключевой аспект обновленных рекомендаций robots.txt и HTML-тегов мета-роботов заключается в том, что они не требуют идентификации конкретных сканеров. Вместо этого единое правило охватывает всех ботов, собирающих данные для целей обучения ИИ, при условии, что они захотят соблюдать эти правила — практика, которой следуют все авторитетные боты. Это упрощает процесс блокировки ботов для издателей контента.

<ул>

  • DisallowAITraining — указывает синтаксическому анализатору не использовать данные для языковой модели обучения ИИ.
  • AllowAITraining — указывает синтаксическому анализатору, что данные можно использовать для языковой модели обучения ИИ.
  • <ул>

  • Обеспечивает больший контроль

    Компании, занимающиеся искусственным интеллектом, столкнулись с судебными исками по обвинению в неправомерном использовании общедоступных данных, найденных в Интернете, но они утверждают, что использование таких данных подпадает под принцип «добросовестного использования», аналогично тому, как поисковые системы получают доступ к информации в Интернете и индексируют ее в течение многих лет.

    Эти недавно реализованные рекомендации позволяют поставщикам веб-контента управлять сканерами, которые используются для сбора учебных материалов. Синхронизируя эти сканеры, потребляющие данные, с поисковыми роботами, они могут работать слаженно.

    Прочитайте предложение на IETF:

    Расширение протокола исключения роботов для управления использованием контента ИИ

    Смотрите также

    2024-11-11 21:38

    HARO / Платформа Connectivity закроется 9 декабря

    Как опытный профессионал в области цифрового маркетинга с более чем двадцатилетним опытом работы за плечами, новость о предстоящем закрытии HARO вызывает смесь ностальгии и намека на опасения. Я помню еще в 2008 году, когда все началось с простой группы в Facebook, которая произвела революцию в способах общения журналистов и экспертов. С годами он стал важным инструментом для таких оптимизаторов, как я, помогая нам получать ценные ссылки из авторитетных источников.


    9 декабря платформа Help a Reporter Out (HARO), ранее известная как Connectivity, будет закрыта навсегда. Эта платформа сыграла важную роль для оптимизаторов, предлагая возможность привлечь внимание и потенциальные обратные ссылки от журналистов — тему, которую мы обсуждали ранее.

    В свое время я работал с Help a Reporter Out (HARO), инновационной платформой, созданной для преодоления разрыва между журналистами и широкой публикой. Эта услуга позволила мне, как журналисту, воспользоваться опытом людей, знающих темы, имеющие отношение к моим репортажам.

    9 декабря 2024 года учреждение закроется. Вы можете найти дополнительную информацию об этом в подробном FAQ, который они предоставили там.

    В 2014 году появились предположения, что, возможно, Google каким-то образом преследует ссылки HARO.

    Вот скриншот письма, отправленного по этому поводу ближе, его опубликовал @sacha_vyzz:

    Вот что написал Cision о том, почему он закрывается:

    После оценки отзывов наших клиентов и оценки нашего портфеля продуктов мы решили сосредоточить внимание на основных предложениях, в которых мы видим значительные возможности для предоставления еще большей пользы нашим специалистам по связям с общественностью и коммуникациям, а именно на нашей интегрированной, отмеченной наградами CisionOne. платформа.

    CisionOne, которому доверяют более 60 000 пользователей и который доступен на всех рынках США, Великобритании, Канады, Европы, Ближнего Востока и Африки и Азиатско-Тихоокеанского региона, предоставляет комплексные инструменты для мониторинга СМИ, аналитики и работы с журналистами в режиме реального времени, в Интернете, на телевидении, радио, в социальных сетях, подкастах и ​​журналах. специально созданная платформа для современных коммуникационных команд. CisionOne уже получила признание в отрасли как «Новый продукт года» на церемонии вручения наград Stevie Awards 2024 за технологическое совершенство и как «Лучшее решение для мониторинга медиа» на церемонии MarTech Breakthrough Awards 2024.

    Кажется, что многие люди интересуются доступными вариантами, и я считаю, что выбор может быть из нескольких. Например, вы можете попробовать найти «Источники источников», платформу, основанную первоначальным создателем HARO, или, возможно, зайти на JournoFinder.com. Я уверен, что существует множество других альтернатив; просто выполните поиск в Google, чтобы найти больше вариантов.

    Смотрите также

    2024-11-11 16:44

    Google тестирует удаление названия сайта и значка из результатов поиска

    Как опытный веб-мастер, который последние два десятилетия знакомился с постоянно развивающейся сферой поисковой оптимизации, я был свидетелем неустанного стремления Google усовершенствовать и улучшить свои результаты поиска. Хотя я не из тех, кто слишком много внимания уделяет временным изменениям в тестировании, я должен признать, что недавнее удаление значков и названий сайтов из результатов мобильного поиска возбудило мое любопытство.


    В результатах мобильного поиска Google в настоящее время экспериментирует с исключением логотипов (значков) и названий веб-сайтов. Возможно, вы помните, что Google впервые представил эти элементы в результатах мобильного поиска в октябре прошлого года. Со временем Google столкнулся с некоторыми проблемами, связанными с логотипами и названиями этих веб-сайтов.

    Согласно заявлению Лили Рэй, она поделилась изображением, показывающим, что Google не отображает значки и названия веб-сайтов в результатах мобильного поиска Google. Она загрузила этот скриншот на платформу X, и я сравнил его с тем, как выглядит тот же результат, когда он включает имя сайта и значок.

    Она также опубликовала это видео в действии:

    Лили Рэй (@lilyraynyc) 8 ноября 2024 г.

    Google постоянно тестирует, но мне интересно, откажется ли однажды Google от них…

    Смотрите также

    2024-11-11 16:44

    Редактор Google Рекламы версии 2.8 уже вышел

    Как опытный веб-мастер, потративший много лет на изучение сложного мира Google Ads, я должен сказать, что последнее обновление версии 2.8 кажется глотком свежего воздуха. Изображения, созданные с помощью искусственного интеллекта, и возможность экспорта непосредственно в Google Таблицы меняют правила игры в оптимизации нашего рабочего процесса. Панель ошибок изменяемого размера — еще одно продуманное дополнение, которое значительно улучшает взаимодействие с пользователем.


    Недавно компания Google выпустила версию 2.8 редактора Google Ads Editor, в которой представлено несколько инновационных функций, таких как создание изображений с искусственным интеллектом, возможность экспорта данных в Google Таблицы, соблюдение правил бренда, расширенные инструменты обрезки изображений, более строгие параметры таргетинга по возрасту и полу, обновленный справочный центр, и многие другие улучшения.

    В июне 2024 года Google выпустила последнее обновление версии 2.7. Этому выпуску предшествовали версия 2.6, вышедшая в марте того же года, и версия 2.5, выпущенная в ноябре 2023 года.

    Редактор Google Рекламы – это бесплатная загружаемая программа, предназначенная для управления рекламными кампаниями Google Рекламы. Его цель — оптимизировать рабочие процессы и облегчить массовые модификации.

    Вот что Google добавил в версии 2.8:

    • Изображения, созданные с помощью искусственного интеллекта. Вы можете создавать изображения из текстовой подсказки произвольной формы и использовать их в своем рекламном аккаунте.
    • Экспорт в Google Таблицы. Теперь есть возможность сохранить экспорт CSV в виде Google Таблицы, а не в виде файла .csv на диске.
    • Панель ошибок изменяемого размера. Размер панели ошибок под основной сеткой теперь можно изменять. Разделитель между основной сеткой и панелью ошибок можно перетаскивать вверх или вниз.
    • Правила бренда. Теперь в кампаниях с максимальной эффективностью доступна поддержка правил бренда на уровне кампании. Если включены рекомендации по бренду, название компании, логотипы, цвета и шрифты предоставляются на уровне кампании. Названия компаний и логотипы на уровне группы объектов использовать нельзя.
    • Обрезка изображения. Вы можете обрезать изображение из библиотеки ресурсов. Обрезанная версия изображения добавляется в библиотеку ресурсов и может использоваться в ваших объявлениях. Точки входа для этого инструмента добавляются в представление библиотеки изображений, а также в средство выбора изображений.
    • Дополнительные улучшения видео. Улучшения видео теперь можно отключить с помощью отдельных флажков: один для создания более коротких видео, а другой для создания вертикальных видео. Раньше можно было включить или отключить оба улучшения с помощью одного флажка.
    • Сторонняя оценка в кампаниях с максимальной эффективностью и формированием спроса. Поддержка настроек сторонней оценки изначально была реализована в версии 2.6 только для видеокампаний. Теперь эта функция распространяется на кампании с максимальной эффективностью и создание спроса.
    • Строгий таргетинг на возраст и пол. Этот параметр доступен для групп объявлений в кампаниях по формированию спроса. Как правило, когда включен «Оптимизированный таргетинг», могут показываться объявления, не соответствующие критериям таргетинга кампании, чтобы расширить охват пользователей, которые, по мнению Google, достаточно похожи на целевую аудиторию. «Строгий таргетинг по возрасту и полу» меняет это поведение, и если он включен, таргетинг по возрасту и полу строго соблюдается.
    • Улучшения видео для видеообъявлений, создающих спрос. Параметр «Создавать вертикальные видеоролики» теперь доступен для видеообъявлений, создающих спрос.
    • Разрешить суффикс конечного URL в кампаниях ACe. Теперь вы можете редактировать суффикс конечного URL в кампаниях для вовлечения приложений (ACe).
    • Управление ресурсами для кампаний VVC. Параметр «Управление ресурсами», также известный как «Многоформатные объявления», был распространен на стандартные видеокампании с целевой ценой за просмотр (кампании VVC). Ранее он был доступен только для стандартного видео с целевой ценой за тысячу показов или фиксированной ценой за тысячу показов (кампании VRC).
    • Обновление Справочного центра: все ошибки редактора собраны на одной странице.

    Начиная с версии 2.8, Google прекратил поддержку кампаний с фидами товаров, создающих спрос. Эти типы кампаний, ранее известные как DG DPA, теперь устарели. Существующие кампании были преобразованы в кампании по формированию спроса, и создавать новые в этой категории невозможно.

    Смотрите также

    2024-11-11 16:44

    Google Ads сегодня снова разрешает рекламу выборов в США

    Как опытный веб-мастер с более чем десятилетним опытом работы в цифровой среде, я должен сказать, что решение Google отменить паузу в предвыборной и политической рекламе в США сегодня кажется долгожданным глотком свежего воздуха. Пройдя через несколько избирательных циклов, я могу подтвердить важность своевременной и актуальной рекламы для формирования общественного мнения.


    Сегодня, 11 ноября 2024 года, Google возобновил показ предвыборной и политической рекламы в США. Временная остановка показа этой рекламы была осуществлена ​​после закрытия выборов в США 5 ноября 2024 года. Теперь, когда пауза снята, вы можете продолжить показ этой рекламы, если захотите.

    Как эксперт по SEO, я хотел бы сообщить вам, что любая реклама, временно приостановленная Google, возобновит работу сегодня. Чтобы предотвратить непреднамеренное возобновление показа объявлений, вам было бы разумно вручную приостановить их, если вы хотите сохранить текущий статус объявления.

    В прошлую пятницу я обсуждал на Search Engine Land, что Google планирует внести изменения в свою политику в отношении политического контента с 11 ноября 2024 года. Эти обновления снимут текущие ограничения на рекламу, связанную с выборами в США.

    Как пояснил Google, с 6 ноября 2024 г. Google больше не будет налагать ограничения на рекламу, связанную с выборами в США. Это относится как к прямой предвыборной рекламе в США, так и к рекламе, в которой обсуждаются процессы или результаты выборов в США.

    Google объявил, что показ рекламы, показ которой ранее был приостановлен на территории США, будет возобновлен сегодня, а именно 11 ноября.

    Смотрите также

    2024-11-11 16:44