Как SEO-эксперт, я внимательно слежу за обновлениями Google, и одно из последних привлекло моё внимание. Они добавили документацию для Google NotebookLM в свой список fetchers, запускаемых пользователем. Что здесь действительно важно, так это подтверждение того, что NotebookLM не будет учитывать файл robots.txt. Это означает, что Google может сканировать и потенциально индексировать контент, даже если вы заблокировали его с помощью файла robots.txt, что является важным моментом, который следует учитывать при планировании наших SEO-стратегий.
Купил акции на все деньги, а они упали? А Илон Маск снова написал твит? Знакомо. У нас тут клуб тех, кто пытается понять этот цирк и не сойти с ума.
Купить на падении (нет)Google NotebookLM
NotebookLM — это инструмент на основе искусственного интеллекта, который помогает вам проводить исследования и писать. Вы можете предоставить ему ссылку на веб-страницу, и он проанализирует содержимое, позволяя вам задавать вопросы и создавать резюме на основе найденной информации.
Google имеет инструмент, который может автоматически создавать интерактивную карту ума из любого веб-сайта, помогая вам организовывать информацию и быстро понимать основные моменты.
Запускаемые пользователем сборщики игнорируют Robots.txt
Google User-Triggered Fetchers — это автоматизированные программы, которые реагируют на действия пользователей в сети. В отличие от типичных веб-краулеров, они обычно не соблюдают правила, установленные веб-сайтами в их файлах robots.txt.
Согласно документации Google о User-Triggered Fetchers:
«Поскольку запрос был сделан пользователем, эти сборщики обычно игнорируют правила robots.txt.»
https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text
Google-NotebookLM игнорирует Robots.txt
Файл robots.txt помогает владельцам веб-сайтов управлять ботами, которые сканируют и сохраняют их страницы. Однако такие инструменты, как Google-NotebookLM fetcher, не сохраняют контент; вместо этого они получают к нему доступ, чтобы отвечать пользователям, которые активно используют Google’s NotebookLM с информацией с этого веб-сайта.
Как заблокировать NotebookLM
Google использует специфический идентификатор, называемый ‘Google-NotebookLM’, при доступе к веб-сайтам. Это означает, что владельцы веб-сайтов, которые хотят предотвратить просмотр своего контента Google, могут заблокировать этот идентификатор. Например, пользователи WordPress могут легко использовать плагин безопасности Wordfence для создания правила, блокирующего любого посетителя, использующего идентификатор ‘Google-NotebookLM’.
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM [NC] RewriteRule .* - [F,L]
Смотрите также
- Акции AFKS. АФК Система: прогноз акций.
- Поиск Google наконец-то поддерживает изображения в формате AVIF
- Принимайте решения по SEO с уверенностью: руководство по стратегиям, основанным на данных
- Выбранная Google компания Canonical показывает стороннее доменное имя
- Отчет: рентабельность инвестиций в рекламу для размещения в Google SPN на 37 % ниже, чем в поиске Google
- Google Проверяет Все результаты По Сравнению Со Всеми в Меню Поиска
- Google тестирует ярлык режима ИИ в поисковой строке
- 2026: Когда ИИ-помощники станут первым слоем
- Возможная волатильность рейтингов Google в поисковой выдаче вокруг 12 января.
- 10 лучших конструкторов веб-сайтов, которые стоит рассмотреть в 2024 году
2025-10-11 01:39