Джефф Дин: Объединение поиска Google с LLM In-Context Learning

от

В ходе интервью Дваркеш Патель общался с Джеффом Дином и Ноамом Шазиром из Google, затрагивая возможность интеграции поиска в Google с постоянным опытом обучения. Эта тема вызвала очаровательный ответ от Джеффа Дина.

Прежде чем посмотреть, вот определение, которое вам может понадобиться:

Внутреннее обучение, также известное как несколько выстрелов или быстрого разработки, представляет собой метод, при котором LLM приведены примеры или инструкции в рамках подсказки для ввода, чтобы направлять его ответ. Этот метод использует способность модели понимать и адаптироваться к шаблонам, представленным в непосредственном контексте запроса.

Контекстное окно (или «длина контекста») большой языковой модели (LLM) — это количество текста в токенах, которое модель может учитывать или «помнить» в любое время. Большее окно контекста позволяет модели ИИ обрабатывать более длинные входы и включать в каждый выход большего количества информации.

Этот вопрос и ответ начинаются с 32 -минутной отметки в этом видео:

https://www.youtube.com/watch?v=v0gjI__RyCY

Вот стенограмма, если вы не хотите читать это:

Вопрос:

Я знаю, что одна вещь, над которой вы сейчас работаете, — это более длинный контекст. Если вы думаете о поиске Google, у него есть весь индекс Интернета в его контексте, но это очень мелкий поиск. И тогда, очевидно, языковые модели сейчас имеют ограниченный контекст, но они действительно могут думать. Это как Dark Magic, в контекстном контексте. Это действительно может подумать о том, что он видит. Как вы думаете о том, каково было бы объединить что-то вроде поиска Google и что-то вроде обучения в контексте?

Да, я впервые сделаю это, потому что «я немного подумал об этом. Одна из вещей, которые вы видите с этими моделями, это то, что они довольно хороши, но иногда они галлюцинируют и иногда имеют проблемы с фактической. Из этого вы тренировались, скажем, десятки триллионов токенов, и вы разжигали все это вместе в своих десятках или сотнях миллиардов параметров. И модель имеет достаточно четкое представление об этих данных, но иногда она путает и даст неверную дату. Хороший механизм внимания в трансформаторах. , что довольно много. Но было бы очень приятно, если бы модель могла посетить триллионы жетонов.

Может ли модель обрабатывать весь Интернет и найти соответствующую информацию для вас? Может ли он управлять вашими личными данными по электронной почте, документам и фотографиям? В идеале я бы предпочел систему, которая может использовать эти данные с вашего согласия, чтобы помочь в назначении, которые вы назначаете, используя всю доступную информацию, чтобы более эффективно выполнить задачу.

Алгоритм наивного внимания является вычислительным интенсивным, поскольку он работает квадратично, что затрудняет даже на существенном оборудовании для обработки миллионов токенов. Масштабирование его до триллионов токенов нереально с этим подходом. Таким образом, нам нужны инновационные алгоритмические решения, которые позволяют модели обрабатывать и рассматривать огромное количество токенов, что потенциально обрабатывает весь код Google для каждого разработчика или даже код с открытым исходным кодом всего мира в контексте. Такое достижение было бы замечательным и новаторским.

Вот где я нашел это:

Соответствующий:

«Деян (@dejanseo) 15 февраля 2025 г.

Мне очень нравится смешивать несколько техник, вот несколько интригующих и доступных:

1. Многочисленные методы извлечения данных с высокой плотностью
2. Функция Treeformer ()
3. Метод приблизительной оценки Top-K ()
4. Различные формы квантования для кеша KV и других связанных стратегий …

— Джефф Дин (@Jeffdean) 15 февраля 2025 г.

Смотрите также

2025-02-17 16:44

Google: Почему поисковым системам не нужно делать что -то особенное для страниц

от

В 2019 году Google прекратила использование REL Prev и Next в качестве руководства для своих алгоритмов поисковых систем для интерпретации или консолидации на вашем веб -сайте. Со временем Google предоставил другие рекомендации по этому вопросу. В настоящее время Джон Мюллер из Google разъясняет, что нет необходимости в специальном обращении с помощью поисковых систем, касающихся страниц или результатов, на вашем сайте.

Последний по этой теме Джона находится в этой ветке LinkedIn, где Jan Caerels спросил:

То, что я никогда не понимал полностью. Если Google понимает вашу страниц и агрегирует все на одну страницу (обычно чистый URL), должны ли у URL -адреса страниц, которые вы видите на снимке экрана, все еще отображаются на индексированных страницах? Джон Мюллер Гэри Иллиес

В предыдущей ситуации я столкнулся с экземпляром, аналогичным этим, где в результатах поиска появлялись URL -адреса с лицензией на странице, такие как «дешевые моноволютные автомобили». У этих конкретных URL -адресов была такая структура, как «/Дешевые/Моноволюты? Page = 12».

В этой конкретной учетной записи Google Search Console (GSC) я наблюдал, как все URL -адреса индексируются индивидуально в отчете «Индексированные страницы».

В более простых терминах Джон ответил: «Я считаю, что поисковая система не требует уникального лечения для« страниц ». Для меня URL всегда должен оставаться просто URL.

Он также пояснил, что когда Google ищет что -то отличительное или редкое в последовательности страниц, это, безусловно, может это сделать. Однако, если на этих страницах нет особого значения или уникальности, то в продолжении поиска есть мало смысла. Что касается URL, он просто заметил, что они просто URL.

Вот что Джон сказал слово в слово:

Если что -то полезно на странице, это полезно; Если его нет на странице, его нет на странице. Что бы вы сделали, если бы создали поисковую систему? Не могли бы вы ползти на 100 страниц на страничном наборе и сохранить только их в одном URL и рассматривать все другие страницы как уникальные страницы? Это чувствует (глядя с расстояния) как ненужное осложнение.

Как специалист по цифровому маркетингу, я понял, что иногда предположения вокруг SEO могут вводить в заблуждение. Это не всегда о сложных алгоритмах и причудливых трюках; Часто речь идет о том, чтобы быть ясным и явным в том, что мы хотим. Многие аспекты технического SEO являются решениями, основанными на стратегии, и этот выбор не всегда абсолютный или универсальный. Эта двойственность — красота и разочарование — являются определяющей характеристикой технического SEO.

Это так просто для вас?

Смотрите также

2025-02-17 16:15

Google Business Profiles Проверка проверка сбоя по электронной почте по причинам

от

Google улучшил тип электронных писем, отправленных из профилей бизнеса Google, относительно неудачных проверок. Теперь эти электронные письма четко указывают причины неудачи и предоставляют инструкции о том, как проверить в профилях Google Business.

Бен Фишер обратил внимание на тот факт, что электронное письмо, которое он поделился на X, заявил: «Ваше видео -видео не соответствует всем критериям. Пожалуйста, убедитесь, что ваше пересмотренное видео содержит все необходимые детали, как указано ниже». Точно так же, Генри Эедиа заметил ту же проблему и разместил следующее изображение на той же платформе (x), сообщив всем об этом.

Затем перечисляется то, что необходимо включить, чтобы пройти проверку, включая:

  • Покажите окружающую среду, такой как уличные вывески или соседние предприятия, ваше местоположение должно соответствовать введенному вами адресу.
  • Показать название бизнеса, напечатанное на постоянных приспособлениях, таких как Signboard: название вашего бизнеса должно соответствовать введенному вами названию
  • Покажите, что это место разрешено представлять этот бизнес: разблокировать вход, управлять кассовым аппаратом или ввести только в области персонала.

Вот электронное письмо, где последний не удался:

Бен Фишер заявил: «Посмотрите на это, GBP предоставляет достоверные объяснения того, почему процесс проверки не сработал. Это, безусловно, пригодится.

Хотя Майк Блюменталь сказал, что это не новое.

Смотрите также

2025-02-17 16:13

Google Merchant Center, сгенерированные AI Резюме

от

Google Merchant Center начал отображать обзоры, созданные AI-созданным AI, которые указывают на эффективность вашей производительности в торговом центре в поиске Google. Эти резюме отмечены как экспериментальные и генерируются искусственным интеллектом.

Вот скриншот этого, опубликованный Сачин Патель на x:

В резюме говорится:

За последние 28 дней ваш общий трафик увеличился, и нажимает [имя сайта]. Чтобы улучшить производительность продукта в будущем, сосредоточьтесь на оптимизации названий продуктов, выделяя важные детали в начале, чтобы лучше соответствовать поисковым запросам.

В нем также говорится: «Эта функция экспериментальна, а качество и точность могут варьироваться».

Эммануэль Флосси из Feedarmy указал на X, что значительное количество продавцов недавно начало получать многочисленные рекомендации по AI, такие как корректировка цен на продажу, что является лишь одним из них.

Смотрите также

2025-02-17 16:14

Страница тестирования результатов поиска в Google.

от

Google экспериментирует с включением нового раздела в результаты поиска под названием «Страница содержит». Эта функция, по -видимому, напоминает теги, найденные в фрагментах результатов поиска в 2021, 2019 и 2017 годах, но неясно, идентичны ли они.

Это было замечено Броди Кларком, которая опубликовала об этом на заметках X и Serp — вот скриншот:

Безусловно, я нашел ту же проблему. Кажется, что раздел «Страница» — это вытягивание неправильных данных. Например, когда я искал «ноутбуки», он отображал цену акций и для «SEO», он показал «спортивные основы». Определенно требует некоторого улучшения! @brodieseo @rustybrick

— Сачин Патель (@Sachupatel53124) 17 февраля 2025 г.

В настоящее время я не могу повторить это, но это очень похоже на эти теги.

При этом я не уверен, что мне это нравится …

Смотрите также

2025-02-17 16:14