В ходе интервью Дваркеш Патель общался с Джеффом Дином и Ноамом Шазиром из Google, затрагивая возможность интеграции поиска в Google с постоянным опытом обучения. Эта тема вызвала очаровательный ответ от Джеффа Дина.
Прежде чем посмотреть, вот определение, которое вам может понадобиться:
Внутреннее обучение, также известное как несколько выстрелов или быстрого разработки, представляет собой метод, при котором LLM приведены примеры или инструкции в рамках подсказки для ввода, чтобы направлять его ответ. Этот метод использует способность модели понимать и адаптироваться к шаблонам, представленным в непосредственном контексте запроса.
Контекстное окно (или «длина контекста») большой языковой модели (LLM) — это количество текста в токенах, которое модель может учитывать или «помнить» в любое время. Большее окно контекста позволяет модели ИИ обрабатывать более длинные входы и включать в каждый выход большего количества информации.
Этот вопрос и ответ начинаются с 32 -минутной отметки в этом видео:
https://www.youtube.com/watch?v=v0gjI__RyCY
Вот стенограмма, если вы не хотите читать это:
Вопрос:
Я знаю, что одна вещь, над которой вы сейчас работаете, — это более длинный контекст. Если вы думаете о поиске Google, у него есть весь индекс Интернета в его контексте, но это очень мелкий поиск. И тогда, очевидно, языковые модели сейчас имеют ограниченный контекст, но они действительно могут думать. Это как Dark Magic, в контекстном контексте. Это действительно может подумать о том, что он видит. Как вы думаете о том, каково было бы объединить что-то вроде поиска Google и что-то вроде обучения в контексте?
Да, я впервые сделаю это, потому что «я немного подумал об этом. Одна из вещей, которые вы видите с этими моделями, это то, что они довольно хороши, но иногда они галлюцинируют и иногда имеют проблемы с фактической. Из этого вы тренировались, скажем, десятки триллионов токенов, и вы разжигали все это вместе в своих десятках или сотнях миллиардов параметров. И модель имеет достаточно четкое представление об этих данных, но иногда она путает и даст неверную дату. Хороший механизм внимания в трансформаторах. , что довольно много. Но было бы очень приятно, если бы модель могла посетить триллионы жетонов.
Может ли модель обрабатывать весь Интернет и найти соответствующую информацию для вас? Может ли он управлять вашими личными данными по электронной почте, документам и фотографиям? В идеале я бы предпочел систему, которая может использовать эти данные с вашего согласия, чтобы помочь в назначении, которые вы назначаете, используя всю доступную информацию, чтобы более эффективно выполнить задачу.
Алгоритм наивного внимания является вычислительным интенсивным, поскольку он работает квадратично, что затрудняет даже на существенном оборудовании для обработки миллионов токенов. Масштабирование его до триллионов токенов нереально с этим подходом. Таким образом, нам нужны инновационные алгоритмические решения, которые позволяют модели обрабатывать и рассматривать огромное количество токенов, что потенциально обрабатывает весь код Google для каждого разработчика или даже код с открытым исходным кодом всего мира в контексте. Такое достижение было бы замечательным и новаторским.
Вот где я нашел это:
Соответствующий:
«Деян (@dejanseo) 15 февраля 2025 г.
Мне очень нравится смешивать несколько техник, вот несколько интригующих и доступных:
1. Многочисленные методы извлечения данных с высокой плотностью
2. Функция Treeformer ()
3. Метод приблизительной оценки Top-K ()
4. Различные формы квантования для кеша KV и других связанных стратегий …
— Джефф Дин (@Jeffdean) 15 февраля 2025 г.
Смотрите также
2025-02-17 16:44
