Исследователи Google представили два новых проекта, Titans и MIRAS, разработанные для того, чтобы помочь системам ИИ лучше обрабатывать длинные фрагменты информации. Современный ИИ часто испытывает трудности с поддержанием контекста и скорости при работе с расширенным контентом. Titans и MIRAS работают вместе, чтобы предоставить ИИ более организованный способ запоминать ключевые детали с течением времени, позволяя ему более эффективно следить за длинными документами, разговорами или потоками данных.
The Titans Architecture
Как цифровой маркетолог, я действительно рад этому новому подходу к моделированию поведения клиентов. Мы создаём систему, которая по сути ‘запоминает’ взаимодействия с течением времени, а не просто смотрит на последние данные. Она учится, выявляя то, что *действительно* выделяется – вещи, которые ‘удивляют’ модель, указывая на значительное изменение или новую тенденцию. Это позволяет нам получить гораздо более тонкое и точное понимание нашей аудитории, что приводит к лучшему таргетингу и более эффективным кампаниям.
«Метрика неожиданности» — это система, которую модель использует для выявления необычной или важной информации. Она работает путем сравнения того, что модель уже знает, с любыми новыми данными, которые она получает. Высокий балл «метрики неожиданности» указывает на то, что новая информация значительно отличается от того, что ожидала модель, побуждая ее обратить на нее более пристальное внимание и, возможно, сохранить ее для дальнейшего использования.
https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text
Для эффективной работы система полагается на «импульс» – постоянную концентрацию – чтобы определить, какие части длинных последовательностей данных запоминать. Это помогает ей отслеживать важную информацию *после* первоначального сигнала, даже если эта информация сама по себе не особенно примечательна.
Система Titans включает в себя умный способ забывания старой информации. Это процесс, который постепенно удаляет детали, которые больше не важны, позволяя модели сосредоточиться на самых последних и релевантных данных при обработке длинных входных данных. Это предотвращает перегрузку модели устаревшей информацией.
Архитектура Titans создает систему памяти, которая остается точной и полезной даже при огромном количестве данных, благодаря умелому балансированию трех ключевых особенностей: фокусировке на важной информации (метрика удивления), запоминанию достаточного количества деталей (импульс) и забыванию нерелевантной информации (затухание веса).
The MIRAS Framework
Titans относится к конкретному типу модели, в то время как MIRAS — это более общая система для создания последовательных моделей. MIRAS рассматривает эти модели как разновидность ассоциативной памяти — по сути, модули, которые учатся связывать конкретные точки данных, выявляя взаимосвязи между ними. Он использует внутреннюю цель, чтобы направлять этот процесс обучения, сообщая модулю *how* понимать эти связи.
Чтобы создать модель в рамках этой структуры, дизайнеры делают четыре основных выбора:
- Структура памяти: физическая архитектура самой памяти, которая может варьироваться от простых векторов до глубоких MLP-слоёв, используемых в Titans.
- Предвзятость внимания: Конкретная внутренняя цель, определяющая, как память приоритизирует и связывает поступающую информацию.
- Стабильность и сохранение памяти: Механизм, который балансирует изучение новой информации с сохранением предыдущего состояния.
- Алгоритм памяти: Метод обучения, используемый для обновления памяти, такой как методы градиентного спуска, которые позволяют модели обучаться во время тестирования.
Проблема: ИИ может обрабатывать, но испытывает трудности с запоминанием.
Современный ИИ отлично справляется с пониманием информации, которую ему предоставляют напрямую. Однако, всё становится сложнее при работе с большими объемами контекста. По мере того, как такие вещи, как документы, данные или разговоры, становятся длиннее, ИИ-модели должны балансировать между запоминанием всех деталей и сохранением эффективности и доступности в плане затрат.
Современные языковые модели обычно обрабатывают длинный контекст одним из двух способов:
- Окно внимания
Они возвращаются к более раннему тексту напрямую, когда это необходимо, многократно просматривая предыдущие токены, чтобы определить, что имеет значение для текущего шага.
- Сжатие состояния
Они сжимают всё, что было раньше, в более краткое внутреннее резюме, чтобы продолжать двигаться вперёд, жертвуя детализацией ради эффективности.
Самая большая проблема заключается не в вычислительной мощности или скорости, с которой происходят события, а в том, как компьютеры запоминают информацию. Современные системы не управляют памятью активно во время работы. Они используют базовые, заранее заданные методы – либо обращаются к старым данным, либо быстро сохраняют новые данные – без разумного способа определить, какую информацию важно сохранять надолго.
Titans и MIRAS решают эту задачу, позволяя моделям контролировать свою собственную память, вместо того, чтобы полагаться на фиксированную структуру памяти, встроенную в их конструкцию.
Почему исследование представлено в двух частях?
Преодоление этой задачи — это не просто внесение одной простой исправления. Нам нужно продемонстрировать, что модели искусственного интеллекта действительно могут более эффективно обрабатывать память, а также нам нужно создать систематический подход к построению этих систем – вместо того, чтобы постоянно изобретать велосипед с каждым новым дизайном.
Обе статьи отражают эти потребности:
- Один представляет конкретный метод для предоставления моделям формы долгосрочной памяти.
- Другой предоставляет основу для понимания и построения моделей вокруг этой идеи.
Титаны: Добавление Формы Долговременной Памяти
Titans решает ключевую задачу эффективной обработки информации. Его конструкция позволяет модели учиться и запоминать в процессе работы, избегая необходимости повторного анализа старых данных или сжатия всего в ограниченное пространство. Вместо этого модель разумно сохраняет и использует ключевую информацию с течением времени.
Вместо создания кратких, стандартных резюме, эта система использует сложную нейронную сеть для понимания и передачи информации гораздо более подробно и нюансированно.
Мы стремимся позволить обработку чрезвычайно длинных фрагментов текста, не требуя постоянной перепроверки предыдущей информации или забывания важных деталей. Titans не предназначен для замены существующих моделей ИИ; вместо этого, он работает вместе с ними, улучшая их способность понимать контекст, сохраняя при этом их существующие сильные стороны.
MIRAS: Фреймворк для проектирования моделей, управляемых памятью
В то время как Titans фокусируется на конкретном методе, MIRAS рассматривает более широкий взгляд, учитывая общий дизайн последовательных моделей. Он рассматривает эти модели как системы, которые изучают и уточняют взаимосвязи с течением времени и предлагает четкую структуру для понимания того, как должна работать их память.
Вместо того, чтобы рассматривать различные компьютерные системы как совершенно отдельные типы, MIRAS группирует их на основе нескольких ключевых дизайнерских решений о том, как они хранят, находят, изменяют и сохраняют информацию.
MIRAS позволяет вам понять, как работают системы, такие как Titans, и создавать новые, опираясь на существующие основы, вместо того чтобы начинать всё с нуля.
Тестирование, улучшает ли этот подход обработку длинного контекста.
Как SEO-эксперт, я всегда заинтересован в том, как новые технологии проявляют себя в реальных сценариях. Эти исследователи хотели выяснить, действительно ли их система, основанная на памяти, *работает лучше*, чем текущие методы, поэтому они протестировали её на задачах, требующих обработки большого объема информации – представьте себе действительно длинные статьи или сложные веб-страницы. По сути, они проверяли, способна ли она эффективно обрабатывать большие объемы контекста.
При тестировании на очень длинных документах, Titans смогли обработать более 2 миллионов токенов и извлекать информацию точнее, чем другие модели. Примечательно, что в сложном бенчмарке BABILong – который проверяет способность модели находить и использовать информацию, скрытую в огромных текстах – Titans показали результаты лучше, чем даже гораздо более крупные модели, такие как GPT-4, несмотря на использование меньшего количества ресурсов.
Исследование MIRAS доказывает, что это достижение не связано с какой-либо одной конкретной моделью. Команда протестировала различные системы, созданные с использованием их подхода, и обнаружила, что эти основные идеи дизайна последовательно приводят к высокой производительности в решении широкого спектра различных задач.
Эти результаты демонстрируют, что использование организованной, активно используемой памяти позволяет моделям оставаться высокоточными даже при очень больших объемах данных, и все это без значительного увеличения требований к обработке.
Мы протестировали Titans в различных задачах и обнаружили, что они превосходят Transformers и другие современные линейные рекуррентные модели, особенно при работе с длинными текстами. Titans могут обрабатывать контекстные окна, превышающие 2 миллиона токенов, сохраняя при этом более высокую точность, чем существующие методы.
Эта статья представляет Miras, новую структуру, которая проясняет, как связаны онлайн-оптимизация и запоминание во время тестирования. Miras объясняет, почему распространенные конструкторские решения в нейронных сетях, такие как forget gates, работают именно так, как они работают, и может направлять разработку лучших архитектур для управления памятью.
Мы разработали три новые последовательные модели на основе наших существующих работ, и каждая из них имеет свои сильные и слабые стороны. Наши тесты показывают, что эти модели превосходят как Transformers, так и стандартные RNNs в различных задачах. Эта работа представляет эти различные версии, все построенные с использованием Miras.
В перспективе было бы полезно изучить, как эти различные системные конструкции работают в различных практических приложениях.
Выводы исследователей
Недавние исследования команды Titans показывают, что объединение быстрой локальной обработки с отдельной системой долгосрочной памяти помогает моделям лучше понимать и обрабатывать объёмную информацию. Этот подход улучшает текущие конструкции моделей, а не требует полной переработки или простого увеличения размера охвата внимания или использования более сильных методов сжатия.
Исследование MIRAS представляет новый способ мышления о последовательных моделях, рассматривая их как системы, работающие на основе памяти. Этот подход позволяет более организованно и последовательно создавать и оценивать эти модели. Основная идея заключается в том, чтобы сосредоточиться на том, как память функционирует как ключевая часть процесса проектирования.
Обе исследовательские работы изучают, как модели ИИ могут активно использовать и контролировать память. Titans достигает этого, встраивая систему для хранения информации во время работы, в то время как MIRAS предлагает структуру для создания и оценки моделей, полагающихся на память.
В блоге Google объясняется, что делает Titans и MIRAS важными:
Титаны и фреймворк MIRAS представляют собой значительный шаг вперед в том, как компьютеры обрабатывают последовательности информации. В отличие от старых методов, которые полагаются на ограниченную память, эти новые подходы используют глубокое обучение для создания памяти, которая растет и обучается по мере поступления данных, позволяя им обрабатывать более сложные закономерности.
MIRAS предлагает сильный, объединяющий фреймворк, демонстрирующий, как онлайн-оптимизация, ассоциативная память и архитектурный дизайн взаимосвязаны. Отходя от традиционных методов, эта работа прокладывает путь для продвинутых последовательных моделей, которые являются одновременно эффективными, как Рекуррентные Нейронные Сети (RNN), и способны справляться со сложными требованиями ИИ с длинным контекстом.
Их работа показывает, что улучшение обработки длинных текстов ИИ касается не только увеличения ‘окна’ информации или использования более крупных моделей ИИ. Речь идет о предоставлении ИИ системы для эффективной организации и запоминания информации.
Смотрите также
2026-03-03 13:41
