GraphRAG — лучший RAG, и теперь он бесплатен через @sejournal, @martinibuster

GraphRAG — лучший RAG, и теперь он бесплатен через @sejournal, @martinibuster

Как эксперт по SEO с обширным опытом в области технологий искусственного интеллекта и машинного обучения, я в восторге от новой технологии Microsoft GraphRAG. Возможность позволить чат-ботам и системам ответов связывать точки всего набора данных меняет правила игры.


Microsoft объявила, что сделает доступной для общественности революционную технологию под названием GraphRAG. Это нововведение позволяет чат-ботам и системам ответов создавать сложные связи между обширными наборами данных, значительно превосходя возможности стандартных методов поиска и дополненной генерации (RAG).

В чем разница между RAG и GraphRAG?

RAG (Поисковая дополненная генерация) — это технология, которая позволяет большой языковой модели (LLM) получать доступ к базе данных, аналогичной поисковому индексу, в качестве справочного материала для ответов на запросы. Он действует как посредник между LLM и традиционным индексом поисковой системы.

Как эксперт по SEO, я бы охарактеризовал генерацию ответов в реальном времени (RAG) как переломный момент в сфере чат-ботов и поисковых систем с искусственным интеллектом. Когда дело доходит до ответов на запросы, RAG использует авторитетные и надежные источники данных для обеспечения точных ответов. Кроме того, он позволяет генеративным моделям искусственного интеллекта решать вопросы по неподготовленным темам, получая доступ к актуальной информации. Этот передовой подход используется передовыми поисковыми системами искусственного интеллекта, такими как Perplexity, что позволяет давать более полные и точные ответы.

Как профессионал в области цифрового маркетинга, я бы описал это так: преимущество RAG заключается в применении встроенных технологий. Вложения — это, по сути, метод кодирования значения слов, предложений и документов в числовые векторы. Поступая таким образом, мы можем эффективно представлять семантические отношения между различными элементами, расширяя функциональные возможности поиска RAG. Это позволяет ему точно сопоставить запрос пользователя с соответствующим содержимым в базе данных, подобно тому, как работает индекс поисковой системы.

Недостаток использования встраивания заключается в том, что оно ограничивает способность RAG понимать текст в деталях (вместо того, чтобы улавливать более широкий контекст во всем наборе данных).

«Ограничением Naive RAG является его ориентация на топ-k ближайших фрагментов текста. Это может привести к ошибкам, поскольку вопросы могут сопоставляться с текстом, который имеет внешнее сходство, что приводит к неправильным ответам.»

Как опытный веб-мастер, я бы сказал, что отличительной чертой GraphRAG является способность модели большого языка (LLM) получать ответы из всего набора данных, а не только из отдельных точек данных.

Как специалист по цифровому маркетингу, я бы описал функциональность GraphRAG так: я использую GraphRAG для преобразования неструктурированных данных, таких как веб-страницы, в структурированные графы знаний. Этот процесс раскрывает скрытые отношения между различными сущностями, включая людей, места, концепции и вещи. Создав такое структурированное представление, машины смогут легче воспринимать и использовать информацию.

GraphRAG создает «темы» с названием Microsoft как зонтичные категории, а «темы» — как подтемы с различными уровнями детализации. LLM генерирует иерархическую сводку по каждой теме, предлагая всестороннее понимание данных. Это нововведение позволяет чат-боту отвечать на запросы больше на основе знаний (сводок), чем только на основе встроенных данных.

«Подведение итогов по каждому сообществу с помощью большой скрытой модели (LLM) предлагает иерархическую перспективу вашего набора данных, предоставляя вводный обзор без необходимости заранее определять конкретные вопросы. Каждое сообщество выступает в качестве основы для своего собственного всеобъемлющего резюме с подробным описанием объектов. и их взаимосвязи.»

Сводки сообщества эффективно решают глобальные запросы, принимая во внимание все описания сущностей и связей в индексе графа, полученном на основе входных текстов. Следовательно, для генерации ответа на запрос можно использовать метод сокращения карты, сохраняя всю важную информацию в более широком контексте данных.

Примеры RAG и GraphRAG

Исследовательская работа GraphRAG продемонстрировала широкие возможности GraphRAG в решении запросов, для которых нет соответствующих данных в данных индексированных материалах. Показательный случай связан с небольшой подборкой российских и украинских новостных статей за июнь 2023 года (переведенных на английский язык).

Простой вопрос на соответствие текста

«Первоначальный запрос был: «Что такое Новороссия?» И RAG, и GraphRAG смогли ответить на этот запрос, но GraphRAG приложил дополнительные усилия, предоставив более полный ответ».

«Термин «Новороссия», что означает «Новая Россия», относится к регионам Украины, которые исторически были аннексированы Россией в 18 веке».

На естественном и легко читаемом языке: второй вопрос требовал, чтобы машина не только находила соответствующие документы, но и устанавливала связи между их понятиями. Эта функция, называемая Microsoft «задачой суммирования, ориентированной на запросы (QFS)», выходит за рамки простого поиска текста. Это требует установления связей между индексированными данными.

Вопрос, заданный о системах RAG и GraphRAG:

Это ответ RAG:

«В тексте не содержится конкретной информации о том, что сделала Новороссия».

В ответ на вопрос «Какие действия можно отнести к Новороссии?» GraphRAG предоставил подробный отчет в двух связанных абзацах, в котором изложены последствия и влияние политического движения Новороссии.

Политическое движение, известное в Украине как «Новороссия», было замешано в ряде разрушительных действий, направленных в первую очередь против украинских институтов. Среди примечательных целей — компания «Розен», Одесский консервный завод, вещательные мощности Одесского областного центра радиотелевизионной передачи и Национальная телекомпания Украины. Сообщается, что это движение связано с планами сноса собственности этих организаций.

Генеральная прокуратура Украины в своем отчете признала появление движения «Новороссия», предположив, что у властей могут быть опасения по поводу его действий.

«Ниже представлена ​​часть ответа, полученного на основе набора данных за один месяц. Он демонстрирует способность GraphRAG устанавливать связи между документами во всей их полноте».

GraphRAG теперь общедоступен

Microsoft объявила, что GraphRAG общедоступен для использования кем угодно.

Как опытный веб-мастер, я рад поделиться с вами сегодня интересными новостями. Я с гордостью сообщаю, что GraphRAG теперь общедоступен на GitHub! Эта усовершенствованная система поиска информации и генерации ответов превосходит ограничения простых методов RAG, предлагая более организованный сбор данных и обширную генерацию ответов.

Microsoft представила GraphRAG с целью повысить общественную доступность связанных решений и стимулировать участие сообщества в потенциальных улучшениях.

GraphRAG: новый инструмент для обнаружения сложных данных теперь на GitHub

Смотрите также

2024-07-04 16:50