LLMs и Графы Знаний

LLMs и Графы Знаний

Что такое LLM?

Большие языковые модели (LLM) – это инструменты искусственного интеллекта, способные понимать и генерировать человеческий язык. Они представляют собой мощные нейронные сети с миллиардами параметров, обученные на огромных объемах текстовых данных. Интенсивное обучение этих моделей дает им глубокое понимание структуры и значения человеческого языка.

LLM могут выполнять различные языковые задачи, такие как перевод, анализ тональности, диалоги с чат-ботами и т.д. Они могут понять сложную текстовую информацию, распознать сущности и их связи, а также создавать текст, сохраняющий связность и грамматическую правильность.

Что такое графы знаний?

Граф знаний – это база данных, представляющая и связывающая данные и информацию о различных сущностях. Он включает узлы, представляющие любой объект, человека или место, и ребра, определяющие отношения между узлами. Это позволяет машинам понять, как сущности связаны друг с другом, обмениваются атрибутами и устанавливают связи между разными вещами вокруг нас.

Графы знаний могут использоваться в различных приложениях, таких как рекомендации видео на YouTube, обнаружение мошенничества в страховании, рекомендации товаров в розничной торговле и прогностическое моделирование.

Источник: https://arxiv.org/pdf/2306.08302.pdf | Пример графа знаний.

LLM и графы знаний

Одно из основных ограничений LLM заключается в том, что они являются “черными ящиками”, т.е. трудно понять, как они приходят к выводу. Более того, они часто испытывают затруднения в понимании и поиске фактической информации, что может приводить к ошибкам и неточностям, известным как галлюцинации.

Здесь графы знаний могут помочь LLM, предоставляя им внешние знания для логических выводов. Однако графы знаний сложно конструировать и они по своей природе развиваются. Поэтому имеет смысл использовать LLM и графы знаний вместе, чтобы максимально использовать их преимущества.

LLM могут быть объединены с графами знаний (KG) с помощью трех подходов:

  1. LLM, усиленные KG: Они интегрируют графы знаний в LLM во время обучения и используют их для лучшего понимания.
  2. LLM, расширяющие KG: LLM могут улучшить различные задачи KG, такие как встраивание, заполнение и ответы на вопросы.
  3. Совместные LLM + KG: LLM и графы знаний работают вместе, усиливая друг друга для двустороннего рассуждения, основанного на данных и знаниях.

Усиленные KG-LLM

LLM хорошо известны своей способностью превосходно выполнять различные языковые задачи, обучаясь на огромных объемах текстовых данных. Однако их критикуют за генерацию некорректной информации (галлюцинации) и недостаток интерпретируемости. Исследователи предлагают усилить LLM с помощью графов знаний (KG) для решения этих проблем.

Графы знаний хранят структурированные знания, которые могут быть использованы для улучшения понимания LLM. Некоторые методы интегрируют графы знаний во время предварительного обучения LLM, помогая усвоению знаний, в то время как другие используют графы знаний во время логического вывода для улучшения доступа к предметной области. Графы знаний также используются для интерпретации логического вывода и фактов LLM для повышения прозрачности.

Источник: https://arxiv.org/pdf/2306.08302.pdf

LLM-расширенные графы знаний

Графы знаний (KGs) хранят структурированную информацию, важную для приложений в реальном мире. Однако текущие методы KG сталкиваются с проблемами неполных данных и обработки текста для построения KG. Исследователи изучают, как использовать гибкость LLM для решения задач, связанных с KG.

Одним из распространенных подходов является использование LLM в качестве обработчика текста для KG. LLM анализируют текстовые данные внутри KG и улучшают представления KG. Некоторые исследования также используют LLM для обработки исходных текстовых данных, извлекая отношения и сущности для построения KG. Недавние усилия направлены на создание KG запросов, которые позволяют LLM понимать структурные KG. Это позволяет непосредственно применять LLM к задачам, таким как завершение KG и рассуждение.

Источник: https://arxiv.org/pdf/2306.08302.pdf
Источник: https://arxiv.org/pdf/2306.08302.pdf

Синергетическое сочетание LLM и KG

Исследователи все больше заинтересованы в сочетании LLM и KG из-за их взаимодополняющей природы. Для изучения этой интеграции предлагается единая структура под названием “Синергетическое сочетание LLM и KG”, состоящая из четырех слоев: Данные, Синергетическая модель, Техника и Приложение.

LLM обрабатывает текстовые данные, KG обрабатывает структурные данные, и с помощью мультимодальных LLM и KG, эта структура может расширяться на другие типы данных, такие как видео и аудио. Эти слои сотрудничают для улучшения возможностей и повышения производительности в различных приложениях, таких как поисковые системы, рекомендательные системы и искусственные интеллектуальные помощники.

Источник: https://arxiv.org/pdf/2306.08302.pdf

Некоторые приложения LLM и графов знаний

Многошаговый вопросно-ответный анализ

Обычно, когда мы используем LLM для извлечения информации из документов, мы разделяем их на части и преобразуем их в векторные представления. Используя этот подход, мы можем не найти информацию, которая охватывает несколько документов. Это известно как проблема многошагового вопросно-ответного анализа.

Эту проблему можно решить с помощью графа знаний. Мы можем создать структурированное представление информации, обрабатывая каждый документ отдельно и связывая их в графе знаний. Это облегчает перемещение и исследование связанных документов, что позволяет отвечать на сложные вопросы, требующие нескольких шагов.

Источник: https://neo4j.com/developer-blog/knowledge-graphs-llms-multi-hop-question-answering/

В приведенном выше примере, если мы хотим, чтобы LLM ответил на вопрос “Создал ли кто-то из бывших сотрудников OpenAI свою собственную компанию?”, LLM может вернуть некоторую дублированную информацию или игнорировать другую связанную информацию. Извлечение сущностей и отношений из текста для построения графа знаний облегчает LLM ответ на вопросы, охватывающие несколько документов.

Совмещение текстовых данных с графом знаний

Еще одним преимуществом использования графа знаний с LLM является то, что с его помощью можно сохранять как структурированные, так и неструктурированные данные и связывать их отношениями. Это упрощает поиск информации.

Источник: https://neo4j.com/developer-blog/knowledge-graphs-llms-multi-hop-question-answering/

В приведенном выше примере граф знаний использовался для хранения:

  • Структурированных данных: Бывшие сотрудники OpenAI и компании, которые они создали.
  • Неструктурированных данных: Новостные статьи, упоминающие OpenAI и его сотрудников.

С такой настройкой мы можем отвечать на вопросы типа “Какие последние новости о создателях Prosper Robotics?” начиная с узла Prosper Robotics, двигаясь к его создателям и затем извлекая недавние статьи о них.

Эта адаптируемость делает ее подходящей для широкого спектра приложений LLM, так как она может обрабатывать различные типы данных и отношения между сущностями. Структура графа обеспечивает ясное визуальное представление знаний, что облегчает понимание и работу как разработчиков, так и пользователей.

Заключение

Исследователи все больше исследуют синергию между LLM и KG, используя три основных подхода: улучшенные KG LLM, дополненные LLM KG и синергичные LLM + KG. Эти подходы направлены на использование преимуществ обеих технологий для решения различных задач, связанных с языком и знаниями.

Интеграция LLM и KG предлагает многообещающие возможности для таких приложений, как многопереходные вопросы-ответы, совмещение текстовых и структурированных данных, а также повышение прозрачности и интерпретируемости. С развитием технологий эта совместная работа между LLM и KG имеет потенциал для стимулирования инноваций в областях, таких как поисковые системы, системы рекомендаций и AI-помощники, в конечном итоге принося пользу пользователям и разработчикам.