Это исследование искусственного интеллекта представляет всеобъемлющий обзор больших языковых моделей (LLM) на графах.

Исследование искусственного интеллекта всеобъемлющий обзор больших языковых моделей (LLM) на графах

Известные большие языковые модели (LLM) такие, как GPT, BERT, PaLM и LLaMA, принесли большие прогрессивные изменения в естественной обработке языка (Natural Language Processing, NLP) и генерации естественного языка (Natural Language Generation, NLG). Эти модели были предварительно обучены на больших корпусах текстов и показали невероятные результаты во множестве задач, включая ответы на вопросы, генерацию контента, резюме текста и т.д.

Хотя LLM показали способность работать со структурированным текстом, в котором текстовые данные связаны с графовой информацией, стало все более необходимо. Исследователи изучали, как LLM с их хорошим текстовым рассуждением могут быть применены к основным задачам графового рассуждения, включая сопоставление подграфов, кратчайшие пути и вывод соединений. Три типа графовых приложений, а именно чистые графы, графы с текстом и спаренные графы с текстом, были связаны с интеграцией LLM. Техники включают использование LLM в качестве предсказателей задач, кодировщиков признаков для графовых нейронных сетей (Graph Neural Networks, GNN) или согласователей с GNN, в зависимости от их функции и взаимодействия с GNN.

LLM становятся все более популярными для графовых приложений, хотя очень мало исследований рассматривают, как LLM и графы взаимодействуют. В недавнем исследовании команда исследователей предложила методический обзор ситуаций и методов, связанных с интеграцией больших языковых моделей с графами. Цель – классифицировать возможные ситуации по трем основным категориям: графы с текстом, спаренные графы с текстом и чистые графы. Команда поделилась конкретными методами использования LLM на графах, такими как использование LLM в качестве согласователей, кодировщиков или предсказателей. У каждой стратегии есть свои плюсы и минусы, и целью выпущенного исследования является сравнение этих различных подходов.

• Исследователи из Стэнфордского университета представляют новый фреймворк искусственного интеллекта, направленный на улучшение интерпретируемости и генеративных возможностей текущих моделей для различных визуальных концепций.
• Нью-Йорк планирует инвестировать 1 миллиард долларов в расширение исследований по чипам
• Исследователи ByteDance представляют «ImageDream» инновационную модель для генерации трехмерных объектов с использованием изображений и многопросмотрового рассеяния

Команда подчеркивает практические применения этих методов, демонстрируя преимущества использования LLM в графовых задачах. Команда предоставила информацию о наборах данных для оценки и открытом исходном коде, чтобы помочь в применении и оценке этих методов. Результаты подчеркнули необходимость дальнейших исследований и креативности, выделив возможные темы для дальнейшего изучения в этой быстроразвивающейся области.

Команда суммирует свои основные вклады следующим образом.

1. Команда внесла вклад в методическую классификацию ситуаций, в которых языковые модели используются в графах. Эти сценарии организованы в три категории: графы с текстом, спаренные графы с текстом и чистые графы. Такая таксономия предоставляет рамки для понимания различных настроек.

1. Языковые модели были тщательно проанализированы с использованием графовых подходов. В рамках оценки были подведены итоги представительных моделей для различных графических контекстов, делая этот анализ самым подробным.

1. Собраны большие объемы материалов, относящихся к моделям на языке графов, включая приложения в реальном мире, открытые кодовые базы и наборы данных для оценки.

1. Предложено шесть возможных направлений для дальнейших исследований в области моделей на языке графов, раскрывающих основные идеи.