ЛЛМ и ГНН Как улучшить рассуждения обоих искусственных интеллектов на графовых данных

ЛЛМ и ГНН Как усовершенствовать мышление обоих искусственных интеллектов на основе графовых данных

Графовые нейронные сети (GNN) и модели большого объема языка (LLM) возникли как две основные ветви искусственного интеллекта и достигли огромного успеха в обучении на графовой и языковой структуре данных соответственно.

Поскольку графовая и языковая структуры данных все больше становятся взаимосвязанными в реальных приложениях, возникает необходимость в системах искусственного интеллекта, способных выполнять мульти-модальное рассуждение.

В данной статье рассматриваются интегрированные графо-языковые архитектуры, объединяющие совместные преимущества графовых нейронных сетей (GNN) и моделей большого объема языка (LLM) для улучшенного анализа.

Реальные сценарии часто включают в себя взаимосвязанные данные с структурной и текстовой модальностями. Встает необходимость в интегрированных архитектурах, способных выполнять многоаспектное рассуждение, объединяя совместные преимущества GNN и LLM.

• Хорошие инженеры, плохие инженеры и злые инженеры – анекдот для руководителей данных
• Представляем диаграмму множества-связей визуализация сложных отношений наборов
• Оптимизация инвентаризации с применением динамического программирования в менее чем 100 строк кода на Python

Конкретно, в то время как GNN используют передачу сообщений по графам для агрегирования локальных шаблонов, эмбеддинги вершин ограничены в своей способности захватывать богатые характеристики.

В отличие от этого, LLM обладают исключительными возможностями семантического рассуждения, но затрудняются в реляционном рассуждении о структурированной топологии, которую отлично понимают GNN.

Фьюзинг двух парадигм позволяет проводить более контекстный информированный анализ.

Недавно получили популярность интегрированные графо-языковые архитектуры, объединяющие совместные преимущества кодировщиков GNN и декодеров LLM.

Как было суммировано в обзорной статье (Li et al. 2023), эти интегрированные подходы могут быть классифицированы на основе роли, которую играют LLM:

Опрос Graph Meets Large Language Model: прогресс и будущие направления

Графы играют важную роль в представлении и анализе сложных взаимоотношений в реальных приложениях, таких как…

synthical.com

LLM как Enhancer: LLM усиливают эмбеддинги вершин и текстовые характеристики для повышения производительности GNN на тексте-атрибутированных графах. Техники применяются либо на основе объяснений с использованием дополнительной информации, сгенерированной LLM, либо напрямую выдаются эмбеддинги.

LLM как Predictor: Использует генеративные возможности LLM для предсказания на графах. Стратегии либо преобразуют графы в последовательные текстовые описания, либо используют GNN для…