Графики, аналитика и генеративное ИИ Рассылка Год графов

Графики, аналитика и генеративное искусственное интеллекта Рассылка Год графов

Необходимо ли вступление об общей искусственной интеллектуальной (ИИ) генерации данных для информационного бюллетеня, основанного на Графовых структурах знаний, Графовых базах данных, Графовой аналитике и Графовом искусственном интеллекте (ИИ)? Обычно это необходимо, но влияние генеративной ИИ на элементы, включенные в этот выпуск, было огромным. Есть простое объяснение этому.

Прошел год с тех пор, как генеративная ИИ взорвала масс-медиа с выпуском ChatGPT. Несмотря на то, что техническая производительность и точность генеративной ИИ оставляют желать лучшего, а ее деловую надежность можно назвать рассеянной, нельзя отрицать, что генеративная ИИ привлекла внимание руководителей всего мира.

Менции о «генеративной ИИ» на заседаниях с акционерами за последнее время значительно выросли с момента появления ChatGPT, возросший с 28 в IV квартале 2022 года до 2081 в III квартале 2023 года — увеличение в 74 раза. Принимая во внимание, что большинство компаний находятся на ранней стадии использования ИИ, руководство чувствует давление для действий во время генеративной ИИ гонки.

Это означает, что генеративная ИИ вызывает огромный интерес. Предполагается, что принятие генеративной ИИ вырастет на 36% год к году к 2030 году, согласно аналитической компании Forrester, и только в США следующим годом генеративной ИИ воспользуются более 100 миллионов человек. Поэтому вендоры стремятся соответствующим образом расположить свою продукцию.

• Когда людям нужно отвечать на сложные вопросы о данных
• Google представляет свою последнюю модель искусственного интеллекта Gemini
• Top 10 проектов по машинному обучению Kaggle, чтобы стать специалистом по анализу данных в 2024 году

Если все сделать правильно, это может быть не просто маркетинговой тактикой. Графы и генеративная ИИ могут взаимодополняться и приводить к ответственным решениям предприятия с генеративной ИИ, обогащенной знаниями.

RAG – это сокращение от Retrieval Augmented Generation. Это техника, при которой большие языковые модели, такие как ChatGPT, могут быть настроены на использование конкретных знаний для контекстуализации их обработки. Это предоставляет возможность использования разговорного интерфейса для собственных данных, что делает применение больших языковых моделей возможным для бизнес-сценариев, требующих этого.

RAG – главная причина, почему за последний год возрос интерес к графовым базам данных. Как и все модели машинного обучения, большие модели языка работают с векторами. Поэтому наличие графовой базы данных для хранения информации и передачи ее в большие модели языка кажется разумным выбором для RAG. Однако это не единственный выбор. Действительно, как отмечают такие люди, как Дамиэн Бенвенист, графовые базы данных могут быть более хорошим выбором для RAG.

Используя графы, можно выделить отношения между различными сущностями в тексте и использовать их для построения базы знаний, содержащейся в тексте. Большая языковая модель хорошо справляется с извлечением такой тройной информации: [ENTITY A] -> [RELATIONSHIP] -> [ENTITY B]

После разбора информация может быть сохранена в графовой базе данных. Сохраненная информация представляет собой базу знаний, а не исходный текст. Для извлечения информации большая языковая модель должна подобрать запрос сущности, связанный с вопросом, для получения связанных сущностей и отношений. Полученная информация более лаконична и содержательна по сравнению с векторными базами данных.

RAG – это альтернатива тонкой настройке больших языковых моделей, которая кажется менее требовательной и более непосредственно применимой. Более того, это может быть предложено вендорами, основные компетенции которых – управление данными.

Так как они уже присутствуют в организациях, вендоры по управлению данными могут выполнить основную работу по интеграции с большими языковыми моделями. Это выгодно для всех: руководители могут отметить галочку рядом с генеративной ИИ, а вендоры могут расширить свои предложения, заручившись поддержкой и держа клиентов довольными.

Вот почему мы видим, что вендоры графовых баз данных добавляют возможности векторной обработки в свои продукты. Neo4j был первым, кто включил возможности векторной обработки в свои продукты в августе 2023 года. Идея состоит в том, чтобы объединить лучшее из двух миров в рамках новой дорожной карты, которую недавно назначенный главный продуктовый офицер Neo4j Судхир Хасбе объявил в июле 2023 года.

Neo4j и Amazon Neptune кажутся двумя похожими продуктами. Другое, что оба поставщика представили в последние несколько месяцев – новые аналитические движки, использующие параллелизм для ускорения обработки в сценариях аналитики графов, которые ранее не были обслужены.

Как поделился Hasbe, в новом аналитическом движке Neo4j типичными примерами являются аналитические запросы, которые проходят через большую часть данных графа. Параллельное время выполнения специально разработано для решения этих аналитических запросов.

Новый аналитический двигатель Neptune нацелен на три сценария использования. Первый – временная аналитика. В таких рабочих процессах клиентам просто нужно быстро запустить граф, выполнить анализ и отключить его.

Второй – запросы анализа с низкой задержкой. Это включает в себя установленные конвейеры машинного обучения с таблицами признаков для выполнения предсказаний в реальном времени. Третий сценарий использования – создание приложений GenAI. Возможность выполнения поиска по векторному сходству при сохранении вложений в аналитике Neptune означает, что намного проще перевести вопросы на естественном языке в запросы графика.

Для работы их новых аналитических движков оба коллектива, кажется, позаимствовали приемы высокопроизводительных вычислений (HPC). Реализация Neo4j была напрямую вдохновлена научной статьей «Morsel-Driven Parallelism: A NUMA-Aware Query Evaluation Framework for the Many-Core Age».

Хотя у нас нет конкретных указателей на реализацию Amazon Neptune, генеральный директор Amazon Neptune Брэд Биби подтвердил некоторые сходства. Обе команды видят широкий набор клиентов графов и сценарии использования графов.

Обе команды имеют участников, которые хорошо знакомы с литературой и методиками, происходящими от (HPC) обработки графиков большого масштаба. Параллельная обработка и оптимизация памяти – это то, что хорошо понимается в сообществе HPC.

Несмотря на то что Neo4j и Amazon устояли себя на рынке графовых баз данных, в этой области происходит много действий помимо этих двух. Большинство поставщиков работают над позиционированием себя в области генеративного искусственного интеллекта и/или добавлением разговорных интерфейсов в свои продукты.

Но это не означает, что генеративный искусственный интеллект является единственной сферой деятельности — там есть и другие сценарии использования. Aerospike Graph – новый участник на рынке графовых баз данных, который стремится справиться с сложными задачами в масштабе.

Aerospike начал свою деятельность как хранилище ключ-значение. В конечном итоге, первоначальное предложение расширилось, включив модель документа (JSON) и SQL-интерфейс через Starburst. Следующим шагом стал график, причем, как сообщается, его внедрение было вызвано потребности клиентов.

Команда была создана для Aerospike Graph, включая основателя Apache TinkerPop Марко Родригеса и ключевых участников проекта. Они помогли Aerospike создать графический слой, который взаимодействует с основным двигателем таким образом, что масштабируется горизонтально в распределенной архитектуре.

Как совпадение, только несколько дней после официального представления Aerospike Graph другой поставщик баз данных с похожим профилем, который недавно вступил на рынок графовых баз данных, объявил о своем выходе.

В 2019 году Redis представил свою графическую базу данных, утверждая аналогичные причины: они хотели предложить производительность и масштабируемость. В 2023 году они закрыли RedisGraph, сказав:

“Множество аналитических отчетов предсказывали экспоненциальный рост графовых баз данных. Однако, исходя из нашего опыта, компании часто нужна помощь в разработке программного обеспечения на основе графовых баз данных. Это требует множества новых технических навыков, таких как моделирование графовых данных, составление запросов и оптимизация запросов. Как и любая технология, графовые базы данных имеют свои ограничения и недостатки.

Крутизна кривой обучения велика. Концепт-проверки могут занять гораздо больше времени, чем предполагалось, и успех может быть низким по сравнению с другими моделями баз данных. Для клиентов и их разработчиков это часто означает разочарование. Для поставщиков баз данных, таких как Redis, это означает, что общие инвестиции в продажи (а также постпродажный сервис) очень высоки по сравнению с другими моделями баз данных».

Определение цели и создание графиков знаний

Создание графов знаний, вероятно, является огромным и устрашающим проектом, как отмечает Майк Диллинджер. Но такое восприятие по большей части исходит от программных инженеров, которые считают, что граф знаний должен быть огромным.

Технические организации переполнены инженерными менеджерами, которые думают (или ожидают), что инженеры могут делать все. И едва ли есть несколько продуктовых менеджеров, которые достаточно знакомы с графами знаний, чтобы представить построение графов знаний таким образом, чтобы менеджеры и инженеры могли это понять и принять.

В результате организации не внедряют важные, но незнакомые технологии, такие как графы знаний. Вопреки широко распространенным предположениям, как дополняет Диллингер, создание и курирование графов знаний не является прежде всего ручным процессом, даже если требуется экспертная проверка качества. Он делится некоторыми из последних исследовательских работ по оказанию помощи в создании графов знаний.

Тема оказания помощи в создании графов знаний получила обновленное внимание в последние несколько месяцев, еще раз благодаря генеративному ИИ моменту. Есть веские причины для этого. LLM могут помочь в преобразовании любого текста в граф концепций, как показывает Рахул Наяк.

Одним из таких усилий, привлекших много внимания, является MechGPT, языковая модель, специально настроенная для построения графов знаний. MechGPT сначала разбивает тексты на небольшие фрагменты. Каждый фрагмент подается на общепринятую LLM, которая генерирует вопросно-ответные пары, кратко описывающие ключевые концепции.

• Бонусный трек 1: Yejin Choi в беседе с Биллом Гейтсом, кратко изложенным Джесусом Баррасой. Сочетание LLM (магический, но непрозрачный / субсимвольный) с графами знаний (явный / символический) – это путь вперед.
• Бонусный трек 2: Подача LLM с онтологией для извлечения графа знаний из структурированных документов Питером Лоуренсом.

Что такое онтология? Некоторым людям, знакомым с графами знаний, это может показаться тривиальным вопросом, но как показывает Курт Кагл, это не так. Кагл определяет онтологию как набор схем, которые в совокупности определяют форму данных, содержащихся в графе с определенным именем. Другие предпочитают другие определения.

Хольгер Кнублаух пишет, что в мире графов знаний онтология – это модель предметной области, определяющая классы и свойства. Классы – это типы сущностей (экземпляров) в графе, а свойства – это атрибуты и отношения между ними. Онтологии определяют структуру графов и позволяют инструментам лучше их понимать.

В любом случае, кажется, что есть сходство в использовании SHACL, языка ограничений, для моделирования онтологий. До появления SHACL проверка графов знаний в основном была осуществляется вручную или в зависимости от ограничений OWL (веб-языка онтологии). Ограничения OWL, однако, противоречивы.

Хольгер Кнублаух продолжил свой учебник SHACL с Частью 2 о ограничениях с квалифицированными кардинальностями. и Частью 3 о ограничениях на основе SPARQL. Радостин Нанов также написал руководство по SHACL в 3 частях: Узнайте, как SHACL может управлять неуправляемыми графами данных, применение SHACL к данным и обработка результатов и внутренности движка SHACL. И Иво Велитчков с Вероникой Хаймсбакк поддерживают Википедию по SHACL.

• Бонусный трек 1:Ландшафт стандартов онтологий. Этот отчет представляет собой кураторскую коллекцию онтологий, которые являются высокоактуальными для информационно-коммуникационных технологий и вертикальных секторов, учитывая их зрелость, значимость и пригодность для представления связанных данных в семантическом вебе. Онтологии также могут способствовать объяснимому искусственному интеллекту.
• Бонусные треки 2 и 3:Любое sparql-запросить и SPARQL Wiki.

DeepMind является одним из лидеров в области Графического искусственного интеллекта. За последние несколько месяцев DeepMind поделился большим количеством деталей о своем использовании Графического искусственного интеллекта в нескольких важных сферах применения.

В статье опубликованной в журнале Science, DeepMind представляет GraphCast, современную модель искусственного интеллекта, способную делать прогнозы погоды с высокой точностью в диапазоне VoAGI. GraphCast прогнозирует погодные условия с точностью до 10 дней вперед более точно и намного быстрее, чем стандартные системы симуляции погоды.

GraphCast – это система прогнозирования погоды, основанная на машинном обучении и графовых нейронных сетях (GNN), которые являются особенно полезной архитектурой для обработки пространственно структурированных данных. DeepMind опубликовал исходный код модели GraphCast, позволяя ученым и синоптикам по всему миру быть полезными для миллиардов людей в их повседневной жизни.

DeepMind GNoME – это система на основе GNN, которая открыла 2,2 миллиона новых кристаллических структур, включая около 380 тысяч стабильных структур. Новые функциональные материалы позволяют совершать фундаментальные прорывы в различных технологических приложениях от чистой энергии до обработки информации. Масштабные графические нейронные сети могут достигать небывалого уровня обобщения, улучшая эффективность открытия материалов в десятки раз.

• Бонусный трек:Комбинаторная оптимизация и рассуждение с помощью графовых нейронных сетей. Концептуальный обзор последних ключевых достижений в этой развивающейся области, предназначенный для исследователей в области оптимизации и машинного обучения от Petar Veličković и др., работающих в DeepMind.

Графовые данные являются неотъемлемой частью предприятия в различных отраслях промышленности и все больше требуются для задач машинного обучения. Графовые технологии доступны, но они еще не так широко используются, как реляционные базы данных. Тем не менее, недавно возрос интерес к практикам работы с графами, обусловленный применением искусственного интеллекта, так как использование графов и языковых моделей вместе продемонстрировало значительные преимущества.

Часто возникает забота, что графовые данные представлены на низком уровне, что делает запросы более сложными и затратными. Кроме визуализаций, доступны немногие механизмы для понимания графов знаний на разных уровнях детализации. То есть, как мы можем работать с графовыми данными в более абстрактных, агрегированных перспективах?

Хотя мы можем выполнять запросы к графовым данным для вычисления агрегированных значений, у нас нет программных средств для “уменьшения масштаба” и рассмотрения больших графов так, как мы уменьшаем масштаб при использовании онлайн-карт. Это оставляет приложения предприятий, которые, по определению, должны иметь дело с многомасштабной природой крупных систем, в явном недостатке для использования приложений искусственного интеллекта.

Paco Nathan представляет обзор существующих методов по уровню абстракции в графах, а также указывает направления для будущих исследований.

Исследования по графам и большим языковым моделям

“Завершая сбор коллекции исследований по различным аспектам сочетания графов с большими языковыми моделями. Пако Натан также перечисляет коллекцию исследовательских работ, совмещающих Graph ML с моделями языка здесь.

Исследователи IEEE представляют дорожную карту объединения больших языковых моделей и графов знаний. Их план включает три основных фреймворка: KG-усиленные LLM, LLM-расширенные KG и синергизированные LLM + KG. См. предыдущий номер YotG здесь.

Аналогично, исследователи из Гонконгского университета науки и технологии (Гуанчжоу), Китайского университета Гонконга и Университета Цинхуа представляют обзор графа в сочетании с большой языковой моделью. Они предлагают таксономию, которая классифицирует существующие методы на основе роли (т.е. усилителя, прогнозиста и компонента выравнивания), выполняемой ЯММ в задачах, связанных с графами.

Исследователи из ETH Zurich, Cledar и Варшавского университета технологии представляют Graph of Thoughts (GoT): фреймворк, который расширяет возможности подсказки в больших языковых моделях (ЯММ) за рамками таких парадигм, как Chain-of Thought или Tree of Thoughts (ToT). Тони Сил суммирует подход.

Михаил Галкин и др. представляют ULTRA, одну предварительно обученную модель для рассуждения в знании графа. ULTRA может обобщаться на новые KG со случайными словарями сущностей и отношений, что служит в качестве стандартного решения для любой задачи рассуждения в KG. Исследователи из Монаш и Гриффит презентуют RoG – рассуждение на графах, метод, который синергетически объединяет ЯММ и KG, чтобы обеспечить точное и интерпретируемое рассуждение.

Все большее число экспертов из различных отраслей, включая академию, компании баз данных и аналитические компании, такие как Gartner, указывают на знание графов как на средство повышения точности ответов ЯММ. Чтобы проверить эту гипотезу, исследователи data.world разработали новую бенчмарк, который изучает положительные эффекты, которые может оказать знание графа на точность ответов ЯММ в предприятии.

Бенчмарк сравнивал ответы, сгенерированные ЯММ, и ответы, подкрепленные знанием графа, при этом данные хранились в SQL-базе данных. Результаты указывают на значительное улучшение точности ответов при поддержке знания графа в каждой тестируемой категории.

A*Net – это масштабируемая, индуктивная и интерпретируемая графовая нейронная сеть на знаниях графов. Она может использоваться для придания большим языковым моделям более фактического содержания путем оснащения их инструментами рассуждения на знаниях графа. Она является открытым исходным кодом и интегрирована с ChatGPT.

Google Research представляет Talk Like a Graph: Кодирование графов для больших языковых моделей. Комплексное исследование кодирования графических структур данных в виде текста для использования ЯММ.

Юра Лесковац и др. представляют полноценный метод глубокого обучения прямым образом на данных, разделенных по нескольким таблицам, называемый Реляционное глубокое обучение. Основная идея состоит в том, чтобы рассматривать реляционные таблицы как гетерогенный граф, с узлом для каждой строки в каждой таблице и ребрами, указанными отношениями первичного-внешнего ключа.