Роль графов знаний предприятия в LLM

Важность графов знаний в контексте LLM на предприятии

Введение

Большие языковые модели (LLMs) и генеративный искусственный интеллект представляют собой прорыв в области искусственного интеллекта и обработки естественного языка. Они способны понимать и генерировать человеческий язык, создавать контент в виде текста, изображений, аудио и синтетических данных, что делает их очень гибкими в различных приложениях. Генеративный искусственный интеллект имеет огромное значение в реальных приложениях благодаря автоматизации и улучшению создания контента, персонализации пользовательских впечатлений, оптимизации рабочих процессов и развитию творческого потенциала. В этой статье мы сосредоточимся на том, как предприятия могут интегрироваться с открытыми LLMs, эффективно базируясь на промптах с использованием знаниевых графов предприятия.

Цели обучения

Получить знания о базировании и создании промптов при взаимодействии с LLMs/системами Gen-AI.
Понимание значимости базирования для предприятий, внедрение открытых систем Gen-AI с примером.
Анализировать два основных решения для базирования – знаниевые графы и векторные хранилища на различных аспектах и понимание, которое подходит в каких случаях.
Изучить пример корпоративного проектирования базирования и создания промптов, используя знаниевые графы, моделирование данных обучения и графическое моделирование на JAVA для сценария персонализированных рекомендаций клиентам.

Эта статья была опубликована в рамках Data Science Blogathon.

Что такое большие языковые модели?

Большая языковая модель – это продвинутая модель искусственного интеллекта, обученная с использованием техник глубокого обучения на огромных объемах текста|неструктурированных данных. Эти модели способны взаимодействовать с человеческим языком, генерировать текст, изображения и аудио, а также выполнять различные задачи обработки естественного языка.

В отличие от этого, определение языковой модели связано с присвоением вероятностей последовательностям слов на основе анализа текстовых корпусов. Языковая модель может варьироваться от простых n-граммных моделей до более сложных моделей нейронных сетей. Однако термин “большая языковая модель” обычно относится к моделям, которые используют техники глубокого обучения и имеют большое количество параметров, которое может составлять от миллионов до миллиардов. Эти модели могут улавливать сложные языковые структуры и производить текст, часто неотличимый от того, который написан людьми.

Что такое промпт?

Промпт для любой LLM или аналогичной системы искусственного интеллекта в виде чат-бота – это текстовый ввод или сообщение, которое вы предоставляете для инициирования разговора или взаимодействия с ИИ. LLMs гибкие, обучены на широком спектре данных и могут использоваться для различных задач, поэтому контекст, сфера, качество и ясность вашего промпта значительно влияют на ответы, получаемые от систем LLM.

Что такое базирование/RAG?

Базирование, также известное как Retrieval-Augmented Generation (RAG), в контексте обработки языка LLM, относится к обогащению промпта контекстом, дополнительной метаданными и областью, которую мы предоставляем LLM для улучшения и получения более точных ответов. Это взаимодействие помогает ИИ-системам понимать и интерпретировать данные с учетом необходимой области и контекста. Исследования LLM показывают, что качество ответа зависит от качества промпта.

Это фундаментальная концепция в области искусственного интеллекта, поскольку она преодолевает разрыв между необработанными данными и способностью ИИ обрабатывать и интерпретировать эти данные согласно человеческому пониманию и заданному контексту. Она повышает качество и надежность ИИ-систем и их способность предоставлять точную и полезную информацию или отклики.

Какие недостатки у LLMs?

Большие языковые модели (LLMs), такие как GPT-3, получили значительное внимание и применение в различных приложениях, но они также имеют несколько недостатков. Некоторые из основных недостатков LLMs включают:

1. Предвзятость и справедливость: LLMs часто наследуют предвзятость от обучающих данных. Это может привести к генерации предвзятого или дискриминационного контента, который может поддерживать вредные стереотипы и сохранять существующую предубежденность.

2. Галлюцинации: LLM не понимают истинного содержимого, которое они генерируют; они создают текст на основе паттернов в тренировочных данных. Это означает, что они могут производить фактически некорректную или бессмысленную информацию, что делает их непригодными для критических приложений, таких как медицинская диагностика или правовые консультации.

3. Вычислительные ресурсы: Обучение и запуск LLM требуют огромных вычислительных ресурсов, включая специализированное оборудование, такое как GPU и TPU. Это делает их дорогостоящими для разработки и поддержки.

4. Конфиденциальность и безопасность данных: LLM могут генерировать убедительный фальшивый контент, включая текст, изображения и аудио. Это представляет риск для конфиденциальности и безопасности данных, поскольку их можно использовать для создания мошеннического контента или подделки личности.

5. Этические вопросы: Использование LLM в различных приложениях, таких как “глубокие фейки” или автоматическое создание контента, возникают этические вопросы о их потенциале для злоупотребления и влиянии на общество.

6. Регулятивные вызовы: Быстрое развитие технологии LLM опережает регулятивные рамки, что затрудняет установление соответствующих руководящих принципов и правил для учета потенциальных рисков и вызовов, связанных с LLM.

Важно отметить, что многие из этих недостатков не являются присущими LLM, а отражают их разработку, внедрение и использование. Прилагаются усилия для смягчения этих недостатков и сделки LLM более ответственными и полезными для общества. В этом случае управление и замаскировка могут быть использованы и приносить огромные преимущества предприятиям.

Важность управления для предприятий

Предприятия стремятся внедрить Большие Языковые Модели (LLM) в свои миссионерские приложения. Они понимают потенциальную ценность, которую LLM могут приносить в различных областях. Создание LLM, предварительное обучение и донастройка их являются довольно дорогостоящими и хлопотными для них. Вместо этого, они могли бы использовать открытые системы AI, доступные на рынке, с помощью управления и замаскировки запросов в контексте корпоративных случаев использования.

Таким образом, управление является ведущим фактором для предприятий и более значимым и полезным для них как в повышении качества ответов, так и в преодолении проблем с галлюцинациями, конфиденциальностью данных и соблюдением правил. Оно может создать замечательную бизнес-ценность из открытых LLM, доступных на рынке для множества сценариев, которые им сейчас представляют сложность автоматизации.

Преимущества для предприятий

Внедрение управления с LLM может принести предприятиям несколько преимуществ:

1. Повышенная достоверность: Обеспечивая, что информация и контент, генерируемые LLM, основаны на проверенных источниках данных, предприятия могут повысить достоверность своих коммуникаций, отчетов и контента. Это может помочь создать доверие среди клиентов, партнеров и заинтересованных сторон.

2. Улучшение принятия решений: В корпоративных приложениях, особенно в области анализа данных и поддержки принятия решений, использование LLM с учетом данных обеспечивает более надежные понимания. Это может привести к основанным на фактах принятию решений, что критично для стратегического планирования и развития бизнеса.

3. Соблюдение нормативных требований: Многие отрасли подвержены нормативным требованиям к точности и соблюдению данных. Управление данных с LLM может помочь соответствовать этим стандартам соблюдения, снизив риск юридических или регуляторных проблем.

4. Создание качественного контента: LLM часто используются для создания контента, такого как маркетинг, поддержка клиентов и описания продуктов. Управление данных гарантирует, что сгенерированный контент будет фактически точным, снижая риск распространения ложной или вводящей в заблуждение информации или галлюцинаций.

5. Снижение дезинформации: В период фейковых новостей и дезинформации, управление данных может помочь предприятиям бороться с распространением ложной информации, обеспечивая, что создаваемый или распространяемый контент основан на проверенных источниках данных.

6. Удовлетворение клиентов: Предоставление клиентам точной и надежной информации может повысить их удовлетворенность и доверие к продуктам или услугам предприятия.

7. Смягчение рисков: Управление данных помогает снизить риск принятия решений на основе неточной или неполной информации, что может привести к финансовым или репутационным проблемам.

Пример: Сценарий рекомендации товаров клиенту

Давайте посмотрим, как управление данными может помочь для предприятий с использованием открытой чат-модели от openAI

Основные подсказки

Составить короткое электронное письмо, добавить купоны на рекомендуемые товары для клиента

Ответ, созданный ChatGPT, очень общий, несвязанный с контекстом и сырой. Его необходимо вручную обновлять/сопоставлять с соответствующими данными клиента предприятия, что требует затрат. Давайте посмотрим, как это можно автоматизировать с помощью техник основания на данных.

Допустим, предприятие уже обладает данными клиента предприятия и интеллектуальной системой рекомендаций, которая может генерировать купоны и рекомендации для клиентов; мы можем прекрасно обосновать указанное выше предложение, обогатив его правильной метаданными, чтобы сгенерированный текст электронной почты от ChatGPT был точно таким, каким мы его хотим, и мог быть автоматически отправлен клиенту без ручного вмешательства.

Давайте предположим, что наша основа будет получать правильные обогащающие метаданные из данных клиента и обновлять предложение ниже. Давайте посмотрим, каким будет ответ ChatGPT для обоснованного предложения.

Обоснованное предложение

Сгенерируйте короткое письмо, добавив ниже купоны и продукты для клиента Тейлора и пожелайте ему счастливого праздничного сезона от команды Aatagona, Atagona.comЗимняя куртка для мужчин - [https://atagona.com/men/winter/jackets/123.html] - 20% скидкаМужская шапка Rodeo Beanie - [https://atagona.com/men/winter/beanies/1234.html] - 15% скидка

Ответ, сгенерированный на основе обоснованного предложения, точно соответствует тому, как предприятие хотело бы уведомить клиента. Обогащение данных клиента в письме от Gen AI – это автоматизация, которая могла бы замечательно масштабироваться и поддерживаться предприятиями.

Решения основания LLM для корпоративных программных систем

Есть несколько способов основывать данные в корпоративных системах, и комбинация этих техник может использоваться для эффективного основания данных и генерации предложений, специфических для конкретной задачи. Два основных варианта решений для реализации усиленной генерации с запросом на отыскание (основания) – это:

Приложение Data|Knowledge graph
Векторные вложения и семантический поиск

Использование этих решений будет зависеть от конкретной задачи и необходимого основания. Например, векторные хранилища предоставляют ответы, которые могут быть неточными и неясными, тогда как графы знаний могут предоставить точные, точные и хранящиеся в удобочитаемом формате данные.

Некоторые другие стратегии, которые могут быть использованы в дополнение к вышеперечисленным, могут включать:

Ссылки на внешние API, поисковики
Маскировка данных и системы соблюдения правил
Интеграция с внутренними хранилищами данных и системами
Реальное время сбора данных из нескольких источников

На этом блоге мы рассмотрим пример проектирования программного обеспечения, позволяющего достигать целей с помощью данных приложений корпоративных графов.

Корпоративные графы знаний

Граф знаний может представлять семантическую информацию о различных сущностях и связях между ними. В мире корпораций графы знаний хранят информацию о клиентах, продуктах и даже большем. Графы клиентов предприятий являются мощным инструментом для эффективного основания и создания обогащенных предложений. Графы знаний позволяют осуществлять поиск на основе графов, позволяя пользователям исследовать информацию через связанные понятия и сущности, что может привести к более точным и разнообразным результатам поиска.

Сравнение с векторными базами данных

Выбор решения основания будет зависеть от конкретной задачи. Однако графы имеют несколько преимуществ по сравнению с векторами, такие как:

Высокоуровневый дизайн

Давайте на высоком уровне рассмотрим, как может выглядеть система для предприятия, использующего графы знаний и открытые LLM для основания.

Базовый уровень – это место, где хранятся данные клиентов предприятия и метаданные в различных базах данных, хранилищах данных и data lake. Может быть служба, создающая графы знаний из этих данных и сохраняющая их в графовой базе данных. Могут существовать множество предприятий, предоставляющих услуги|микросервисы в распределенном облачном мире, которые взаимодействуют с этими хранилищами данных. Над этими службами могут быть различные приложения, которые используют базовую инфраструктуру.

Приложения могут иметь множество применений для внедрения ИИ в свои сценарии или интеллектуальные автоматизированные потоки работы с клиентами, что требует взаимодействия с внутренними и внешними системами ИИ. В случае с генеративными сценариями ИИ рассмотрим простой пример рабочего процесса, в котором предприятие хочет нацелиться на клиентов, предлагая по электронной почте несколько скидок на персонализированные рекомендуемые товары во время праздничного сезона. Они могут достичь этого путем автоматизации первого класса, более эффективно используя ИИ.

Рабочий процесс

Рабочий процесс, который хочет отправить электронную почту, может использовать открытые системы Gen-AI, отправляя привязанный запрос с контекстуализированными данными клиента.
Приложение рабочего процесса отправит запрос на свой удаленный сервис, чтобы получить текст электронной почты, используя системы GenAI.
Удаленный сервис направит это на сервис генератора запросов, который направит на основной движок.
Основной движок получит все метаданные клиента из одного из своих сервисов и получит граф знаний о данных клиента.
Основной движок будет проходить через граф, связывать узлы и соответствующие отношения, извлекать необходимую информацию и отправлять ее обратно в генератор запросов.
Генератор запросов добавит привязанные данные к заранее существующему шаблону для данного случая использования и отправит привязанный запрос в открытые системы ИИ, с которыми хочет интегрироваться предприятие (например, OpenAI/Cohere).
Открытые системы GenAI вернут предприятию намного более релевантный и контекстуализированный ответ, который будет отправлен клиенту по электронной почте.

Давайте разделим это на две части и подробно разберем:

1. Создание графа знаний о клиенте

Ниже приведенный дизайн подходит для приведенного примера, моделирование может выполняться разными способами в зависимости от требований.

Моделирование данных: Предположим, у нас есть различные таблицы, представленные как узлы в графе, и связи между таблицами как отношения между узлами. Для приведенного примера нам понадобятся:

таблица, которая содержит данные о клиентах,
таблица, которая содержит данные о товаре,
таблица, которая содержит данные о интересах клиентов (щелчки) для персонализированных рекомендаций,
таблица, которая содержит данные о скидках на товары.

На предприятии лежит ответственность иметь все эти данные захваченными из нескольких источников данных и регулярно обновлять их, чтобы эффективно донести информацию до клиентов.

Давайте посмотрим, как могут быть моделированы эти таблицы и как они могут быть преобразованы в граф знаний о клиенте.

2. Моделирование графа

Из приведенного выше графического представления мы видим, как узлы клиентов связаны с различными продуктами на основе данных о вовлечении кликов и далее – с узлами скидок. Графический сервис может легко запросить эти графы клиентов, обходить узлы через отношения и получать необходимую информацию о применимых скидках для соответствующих клиентов.

Образец POJO-классов графового узла и связи для этого могут выглядеть так

public class KnowledgeGraphNode implements Serializable { private final GraphNodeType graphNodeType; private final GraphNode nodeMetadata;}public interface GraphNode {}public class CustomerGraphNode implements GraphNode { private final String name; private final String customerId; private final String phone; private final String emailId;}public class ClicksGraphNode implements GraphNode { private final String customerId; private final int clicksCount;}public class ProductGraphNode implements GraphNode { private final String productId; private final String name; private final String category; private final String description; private final int price;}public class ProductDiscountNode implements GraphNode { private final String discountCouponId; private final int clicksCount; private final String category; private final int discountPercent; private final DateTime startDate; private final DateTime endDate;}

public class KnowledgeGraphRelationship implements Serializable { private final RelationshipCardinality Cardinality;}public enum RelationshipCardinality { ONE_TO_ONE, ONE_TO_MANY}

Пример независимого графика в данном сценарии может выглядеть следующим образом:

Прохождение через граф от узла клиента “Тейлор Уильямс” позволит нам найти правильные рекомендации товаров и доступные скидки.

3. Популярные граф-хранилища в отрасли

На рынке есть много графовых хранилищ, которые могут подойти для корпоративных архитектур. Neo4j, TigerGraph, Amazon Neptune и OrientDB широко принимаются в качестве графовых баз данных.

Мы представляем новую парадигму Графовых данных озер, которые позволяют выполнять запросы на графике к табличным данным (структурированные данные в озерах, хранилищах и домах озер). Это достигается с помощью новых решений, перечисленных ниже, без необходимости обработки или сохранения данных в графовых хранилищах, с использованием Zero-ETL.

PuppyGraph (Графовое озеро данных)
Timbr.ai

Соблюдение требований к безопасности и этические аспекты

Защита данных: Компании должны нести ответственность за хранение и использование данных клиентов, соблюдая требования GDPR и других политик защиты персональных данных. Хранимые данные должны быть регулируемыми и очищенными перед их обработкой и повторным использованием для получения информации или применения искусственного интеллекта.

Галлюцинации и согласование: Компании также могут добавить службы согласования, которые идентифицируют дезинформацию в данных, отслеживают путь запроса и делают корректировки, что может помочь повысить точность LLM. С использованием графов знаний, поскольку хранимые данные прозрачны и читаемы для человека, это относительно легко достижимо.

Ограничительные политики хранения: Для соблюдения требований к защите данных и предотвращения неправомерного использования данных клиентов при взаимодействии с открытыми системами LLM, очень важно иметь политику нулевого хранения, чтобы внешние системы, с которыми компании взаимодействуют, не сохраняли запрошенные данные для дальнейшей аналитики или бизнес-целей.

Заключение

В заключение, Большие языковые модели (LLM) представляют собой значительный прогресс в области искусственного интеллекта и обработки естественного языка. Они могут изменить различные отрасли и приложения, от понимания и генерации естественного языка до помощи в выполнении сложных задач. Однако успех и ответственное использование LLM требуют крепкого фундамента и прочной основы в различных ключевых областях.

Основные выводы

Компании могут получить огромные преимущества от эффективного основания и запуска при использовании LLM в различных сценариях.
Графы знаний и векторные хранилища являются популярными решениями основания, и выбор зависит от цели решения.
Графы знаний могут содержать более точную и надежную информацию по сравнению с векторными хранилищами, что дает преимущество для корпоративных случаев использования без необходимости добавления дополнительных слоев безопасности и соответствия.
Преобразуйте традиционное моделирование данных сущностями и отношениями в графы знаний с узлами и ребрами.
Интегрируйте графы знаний предприятия с различными источниками данных с существующими крупными хранилищами данных предприятий.
Графы знаний идеально подходят для аналитических запросов. Графовые озера данных позволяют выполнять запросы к табличным данным в хранилищах данных предприятий.

Часто задаваемые вопросы

Показанные в этой статье материалы не принадлежат Analytics Vidhya и используются по усмотрению автора.

AI,AI Systems,Applications,blogathon,Graph,graphs,Guide,Llm,vector