Как заставить большие языковые модели взаимодействовать корректно с вашим программным обеспечением с помощью LangChain

Как грамотно интегрировать большие языковые модели в ваше программное обеспечение с помощью LangChain

 

Крупные языковые модели (LLM), такие как GPT-3 от OpenAI, BERT от Google и LLaMA от Meta, революционизируют различные отрасли своей способностью генерировать широкий спектр текстовых материалов?—?от рекламных текстов и скриптов для науки о данных до поэзии.

Несмотря на то, что интуитивный интерфейс ChatGPT сегодня смог завоевать практически все устройства, всё ещё остается огромный потенциал для применения LLM в различных интеграциях программного обеспечения.

Основная проблема?

• ЕВРИКА Проектирование вознаграждений на уровне человека с помощью создания больших языковых моделей
• Открытый день разработчиков OpenAI 2023 Четыре крупных анонса из ключевого доклада основателя Сэма Альтмана, которые вам стоит не пропустить!
• «Эта статья ИИ предлагает метод FACTORCL новый способ многомодального обучения представлений, преодолевающий проблему множественной избыточности просмотра»

Большинство приложений требует более гибкого и естественного взаимодействия с LLM.

И именно здесь появляется LangChain!

Если вас интересует генеративный искусственный интеллект и LLM, то этот учебник именно для вас.

Итак… начнём!

 

Что такое LLM?

 

На всякий случай, если вы проводите время в пещере и не получаете последние новости, я вкратце объясню, что такое крупные языковые модели или LLM.

LLM – это сложная система искусственного интеллекта, созданная для имитации текстового понимания и генерации, схожего с человеческим. Изучая огромные наборы данных, эти модели обнаруживают сложные узоры, улавливают лингвистические тонкости и создают связный выходной текст. 

Если вы задаетесь вопросом, как взаимодействовать с этими моделями на основе искусственного интеллекта, существуют два основных способа.

1. Наиболее распространенный и прямой способ – разговор или чат с моделью. Включает создание запроса, отправку его модели на основе искусственного интеллекта и получение текстового ответа. 
2. Другой метод – преобразование текста в числовые массивы. Этот процесс включает создание запроса для искусственного интеллекта и получение взамен числового массива. Обычно это называется “встраиванием”. В последнее время это стало очень популярно в векторных базах данных и семантическом поиске. 

И именно эти две основные проблемы представляют собой сферу внимания LangChain. Если вас интересуют основные проблемы взаимодействия с LLM, вы можете проверить эту статью.

 

LangChain и его основы

 

LangChain – это фреймворк с открытым исходным кодом, построенный вокруг LLM. Он предлагает набор инструментов, компонентов и интерфейсов, которые упрощают архитектуру приложений на основе LLM.

С помощью LangChain взаимодействие с языковыми моделями, связывание различных компонентов и интеграция ресурсов, таких как API и базы данных, становятся проще. Этот интуитивный фреймворк существенно упрощает процесс разработки LLM-приложений. 

Основная идея LangChain заключается в том, что мы можем объединять различные компоненты или модули, так называемые цепочки, для создания более сложных решений на основе LLM. 

Вот несколько выдающихся особенностей LangChain:

1. Настроенные шаблоны запросов для стандартизации нашего взаимодействия. 
2. Компоненты цепочек, настроенные для сложных случаев использования.
3. Безпроблемная интеграция с ведущими языковыми моделями, включая GPT от OpenAI и модели на HuggingFace Hub.
4. Модульные компоненты для полифорного подхода к решению любой конкретной задачи или проблемы.  

  

LangChain отличается своей адаптируемостью и модульным дизайном. 

Основная идея, лежащая в основе LangChain, заключается в разбиении последовательности обработки естественного языка на отдельные части, позволяющие разработчикам настраивать рабочие процессы в соответствии с их требованиями. 

Такая гибкость позволяет LangChain стать первым выбором для создания ИИ-решений в различных ситуациях и отраслях. 

Некоторые из его наиболее важных компонентов:

 

 

1. LLM

 

LLM – это фундаментальный компонент, использующий огромные объемы тренировочных данных для понимания и создания текста, схожего с текстами, созданными человеком. Они являются основой многих операций в рамках LangChain, обеспечивая необходимые возможности обработки языка для анализа, интерпретации и ответа на текстовую информацию.

Использование: Поддержка чат-ботов, генерация текста, имитирующего человеческую речь для различных приложений, помощь в поиске информации и выполнение других языковых задач

2. Шаблоны приглашений

Приглашения являются фундаментальным элементом взаимодействия с LLM, и при работе над конкретными задачами их структура обычно подобна. Предустановленные шаблоны приглашений, которые могут использоваться в цепочках, позволяют стандартизировать “приглашения”, добавляя конкретные значения. Это улучшает адаптивность и настраиваемость LLM.

Использование: Стандартизация процесса взаимодействия с LLM.

3. Парсеры вывода

Парсеры вывода – это компоненты, которые берут необработанный вывод из предыдущего этапа цепочки и преобразуют его в структурированный формат. Эти структурированные данные могут быть использованы более эффективно на последующих этапах или переданы в качестве ответа конечному пользователю.

Использование: Например, в чат-боте парсер вывода может взять необработанный текстовый ответ из языковой модели, извлечь ключевую информацию и форматировать ее в структурированный ответ.

4. Компоненты и цепи

В LangChain каждый компонент действует как модуль, отвечающий за определенную задачу в последовательности языковой обработки. Эти компоненты могут быть подключены для создания цепей для настраиваемых рабочих процессов.

Использование: Создание цепей определения настроения и генерации ответов в конкретном чат-боте.

5. Память

Память в LangChain относится к компоненту, предоставляющему механизм хранения и извлечения информации в рабочем процессе. Этот компонент позволяет временное или постоянное хранение данных, к которым могут обращаться и изменять их другие компоненты во время взаимодействия с LLM.

Использование: Это полезно в ситуациях, когда данные должны сохраняться на протяжении различных этапов обработки, например, хранение истории разговора в чат-боте для предоставления ответов, учитывающих контекст.

6. Агенты

Агенты – автономные компоненты, способные предпринимать действия на основе обрабатываемых ими данных. Они могут взаимодействовать с другими компонентами, внешними системами или пользователями, чтобы выполнять конкретные задачи в рабочем процессе LangChain.

Использование: Например, агент может обрабатывать взаимодействия с пользователем, обрабатывать входящие запросы и координировать поток данных через цепочку для генерации соответствующих ответов.

7. Индексы и восстановители

Индексы и восстановители играют важную роль в эффективном управлении и доступе к данным. Индексы – это структуры данных, содержащие информацию и метаданные из данных обучения модели. С другой стороны, восстановители – это механизмы, которые взаимодействуют с этими индексами для извлечения соответствующих данных на основе заданных критериев и позволяют модели лучше отвечать, предоставляя соответствующий контекст.

Использование: Они играют важную роль в быстром извлечении соответствующих данных или документов из большого набора данных, что необходимо для задач, таких как информационный поиск или вопросно-ответные системы.

8. Преобразователи документов

В LangChain преобразователи документов являются специализированными компонентами, разработанными для обработки и преобразования документов таким образом, чтобы они были пригодны для дальнейшего анализа или обработки. Эти преобразования могут включать такие задачи, как нормализация текста, извлечение характеристик или преобразование текста в другой формат.

Использование: Подготовка текстовых данных для последующих этапов обработки, таких как анализ с использованием моделей машинного обучения или индексирование для эффективного извлечения.

9. Модели векторного представления

Они используются для преобразования текстовых данных в числовые векторы в высокоразмерном пространстве. Эти модели захватывают семантические отношения между словами и фразами, обеспечивая машинно-читаемое представление. Они являются основой для различных задач обработки естественного языка (NLP) в экосистеме LangChain.

Использование: Облегчение семантических поисков, сравнений схожести и других задач машинного обучения путем предоставления числового представления текста.

10. Хранилища векторов

Тип базы данных, специализирующийся на хранении и поиске информации с использованием векторных представлений, анализируя числовые представления данных, похожие на текст. VectorStore служит местом хранения этих векторов.

Использование: Обеспечение эффективного поиска на основе семантической схожести.

 

Настройка и первые примеры

 

Установка с использованием PIP

 

Первое, что нам нужно сделать, это убедиться, что у нас установлен LangChain в нашей среде.

pip install langchain

 

 

Настройка окружения

 

Использование LangChain обычно означает интеграцию с различными провайдерами моделей, хранилищами данных, API и другими компонентами. И, как вы уже знаете, как и любая интеграция, подача соответствующих и правильных ключей API является решающей для работы LangChain.

Представьте, что мы хотим использовать наше OpenAI API. Мы можем легко сделать это двумя способами:

1. Установка ключа в качестве переменной среды

OPENAI_API_KEY="..."

 

или 

import osos.environ['OPENAI_API_KEY'] = “...”

 

Если вы решите не устанавливать переменную среды, у вас есть возможность предоставить ключ непосредственно через именованный параметр openai_api_key при инициализации класса OpenAI LLM:

1. Непосредственно установите ключ в соответствующем классе.

from langchain.llms import OpenAIllm = OpenAI(openai_api_key="...")

 

LangChain в действии

 

Переключение между LLM становится простым

 

LangChain предоставляет класс LLM, который позволяет нам взаимодействовать с разными провайдерами языковых моделей, такими как OpenAI и Hugging Face.

Очень легко начать работу с любой LLM, так как самая основная и самая простая в реализации функциональность любой LLM заключается в генерации текста.

Однако, задать один и тот же запрос различным LLM одновременно не так просто.

Вот где на помощь приходит LangChain…

Вернемся к самой простой функциональности любой LLM, мы легко можем создать приложение с помощью LangChain, которое принимает строковый запрос и возвращает результат нашего выбранного LLM..Код автора

Мы можем использовать тот же запрос и получить ответы двух разных моделей с помощью нескольких строк кода!

Код автора

Впечатляюще, верно?

 

Структурирование наших запросов с использованием шаблонов запросов

 

Общая проблема с моделями языка (LLM) заключается в их неспособности справиться с сложными приложениями. LangChain решает эту проблему, предлагая решение для упрощения процесса создания запросов, который часто является более сложным, чем просто определение задачи, так как требуется описание личности и подтверждение фактической точности ИИ. Существенная часть этого включает повторяющийся шаблонный текст. LangChain снимает эту проблему, предлагая шаблоны запросов, которые автоматически включают шаблонный текст в новые запросы, тем самым упрощая создание запросов и обеспечивая единообразие в различных задачах.

Код автора

 

Получение структурированных ответов с помощью парсеров вывода

 

В чат-базовых взаимодействиях вывод модели представляет собой просто текст. Однако в программных приложениях наличие структурированного вывода предпочтительно, поскольку это позволяет производить дальнейшие действия программирования. Например, при создании набора данных желательно получить ответ в определенном формате, таком как CSV или JSON. Предполагая, что запрос может быть создан таким образом, чтобы получить согласованный и подходяще отформатированный ответ от ИИ, требуются инструменты для управления этим выводом. LangChain учитывает эту необходимость, предлагая инструменты для парсинга вывода для эффективного использования структурированного вывода.

Код автора

Вы можете просмотреть весь код на моей странице GitHub.

 

Заключение

 

Недавно мы были поражены передовыми возможностями ChatGPT. Однако технологическая среда постоянно меняется, и теперь инструменты, такие как LangChain, находятся у нас под рукой, позволяя создавать выдающиеся прототипы прямо на наших персональных компьютерах всего за несколько часов.

LangChain – это свободно доступная платформа на языке Python, предоставляющая пользователям возможность разрабатывать приложения на основе LLM (Language Model Models). Эта платформа обеспечивает гибкий интерфейс для различных базовых моделей, оптимизируя обработку подсказок и действуя как связующее звено для элементов, таких как шаблоны подсказок, дополнительные LLM, внешняя информация и другие ресурсы через агентов, согласно текущей документации.

Представьте себе чат-ботов, цифровых помощников, инструменты для перевода языка и утилиты для анализа тональности текста; все эти приложения с поддержкой LLM оживают с помощью LangChain. Разработчики используют эту платформу для создания индивидуально настроенных решений языковых моделей, удовлетворяющих конкретным требованиям.

С расширением горизонта обработки естественного языка и углублением его применения область его применения кажется безграничной.  

[Josep Ferrer](https://www.linkedin.com/in/josep-ferrer-sanchez) – это инженер-аналитик из Барселоны. Он окончил обучение по физической инженерии и в настоящее время работает в области науки о данных, применяемой к человеческой подвижности. Он является создателем контента, уделяющим половину рабочего времени аспектам науки о данных и технологии. Вы можете связаться с ним на LinkedIn, Twitter или VoAGI.