«Усиление LLM с RAG»

«Воплотите силу LLM с RAG»

Картинка с Unsplash

Я написал довольно много блогов на VoAGI на разные технические темы, и больше всего на размещение моделей машинного обучения (ML) в Amazon SageMaker. В последнее время я также проявил интерес к развивающейся экосистеме генеративного искусственного интеллекта/крупных моделей языка (как и все остальные в индустрии, haha).

Эти две разные сферы привели меня к интересному вопросу. Насколько хороши мои статьи VoAGI в обучении Amazon SageMaker? Чтобы ответить на этот вопрос, я решил реализовать решение на основе генеративного искусственного интеллекта, которое использует Retrieval Augmented Generation (RAG) с доступом к некоторым из моих статей, чтобы узнать, насколько хорошо оно может отвечать на некоторые вопросы, связанные с SageMaker.

В этой статье мы рассмотрим создание решения генеративного искусственного интеллекта на конечных этапах и использование нескольких популярных инструментов для оперативной работы с этим рабочим процессом:

  • LangChain: LangChain – это популярный фреймворк Python, который помогает упростить применение генеративного искусственного интеллекта, предоставляя готовые модули, которые помогают с инженерией подсказок, реализацией RAG и оркестровкой рабочего процесса LLM.
  • OpenAI: LangChain позаботится об оркестровке нашего приложения генеративного искусственного интеллекта, но модель – это всё ещё главный компонент. В данном случае мы используем предоставленную OpenAI модель LLM, но LangChain также интегрируется с различными источниками моделей, такими как SageMaker Endpoints, Cohere и т.д.

ПРИМЕЧАНИЕ: В этой статье предполагается, что у вас есть промежуточное понимание Python и базовое понимание LangChain в частности. Я рекомендую прочитать эту статью для лучшего понимания LangChain и создания генеративных приложений искусственного интеллекта.

ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ: Я являюсь архитектором машинного обучения в AWS, и мои мнения являются личными.

Обзор проблемы

Крупные языковые модели (Large Language Models, LLM) по себе являются невероятно мощными и часто могут отвечать на многие вопросы без помощи доводки или дополнительных знаний/контекста.

Однако это может стать узким местом, когда вам нужен доступ к другим конкретным источникам данных, особенно недавним данным. Например, хотя OpenAI была обучена на большом корпусе данных, она не обладает знаниями о моих недавних…