Можно ли обучить Llama 2-приводный чатбот на центральном процессоре?

Можно ли обучить Llama 2-приводный чатбот на центральном процессоре?' (Can a Llama 2WD chatbot be trained on a central processor?)

Создание локального чатбота с помощью Llama2, LangChain и Streamlit на CPU

Фото от Adi Goldstein на Unsplash

Введение

Появление локальных моделей было приветствовано бизнесом, стремящимся создать свои собственные приложения LLM. Они позволяют разработчикам создавать решения, которые могут работать автономно и соответствовать требованиям конфиденциальности и безопасности.

Исходно такие LLM были громоздкими и в основном предназначались для крупных предприятий, которые могут позволить себе оборудование с графическими процессорами и обучать модели на больших объемах данных.

Однако теперь доступны локальные LLM много меньшего размера, что порождает вопрос: возможно ли для обычных пользователей с базовыми CPU использование этих же инструментов и технологий?

Это вопрос, который стоит рассмотреть, так как пользователи могут получить множество преимуществ, создавая собственных персональных локальных чатботов, работающих без подключения к интернету.

Здесь мы исследуем эту возможность, создавая закрытого чатбота с использованием Llama2 от Meta на компьютере с CPU и оценим его производительность как надежного инструмента для отдельных лиц.

Исследование

Чтобы проверить возможность создания локального чатбота, который может работать без подключения к интернету на персональном компьютере, проведем исследование.

Целью является создание чатбота с использованием квантованной версии Llama2 от Meta (7 миллиардов параметров). Модель будет использоваться для построения приложения LangChain, которое облегчит генерацию ответов и будет доступно с графическим интерфейсом, позволяющим взаимодействовать с приложением.

Схема чатбота (Создано автором)

Для обучения чатбота будут использоваться два PDF-документа (оба доступны через arXiv API):

  1. Комплексный обзор компьютерного зрения в спорте: открытые вопросы, будущие тренды и направления исследования
  2. Обзор глубокого обучения в спортивных приложениях: восприятие, понимание и принятие решений

Для контекста, этот чатбот будет обучаться на компьютере со следующими характеристиками:

  • Операционная система: Windows 10