Для всех LLM Запуск LangChain и модели MistralAI 7B в Google Colab

Запуск LangChain и модели MistralAI 7B в Google Colab для всех LLM

Экспериментирование с большими языковыми моделями бесплатно

Художественное изображение LangChain, фото Ruan Richard Rodrigues, Unsplash

Каждый знает, что большие языковые модели по определению большие. И не так уж давно они были доступны только владельцам высококлассного оборудования или по крайней мере тем людям, которые платили за доступ к облачным ресурсам или даже каждому API-запросу. Теперь времена меняются. В этой статье я покажу, как запустить библиотеку LangChain Python, базу данных векторов FAISS и модель Mistral-7B в Google Colab полностью бесплатно, и мы проведем некоторые интересные эксперименты с ними.

Компоненты

Есть много статей на TDS об использовании больших языковых моделей на Python, но часто их не так просто воспроизвести. Например, многие примеры использования библиотеки LangChain используют класс OpenAI, первый параметр которого (как вы думаете?) – OPENAI_API_KEY. Некоторые другие примеры RAG (Retrieval Augmented Generation) и векторных баз данных используют Weaviate; первое, что мы видим после открытия их веб-сайта, – это “Ценообразование”. Здесь я использовать набор свободно распространяемых библиотек, которые можно использовать полностью бесплатно:

  • LangChain. Это фреймворк на Python для разработки приложений, работающих на основе языковых моделей. Он также универсален и один и тот же код может быть использован с разными моделями.
  • FAISS (Facebook AI Similarity Search). Это библиотека, разработанная для эффективного поиска похожих объектов и хранения плотных векторов, которую я буду использовать для Retrieval Augmented Generation.
  • Mistral 7B – это большая языковая модель с 7,3 млрд параметров (выпущена под лицензией Apache 2.0), которая, по словам авторов, превосходит модель Llama2 с 13 млрд параметров во всех тестах. Она также доступна на HuggingFace, поэтому ее использование довольно просто.
  • И наконец, Google Colab – также важная часть этого теста. Он предоставляет бесплатный доступ к блокнотам Python, работающим на CPU, 16 ГБ NVIDIA Tesla T4 или даже 80 ГБ NVIDIA A100 (хотя я никогда не видел последнего варианта доступного в бесплатном экземпляре).

Теперь перейдем к делу.

Установка

В качестве первого шага нам необходимо открыть Google Colab и создать новый блокнот. Необходимые библиотеки можно установить с помощью pip в первой ячейке: