Простое руководство Hugging Face для общения с моделью Llama-2 7B в Colab Notebook

Hugging Face guide for interacting with Llama-2 7B model in Colab Notebook

Это проще, чем вы думаете!

Если вы интересуетесь открытыми LLMs, вы везде видите ламы.

По крайней мере, я вижу 🙂

Так что я наконец-то решил поиграться с Llama 2 от Meta – самой популярной открытой моделью большого языка (на момент написания).

И я нашел самый простой способ пообщаться с Llama 2 в Colab.

• Голосовые дипфейки идут за вашим банковским балансом
• Атакующие автокодировщики совмещение автокодировщиков и генеративно-состязательных сетей
• Кому нужны фото редакторы?! – Масштабный учебник по манипуляции изображениями на Python

Благодаря пайплайнам Hugging Face, вам понадобится всего несколько строк кода.

В этом руководстве для начинающих я покажу вам каждый необходимый шаг для использования Llama 2 7B. И вы узнаете:• Как использовать GPU в Colab• Как получить доступ к Llama 2 от Meta• Как создать пайплайн Hugging Face• Как загрузить и токенизировать Llama 2 с помощью Hugging Face• И, наконец, вы узнаете, как общаться с ламами 🙂

Meta создала 8 версий моделей Llama 2:

• в 4 разных размерах: 7B, 13B, 34B или 70B параметров.
• в 2 вариантах: стандартные и настроенные для чата.

В этом проекте мы будем использовать самую маленькую, чтобы она поместилась в одном GPU. И мы будем использовать версию для чата.

Ваш голос имеет значение

Я открыт для ваших предложений о том, о чем я должен написать в ближайшее время (пока они связаны с большими языковыми моделями)

Перейдите в раздел комментариев к этой статье и дайте мне знать:• Что вас больше всего интересует?• Что бы вы хотели прочитать/узнать?• С чем у вас возникают трудности в понимании?• Что бы вы хотели реализовать/построить/создать?

Вы поможете мне узнать, что ищут мои читатели!

Или просто поприветствуйте 🙂 Я пойму, что у нас схожие интересы.

Примечание: В конце этой статьи вы найдете все полезные ссылки, включая готовую к использованию записную книжку Colab с описанием проекта (и видеоверсию этого руководства). Проверьте “Ссылки”