Простое руководство Hugging Face для общения с моделью Llama-2 7B в Colab Notebook
Hugging Face guide for interacting with Llama-2 7B model in Colab Notebook
Это проще, чем вы думаете!
Если вы интересуетесь открытыми LLMs, вы везде видите ламы.
По крайней мере, я вижу 🙂
Так что я наконец-то решил поиграться с Llama 2 от Meta – самой популярной открытой моделью большого языка (на момент написания).
И я нашел самый простой способ пообщаться с Llama 2 в Colab.
- Голосовые дипфейки идут за вашим банковским балансом
- Атакующие автокодировщики совмещение автокодировщиков и генеративно-состязательных сетей
- Кому нужны фото редакторы?! – Масштабный учебник по манипуляции изображениями на Python
Благодаря пайплайнам Hugging Face, вам понадобится всего несколько строк кода.
В этом руководстве для начинающих я покажу вам каждый необходимый шаг для использования Llama 2 7B. И вы узнаете:• Как использовать GPU в Colab• Как получить доступ к Llama 2 от Meta• Как создать пайплайн Hugging Face• Как загрузить и токенизировать Llama 2 с помощью Hugging Face• И, наконец, вы узнаете, как общаться с ламами 🙂
Meta создала 8 версий моделей Llama 2:
- в 4 разных размерах: 7B, 13B, 34B или 70B параметров.
- в 2 вариантах: стандартные и настроенные для чата.
В этом проекте мы будем использовать самую маленькую, чтобы она поместилась в одном GPU. И мы будем использовать версию для чата.
Ваш голос имеет значение
Я открыт для ваших предложений о том, о чем я должен написать в ближайшее время (пока они связаны с большими языковыми моделями)
Перейдите в раздел комментариев к этой статье и дайте мне знать:• Что вас больше всего интересует?• Что бы вы хотели прочитать/узнать?• С чем у вас возникают трудности в понимании?• Что бы вы хотели реализовать/построить/создать?
Вы поможете мне узнать, что ищут мои читатели!
Или просто поприветствуйте 🙂 Я пойму, что у нас схожие интересы.
Примечание: В конце этой статьи вы найдете все полезные ссылки, включая готовую к использованию записную книжку Colab с описанием проекта (и видеоверсию этого руководства). Проверьте “Ссылки”