Falcon 180B Может ли он работать на вашем компьютере?

Falcon 180B - работает на вашем компьютере?

Да, если у вас достаточно ЦПУ и ОЗУ

В мае 2023 года Институт технологических инноваций (TII) в Абу-Даби выпустил две предобученные модели LLM: Falcon-7B и Falcon-40B, а также их чат-версии. Эти две модели продемонстрировали очень хорошую производительность и заняли первые места в рейтинге OpenLLM.

Третья модель, выпущенная TII, присоединилась к семье Falcon: Falcon 180B, модель с 180 миллиардами параметров. Она имеет в 2,5 раза больше параметров, чем Llama 2 70B, и в 4,5 раза больше, чем Falcon-40B.

Вот некоторые факты о Falcon 180B (источник: Falcon 180B model card):

• Предобучена на 3,5 трлн токенов (RefinedWeb)
• Распространяется с лицензией Apache 2.0
• Имеет размер 360 ГБ
• Занимает первое место (на 11 сентября 2023 года) в рейтинге OpenLLM:

Также есть чат-версия. Модели доступны на платформе Hugging Face:

• Математики находят 12 000 решений для проблемы трех тел
• Что общего между нейронами, светлячками и танцем Nutbush?
• Сделайте жизнь дружелюбнее с помощью персональных роботов

• Falcon 180B
• Falcon 180B Chat

Falcon 180B полностью бесплатна и является передовой моделью. Но это также огромная модель.

Может ли она работать на вашем компьютере?

Если ваш компьютер не готов к очень интенсивным вычислениям, то он не сможет запустить Falcon 180B напрямую. Вам потребуется обновить компьютер и использовать квантизированную версию модели.

В этой статье я объясняю, как вы можете запустить Falcon-180B на обычном оборудовании. Мы увидим, что запуск модели с 180 миллиардами параметров на современном компьютере может быть разумно доступным. Я также рассмотрю несколько техник, которые помогают снизить аппаратные требования.

Загрузка Falcon 180B на ваш компьютер: что вам нужно?

Первое, что вам нужно знать, это то, что Falcon 180B имеет 180 миллиардов параметров, хранящихся в формате bfloat16. Параметр (b)float16 занимает 2 байта в памяти.

Когда вы загружаете модель, стандартный конвейер Pytorch работает таким образом:

1. Создается пустая модель: 180 млрд параметров * 2 байта = 360 ГБ