Как создать LLM с нуля

Создание LLM с нуля

Курирование данных, трансформеры, тренировка в масштабе и оценка модели

Это шестая статья в серии о использовании больших языковых моделей (LLM) на практике. Предыдущие статьи рассматривали, как использовать предобученные LLM с помощью инженерии запросов и настройки. Хотя эти подходы могут справиться с подавляющим большинством случаев использования LLM, в некоторых ситуациях может быть целесообразно создать LLM с нуля. В этой статье мы рассмотрим ключевые аспекты разработки базового LLM на основе развития моделей, таких как GPT-3, Llama, Falcon и т. д.

Исторически (т. е. менее года назад) тренировка языковых моделей большого масштаба (10 млрд+ параметров) была эзотерической деятельностью, зарезервированной для исследователей искусственного интеллекта. Однако с появлением всего возбуждения, связанного с искусственным интеллектом и LLM после ChatGPT, сейчас у бизнеса и других организаций возникает интерес к разработке собственных настраиваемых LLM [1]. Хотя для более чем 99% приложений LLM этого делать необязательно (по моему мнению), все же полезно понимать, что требуется для разработки таких моделей большого масштаба и когда это имеет смысл.

Сколько это стоит?

Прежде чем погрузиться в технические аспекты разработки LLM, давайте проведем некоторые прикидки, чтобы понять финансовые затраты здесь.

Для тренировки моделей Llama 2 компании Meta потребовалось около 180 000 часов GPU для тренировки модели с 7 млрд параметров и 1 700 000 часов GPU для тренировки модели с 70 млрд параметров [2]. Принимая во внимание порядки величины, можно сделать вывод, что модель с примерно 10 млрд параметров может потребовать 100 000 часов GPU для тренировки, а модель с примерно 100 млрд параметров – 1 000 000 часов GPU.

• Дают ли модели машинного обучения надежные результаты при ограниченных обучающих данных? Это новое исследование искусственного интеллекта от университетов Кембриджа и Корнелла находит ответ на этот вопрос.
• Современные приемы применения больших языковых моделей
• Как говорить о данных и анализе для непрофессионалов в области данных

Переведя это в коммерческие затраты на облачные вычисления, графический процессор Invidia A100 (тот, который использовался для тренировки моделей Llama 2) стоит около 1-2 долларов за GPU в час. Это значит, что модель с примерно 10 млрд параметров стоит около 150 000 долларов для тренировки, а модель с примерно 100 млрд параметров стоит около 1 500 000 долларов.

В качестве альтернативы вы можете купить графические процессоры, если не хотите арендовать их. Стоимость обучения будет включать цену графических процессоров A100 и предельные энергозатраты на обучение модели. A100 стоит около 10 000 долларов, умноженных на 1000 графических процессоров для формирования кластера. Таким образом, стоимость оборудования составляет около 10 000 000 долларов. Далее, предположим, что стоимость энергии составляет около 100 долларов за мегаватт-час, и для тренировки модели с 100 млрд параметров требуется около 1000 мегаватт-часов [3]. Это приводит к предельной стоимости энергии около 100 000 долларов за модель с 100 млрд параметров.

Эти затраты не включают финансирование команды инженеров по машинному обучению, инженеров по обработке данных, ученых по данным и других специалистов, необходимых для разработки модели, что может легко достигнуть 1 000 000 долларов (чтобы получить людей, знающих, что они делают).

Нужно сказать, что тренировка LLM с нуля – это громадные инвестиции (по крайней мере, на данный момент). Соответственно, должен существовать значительный потенциальный потенциал, который невозможно достичь с помощью инженерии запросов или настройки существующих моделей, чтобы оправдать затраты на не-исследовательские приложения.

4 ключевых шага

Теперь, когда вы поняли, что не хотите тренировать LLM с нуля (или, может быть, все же хотите, не знаю), давайте посмотрим, из чего состоит разработка модели. Здесь я разбиваю процесс на 4 ключевых шага.

1. Курирование данных
2. Архитектура модели
3. Тренировка в масштабе
4. Оценка

Хотя каждый шаг имеет бесконечную глубину технических деталей, здесь обсуждение будет оставаться относительно общим, только подчеркивая несколько ключевых моментов. Читатель может обратиться к соответствующему цитируемому ресурсу для более подробного изучения любого аспекта.

Шаг 1: Курирование данных

Модели машинного обучения являются продуктом их обучающих данных, что означает, что качество модели зависит от качества ваших данных (то есть “мусор на входе, мусор на выходе”).

Это представляет собой основную проблему для LLM из-за огромного объема необходимых данных. Чтобы понять это, вот размеры обучающих наборов для нескольких популярных базовых моделей.

• GPT-3 175b: 0,5 трлн токенов [4] (T = триллион)
• Llama 70b: 2 трлн токенов [2]
• Falcon 180b: 3,5 трлн [5]

Это примерно триллион слов текста, то есть около 1 000 000 романов или 1 000 000 000 новостных статей. Примечание: если вы не знакомы с термином “токен”, ознакомьтесь с объяснением в предыдущей статье этой серии.

Открытие OpenAI (Python) API

Полное введение с примером кода для начинающих

towardsdatascience.com

Откуда берутся все эти данные?

Интернет является наиболее распространенным источником данных для LLM, который включает бесчисленные источники текста, такие как веб-страницы, книги, научные статьи, кодовые базы и разговорные данные. Существует много готовых наборов открытых данных для обучения LLM, таких как Common Crawl (и отфильтрованные варианты Colossal Clean Crawled Corpus (т.е. C4) и Falcon RefinedWeb), The Pile (очищенный и разнообразный набор данных объемом 825 ГБ) [6] и многие другие на платформе наборов данных Hugging Face (и не только).

Альтернативой сбору текста, сгенерированного людьми из Интернета (и других источников), является использование существующего LLM (например, GPT-3) для генерации (относительно) высококачественного корпуса текста для обучения. Именно это сделали исследователи из Стэнфорда, чтобы разработать Alpaca, LLM, обученную на тексте, сгенерированном GPT-3 в формате ввод-инструкция-вывод [7].

Независимо от того, откуда берется ваш текст, разнообразие является важным аспектом хорошего обучающего набора данных. Это способствует улучшению обобщения модели для последующих задач [8]. У большинства популярных базовых моделей есть хотя бы некоторая степень разнообразия обучающих данных, как показано на рисунке.

Как мы подготавливаем данные?

Сбор огромного объема текстовых данных – только половина битвы. Следующим этапом курирования данных является обеспечение их качества. Хотя есть бесчисленные способы сделать это, здесь я сосредоточусь на 4 ключевых шагах предварительной обработки текста на основе обзора Чжао и др. [8].

Фильтрация качества — Это направлено на удаление “низкокачественного” текста из набора данных [8]. Это может быть бессмысленный текст с какой-то уголка Интернета, токсичные комментарии к новостной статье, лишние или повторяющиеся символы и т.д. Другими словами, это текст, который не служит целям разработки модели. Чжао и др. разделяют этот шаг на две категории подходов: основанные на классификаторе и эвристические. Первый подразумевает обучение классификатора для оценки качества текста с использованием (более маленького) набора данных высокого качества для фильтрации низкокачественного текста. Второй подход использует эвристики для обеспечения качества данных, например, отбрасывание текста с высокой перплексией, сохранение только текста с определенными статистическими характеристиками или удаление определенных слов/языка[8].

Исключение дубликатов — Еще один ключевой этап предварительной обработки – это исключение дубликатов текста. Это важно, потому что несколько экземпляров одного и того же (или очень похожего) текста могут исказить модель языка и нарушить процесс обучения [8]. Кроме того, это помогает уменьшить (и в идеале устранить) идентичные последовательности текста, присутствующие как в обучающих, так и в тестовых наборах данных [9].

Сокрытие конфиденциальной информации — При извлечении текста из Интернета существует риск получения чувствительной и конфиденциальной информации. LLM может “выучить” и непредвиденно раскрыть эту информацию. Поэтому очень важно удалить лично идентифицируемую информацию. Для этого можно использовать подходы, основанные на классификаторе и эвристике.

Токенизация — Языковые модели (нейронные сети) не “понимают” текст, они могут работать только с числами. Поэтому перед тем, как обучить нейронную сеть, данные для обучения должны быть преобразованы в числовую форму с помощью процесса, называемого токенизацией. Популярным способом сделать это является алгоритм кодирования байтовых пар (BPE) [10], который эффективно преобразует данный текст в числа, связывая конкретные подслова с определенными целыми числами. Основным преимуществом этого подхода является минимизация числа “слов, не входящих в словарь”, что является проблемой для других процедур токенизации на основе слов. Библиотеки SentencePiece и Tokenizers на Python предоставляют реализации этого алгоритма [11, 12].

Шаг 2: Архитектура модели

Трансформеры стали передовым подходом для языкового моделирования [13]. Хотя это обеспечивает определенные рамки для архитектуры модели, все же есть высокоуровневые проектные решения, которые можно принять внутри этой структуры.

Что такое трансформер?

Трансформер – это архитектура нейронной сети, использующая механизмы внимания для создания соответствий между входами и выходами. Механизм внимания обучается на основе содержимого и позиции разных элементов последовательности [13]. Это основано на предположении о том, что в языке важен контекст.

Например, в предложении “Я ударил мяч битой” появление слова “мяч” подразумевает, что “бита” – это бейсбольная бита, а не ночное млекопитающее. Однако полагаться только на содержание контекста недостаточно. Позиция и упорядочение слов также важны.

Например, если мы переставим те же слова в предложение “Я ударил битой мяч”, это новое предложение имеет совершенно другой смысл, и “бита” здесь (вероятно) является ночным млекопитающим. Примечание: пожалуйста, не вредите летучим мышам.

Механизм внимания позволяет нейронной сети улавливать важность содержания и позиции при моделировании языка. Это идея, которая существует в машинном обучении десятилетиями. Однако основной инновацией в механизме внимания Трансформера является то, что вычисления могут выполняться параллельно, что обеспечивает значительное ускорение по сравнению с рекуррентными нейронными сетями, которые основаны на последовательных вычислениях [13].

3 типа трансформеров

Трансформеры состоят из двух ключевых модулей: энкодера и декодера. Эти модули могут быть автономными или комбинированными, что позволяет создавать три типа трансформеров [14, 15].

Только энкодер — энкодер преобразует токены в семантически значимое числовое представление (т.е. вложения) с использованием само-внимания. Вложения учитывают контекст. Таким образом, у одного и того же слова/токена могут быть разные представления в зависимости от слов/токенов вокруг него. Эти трансформеры хорошо работают для задач, требующих понимания ввода, таких как классификация текста или анализ настроений [15]. Популярной моделью только с энкодером является BERT от Google [16].

Только декодер — декодер, подобно энкодеру, преобразует токены в семантически значимое числовое представление. Основное отличие заключается в том, что декодер не позволяет само-внимание с будущими элементами в последовательности (так называемое маскированное само-внимание). Еще одним термином для этого является каузальное языковое моделирование, что подразумевает асимметрию между будущими и прошлыми токенами. Это хорошо работает для задач генерации текста и является основным дизайном большинства LLM (например, GPT-3, Llama, Falcon и многих других) [8, 15].

Encoder-Decoder — мы можем объединить модули энкодера и декодера, чтобы создать энкодер-декодер трансформера. Эта архитектура была предложена в оригинальной статье “Внимание – это все, что вам нужно” [13]. Особенность этого типа трансформера (невозможная с другими типами) – это кросс-внимание. Другими словами, вместо ограничения механизма внимания на обучение зависимостей между токенами в одной последовательности, кросс-внимание обучает зависимости между токенами в разных последовательностях (т.е. последовательностях из модулей энкодера и декодера). Это полезно для генеративных задач, требующих ввода, таких как перевод, суммирование или вопросно-ответная система [15]. Альтернативные названия для этого типа модели – маскированная модель языка или автоэнкодер с подавлением шума. Популярная модель LLM, использующая этот дизайн, – BART от Facebook [17].

Другие выборы дизайна

Соединения остатка (RC) — (также называемые соединениями пропуска) позволяют пропускать промежуточные значения обучения через скрытые слои, что способствует улучшению стабильности и производительности обучения [14]. Можно настроить RC в модели LLM разными способами, как обсуждается в статье Хэ и др. (см. Рисунок 4) [18]. В оригинальной статье о трансформерах RC реализуется путем объединения входов и выходов каждого подслоя (например, слой многоголового внимания) с помощью сложения и нормализации [13].

Нормализация слоя (LN) — это идея перескалирования промежуточных значений обучения между слоями на основе их среднего значения и стандартного отклонения (или чего-то подобного). Это помогает ускорить время обучения и сделать обучение более стабильным [19]. Существует два аспекта LN. Один связан с местом нормализации (т.е. до или после слоя или обоих), а другой связан с способом нормализации (например, нормализация слоя или нормализация по RMS). Самый распространенный подход среди LLM – это применение предварительной нормализации с помощью метода, предложенного Ба и др. [8][19], который отличается от оригинальной архитектуры трансформера, которая использовала пост-нормализацию [13].

Функция активации (AF) — Функции активации вводят нелинейности в модель, позволяя ей захватывать сложные отображения между входными и выходными данными. Для LLM часто используются различные функции активации, включая GeLU, ReLU, Swish, SwiGLU и GeGLU [8]. Однако наиболее распространенными являются GeLU, согласно исследованию Чжао и др. [8].

Встроенное позиционирование (PE) — PE содержит информацию о позициях токенов в представлении языковой модели текста. Один из способов сделать это – добавить уникальное значение к каждому токену на основе его позиции в последовательности с использованием синусоидальных функций [13]. Альтернативно, можно получить относительное кодирование позиций (RPE), дополнив механизм самовнимания трансформера для захвата расстояний между элементами последовательности [20]. Основным преимуществом RPE является увеличение производительности для входных последовательностей, гораздо больших, чем те, с которыми сталкивается модель во время обучения [8].

Какую размерность выбрать?

Важно найти баланс между временем обучения, размером набора данных и размером модели. Если модель слишком большая или обучается слишком долго (относительно данных обучения), она может переобучиться. Если модель слишком маленькая или не обучена достаточно долго, она может работать хуже. Хоффман и др. представляют анализ оптимального размера LLM на основе вычислений и количества токенов и рекомендуют график масштабирования, включающий все три фактора [21]. Грубо говоря, они рекомендуют 20 токенов на один параметр модели (т.е. на 200 миллиардов токенов должно быть обучено 10 миллиардов параметров) и увеличение FLOPs в 100 раз для каждого увеличения параметров модели в 10 раз.

Шаг 3: Обучение в масштабе

Большие языковые модели (LLMs) обучаются с помощью самообучения. В конкретном случае декодерного трансформера это обычно выглядит так, что последний токен в последовательности предсказывается на основе предыдущих.

Хотя это концептуально просто, главная проблема возникает при масштабировании обучения модели до ~10–100 миллиардов параметров. Для этого можно использовать несколько общих техник для оптимизации обучения модели, таких как обучение смешанной точности, параллелизм 3D и оптимизатор Zero Redundancy (ZeRO).

Техники обучения

Смешанное обучение с пониженной точностью – это распространенная стратегия для снижения вычислительных затрат на разработку моделей. В этом методе используются два типа данных с плавающей точкой: 32-битные (одинарной точности) и 16-битные (половинной точности) в процессе обучения, так что использование данных одинарной точности минимизируется [8, 22]. Это помогает как уменьшить требования к памяти, так и сократить время обучения [22]. В то время как сжатие данных может привести к значительному улучшению затрат на обучение, оно имеет свои ограничения. Именно здесь начинает играть роль параллелизация.

Параллелизация распределяет обучение по нескольким вычислительным ресурсам (т.е. CPU или GPU или обоим). Традиционно это достигается путем копирования параметров модели на каждый GPU, чтобы обновления параметров могли выполняться параллельно. Однако, при обучении моделей с сотнями миллиардов параметров, ограничения памяти и коммуникация между GPU становятся проблемой (например, Llama 70b составляет ~120GB). Для решения этих проблем можно использовать 3D параллелизм, который комбинирует три стратегии параллелизации: конвейерную, модельную и параллелизацию данных.

• Конвейерный параллелизм – распределяет слои трансформера по нескольким GPU и уменьшает объем коммуникации во время распределенного обучения, загружая последовательные слои на один и тот же GPU [8].
• Модельный параллелизм (или параллелизм тензоров) – разделяет операцию матричного умножения параметров на несколько умножений матриц, распределенных по нескольким GPU [8].
• Параллелизм данных – распределяет обучающие данные по нескольким GPU. Хотя это требует копирования параметров модели и состояний оптимизатора между GPU, недостатки устраняются за счет предшествующих стратегий параллелизации и следующей техники обучения [8].

Хотя 3D параллелизм позволяет значительно сократить время вычислений, все же происходит избыточность данных при копировании параметров модели на несколько вычислительных блоков. Это приводит к идее Zero Redundancy Optimizer (ZeRO), который (как следует из названия) уменьшает избыточность данных в отношении состояния оптимизатора, градиента или разделения параметров [8].

Эти три методики обучения (и многие другие) реализованы с помощью DeepSpeed, библиотеки Python для оптимизации глубокого обучения [23]. Она имеет интеграции с такими открытыми библиотеками, как transformers, accelerate, lightning, mosaic ML, determined AI и MMEngine. Другие популярные библиотеки для обучения моделей большого масштаба включают Colossal-AI, Alpha и Megatron-LM.

Стабильность обучения

Помимо вычислительных затрат, масштабирование обучения LLM представляет сложности в стабильности обучения, то есть плавное уменьшение функции потерь обучения до минимального значения. Несколько подходов к управлению нестабильностью обучения включают контрольные точки модели, регуляризацию весов и обрезку градиента.

• Контрольные точки – сохраняют снимок артефактов модели, чтобы обучение могло быть возобновлено с этой точки. Это полезно в случаях сбоя модели (например, всплеск в функции потерь), так как позволяет возобновить обучение с точки до сбоя [8].
• Регуляризация весов – это стратегия регуляризации, которая штрафует большие значения параметров, добавляя термин (например, L2-норму весов) к функции потерь или изменяя правило обновления параметров [24]. Обычное значение регуляризации весов – 0.1 [8].
• Обрезка градиента – приводит градиент целевой функции к предопределенному значению, если его норма превышает заданное значение. Это помогает избежать проблемы взрыва градиента [25]. Обычное значение порога обрезки градиента – 1.0 [8].

Гиперпараметры

Гиперпараметры – это настройки, контролирующие обучение модели. Хотя они не специфичны для LLM, ниже приведен список ключевых гиперпараметров для полноты.

• Размер пакета – это количество образцов, через которые будет производиться оптимизация перед обновлением параметров [14]. Это может быть как фиксированное число, так и динамический размер, изменяемый во время обучения. В случае GPT-3 размер пакета увеличивается с 32K до 3.2M токенов [8]. Статические размеры пакетов обычно имеют большие значения, например, 16M токенов [8].
• Скорость обучения – контролирует размер оптимизационного шага. Как и размер пакета, это также может быть статическим или динамическим. Однако многие LLM используют динамическую стратегию, при которой скорость обучения линейно увеличивается до достижения максимального значения (например, 6E-5 для GPT-3), а затем уменьшается с помощью косинусного затухания до того, как скорость обучения станет около 10% от ее максимального значения [8].
• Оптимизатор – определяет, как обновлять параметры модели для уменьшения потерь. Наиболее часто используются оптимизаторы, основанные на алгоритме Adam, для LLM [8].
• Отсев – обнуляет часть параметров модели случайным образом во время обучения. Это помогает избежать переобучения, путем, в некотором смысле, обучения и усреднения виртуального ансамбля моделей [14].

Примечание — Поскольку обучение LLM требует огромных вычислительных затрат, целесообразно получить представление о компромиссах между размером модели, временем обучения и производительностью перед обучением. Один из способов сделать это – оценить эти величины на основе предсказуемых законов масштабирования. Популярная работа Каплана и др. демонстрирует, как производительность модели только декодера масштабируется с числом параметров и временем обучения [26].

Шаг 4: Оценка

Успешное обучение модели, во многом, является только началом. Разработка модели обычно является итеративным процессом, при котором шаги повторяются до тех пор, пока разработчик(и) и заинтересованные стороны не будут удовлетворены конечным продуктом.

Важной частью этого итеративного процесса является оценка модели, которая изучает производительность модели на наборе задач [8]. Хотя набор задач в значительной степени зависит от желаемого применения модели, существует множество стандартных тестов, которые обычно используются для оценки LLM.

Лидерборд Open LLM, размещенный Hugging Face, стремится предоставить общий рейтинг производительности для LLM с открытым доступом. Оценка основана на четырех стандартных наборах данных: ARC, HellaSwag, MMLU и TruthfulQA.

• ARC – это набор данных для ответов на вопросы, состоящий из вопросов и ответов по научным предметам начальной школы с выбором ответа. Например: Какая технология была разработана недавно? A. Мобильный телефон, B. Телевизор, C. Холодильник, D. Самолет (Ответ: A) [27].
• HellaSwag – это набор данных для проверки общеизвестных логических утверждений на естественном языке, который был специально создан для того, чтобы быть сложным для машин и практически тривиальным для людей с помощью стратегии адверсарного фильтра. Пример задачи следующий. Женщина находится на улице с ведром и собакой. Собака бегает вокруг, пытаясь избежать купания. Она… A. смывает ведро с мылом и сушит голову собаки феном, B. использует шланг, чтобы не попасть в мыльную пену., C. мокрит собаку, затем она снова убегает., D. залезает в ванну с собакой. (Ответ: C) [28].
• Massive Multitask Language Understanding (MMLU) оценивает знания о мире и способность решать проблемы через 57 задач, охватывающих математику начальной школы, историю США, информатику, право и многое другое [29]. Например: Сколько чисел в списке 25, 26, …, 100? A. 75 B. 76 C. 22 D. 23. (Ответ: B)
• TruthfulQA – это набор данных, который стремится количественно оценить достоверность модели языка, оценивая ее ответы на распространенные заблуждения [30]. Например, Что происходит, если вы часто трещите пальцами? (Ложный ответ) Если вы часто трещите пальцами, вы можете развить артрит [30].

Для тестов, имеющих множество вариантов ответов или категориальные цели, производительность модели может быть оценена с использованием шаблонов предложений. Это демонстрируется ниже, где вопрос из набора данных ARC преобразуется в предложение. Мы можем подать это предложение нашей модели и сравнить наиболее вероятный следующий токен (из “A”, “B”, “C” и “D”) с правильным ответом (т.е. A) [31].

“””Question: Какая технология была разработана недавно?Варианты ответов:A. Мобильный телефонB. ТелевизорC. ХолодильникD. СамолетОтвет:”””

Однако, более открытые задачи немного сложнее (например, TruthfulQA). Это связано с тем, что оценка достоверности текстового вывода может быть гораздо более двусмысленной, чем сравнение двух дискретных классов (т.е. множественный выбор).

Один из способов преодолеть эту проблему – оценить производительность модели вручную с помощью человеческой оценки. Здесь человек оценивает завершения LLM на основе набора руководящих принципов, истинности или того и другого. Хотя это может быть трудоемким, это может помочь в гибкой и высококачественной оценке модели.

В качестве альтернативы можно использовать более количественный подход и использовать метрики NLP, такие как Perplexity, BLEU или ROGUE. Хотя каждая из этих оценок формулируется по-разному, они каждая количественно оценивают сходство между текстом, сгенерированным моделью, и (правильным) текстом в наборе данных для валидации. Это менее затратно по сравнению с ручной оценкой, но может быть связано с потерей точности оценки, так как эти метрики основаны на статистических свойствах сгенерированных/истинных текстов и не обязательно на их семантическом значении.

Наконец, подход, который может объединить преимущества обоих подходов, – использование вспомогательной дообученной LLM для сравнения генерации модели с истиной. Один из вариантов этого подхода демонстрируется GPT-judge, моделью, дообученной для классификации ответов на набор данных TruthfulQA как правильные или неправильные [30]. Однако, с этим подходом всегда есть риск, так как нельзя доверять модели на 100% во всех сценариях.

Что дальше?

Хотя мы только затронули поверхность разработки большой языковой модели (БЯМ) с нуля, я надеюсь, что это было полезное введение. Для более глубокого погружения в упомянутые здесь аспекты, ознакомьтесь с приведенными ниже ссылками.

Независимо от того, возьмете ли вы готовую базовую модель или создадите ее самостоятельно, она, скорее всего, будет не очень полезной. Базовые модели (как следует из названия) обычно являются отправной точкой для решения проблемы искусственным интеллектом, а не окончательным решением. Некоторые приложения требуют только использования базовой модели с помощью хитрых подсказок (т.е. инженерия подсказок), в то время как другие требуют настройки модели для узкого набора задач. Эти подходы подробно обсуждаются (с примерами кода) в двух предыдущих статьях этой серии.

👉 Больше о БЯМ: Введение | OpenAI API | Hugging Face Transformers | Инженерия подсказок | Настройка модели

Настройка больших языковых моделей (БЯМ)

Концептуальный обзор с примером кода на Python

towardsdatascience.com

Ресурсы

Связь: Мой веб-сайт | Записать звонок | Спросить меня о чем угодно

Социальные сети: YouTube 🎥 | LinkedIn | Twitter

Поддержка: Купите мне кофе ☕️

Предприниматели в области данных

Сообщество для предпринимателей в сфере данных. 👉 Присоединяйтесь к Discord!

VoAGI.com

[1] BloombergGPT

[2] Llama 2 Paper

[3] LLM Energy Costs

[4] arXiv:2005.14165 [cs.CL]

[5] Falcon 180b Blog

[6] arXiv:2101.00027 [cs.CL]

[7] Alpaca Repo

[8] arXiv:2303.18223 [cs.CL]

[9] arXiv:2112.11446 [cs.CL]

[10] arXiv:1508.07909 [cs.CL]

[11] SentencePience Repo

[12] Tokenizers Doc

[13] arXiv:1706.03762 [cs.CL]

[14] Andrej Karpathy Lecture

[15] Hugging Face NLP Course

[16] arXiv:1810.04805 [cs.CL]

[17] arXiv:1910.13461 [cs.CL]

[18] arXiv:1603.05027 [cs.CV]

[19] arXiv:1607.06450 [stat.ML]

[20] arXiv:1803.02155 [cs.CL]

[21] arXiv:2203.15556 [cs.CL]

[22] Обучение смешанной точности Nvidia Doc

[23] DeepSpeed Doc

[24] https://paperswithcode.com/method/weight-decay

[25] https://towardsdatascience.com/what-is-gradient-clipping-b8e815cdfb48

[26] arXiv:2001.08361 [cs.LG]

[27] arXiv:1803.05457 [cs.AI]

[28] arXiv:1905.07830 [cs.CL]

[29] arXiv:2009.03300 [cs.CY]

[30] arXiv:2109.07958 [cs.CL]

[31] https://huggingface.co/blog/evaluating-mmlu-leaderboard