Революционизация настройки языковых моделей достижение беспрецедентных результатов с помощью шумных вложений NEFTune.

Революционизация языковых моделей достижение беспрецедентных результатов с помощью шумных вложений NEFTune.

Инструкция доведения до совершенства – это процесс обучения LLM на небольшом курированном наборе инструкций, что позволяет модели достигать высокой производительности в задачах, основанных на инструкциях. Он предлагает множество преимуществ, таких как лучшая интерпретируемость, снижение предубежденности и улучшение производительности задач. Изначально фокусировка на инструкциях, поэтому важно улучшить результаты процесса.

Авторы этой научной статьи предложили новый метод под названием NEFTune (Noisy Embedding Instruction Fine Tuning), чтобы улучшить производительность моделей в задачах, основанных на инструкциях. Они показали, что добавление случайного шума к векторам встраивания обучающих данных во время прямого прохода обучения позволяет значительно повысить производительность модели без необходимости дополнительных вычислительных ресурсов или данных. В результате NEFTune заметно улучшает производительность LLM в разговорных задачах, сохраняя при этом производительность по фактическому вопросно-ответному заданию.

Исследователи провели большинство своих экспериментов, используя модели LLM с 7B параметрами, такие как LLaMA-1, LLaMA-2 и OPT-6.7B, а также наборы данных с настройкой по инструкции, такие как Alpaca, ShareGPT и т. д. Результаты были оценены с использованием набора данных AplacaEval для вычисления показателя победы – это показатель, позволяющий узнать, насколько модель LLM предпочтительна по сравнению с моделью Text-Davinci-003 от OpenAI, как определено оценщиком GPT-4.

Результаты показывают, что обучение этих моделей с NEFT значительно увеличивает возможности разговора и качество ответов. При настройке с шумными встраиваниями производительность LLaMA-2 7B значительно увеличилась с 29.8% до 64.7%, а средняя производительность всех моделей увеличилась примерно на 15%. В дополнение к оценке производительности с использованием LLM, исследователи также использовали аннотаторов. NEFT был предпочтен в 88 случаях, и 22 случая были ничьей, что соответствует примерно 74% победному счету для NEFT.

В одном из экспериментов LLaMA-2 обучалась на Alpaca с и без NEFT и задавался вопрос о квантовых вычислениях. Ответ на втором этапе, т.е. с использованием шумных встраиваний, был более свободным, более ясно объяснял сложные концепции, такие как суперпозиция и квантовое запутывание.

Исследователи предполагают, что введение шума во встраивания во время обучения делает модель менее склонной к переобучению. Вместо того, чтобы сосредотачиваться на точном распределении информации, таком как детали форматирования, длина текста и точная формулировка, модель предоставляет ответы, охватывающие знания и поведение в предварительно обученной базовой модели.

Учитывая важность настройки по инструкции, исследователями было представлено множество моделей и методов за годы. NEFT не является первым методом для улучшения производительности с использованием шумных встраиваний. Однако он может значительно улучшить производительность LLM в разговорных задачах, предоставляя более подробное и ясное объяснение сложных тем, таких как квантовые вычисления. Самым важным является то, что этот метод не требует дополнительных вычислительных ресурсов, и авторы этой статьи называют его “бесплатным обедом” для настройки LLM. NEFTune имеет потенциал широкого применения в будущем для развития LLM, что делает его многообещающим инструментом для будущего развития возможностей LLM в различных задачах реального мира.