Познакомьтесь с SelFee Итеративным самообновляемым LLM, усиленным самообратной связью

SelFee - Итеративный самообновляемый LLM с самообратной связью

Недавнее исследование подчеркнуло эффективность обратной связи на естественном языке для улучшения работы языковых моделей. Команда исследователей из KAIST представила новую модель SelFee, специально разработанную для самообратной связи и генерации самокорректирующихся ответов. В отличие от предыдущих подходов, для генерации качественных ответов SelFee не требуются внешние модели, значительный языковой или задачеспецифический контекст.

SelFee – это модель инструкции-следования на основе LLaMA, которая постоянно корректирует свои ответы, пока не достигнет качественного результата с помощью одной инференции. Основываясь на данной инструкции, модель генерирует начальное решение и последовательности самокорректирующейся обратной связи. Анализируя содержание сгенерированной обратной связи, модель определяет, требуется ли корректировка. В случае необходимости модель генерирует исправленный ответ на основе обратной связи. Этот итеративный процесс корректировки завершается в рамках одной инференции, что приводит к улучшенным решениям по сравнению с существующими моделями на основе LLaMA.

Исследователи собрали разнообразные данные инструкций из разных источников, таких как ShareGPT, Alpaca, Math, Code и Flan Collection. Чтобы справиться с недостатком данных обратной связи и корректировки, они расширили набор данных с помощью процесса дистилляции из учительской модели под названием ChatGPT. Этот подход позволил им генерировать больше экземпляров обратной связи и корректировки по более доступной стоимости.

Для обучения модели исследователи использовали методики аугментации данных с использованием OpenAI API вызовов. Они собрали инструкции из разных источников и ввели их в ChatGPT для генерации соответствующих ответов. Затем они получили обратную связь по сгенерированным ответам, обратившись к ChatGPT снова. Если корректировка была необходима, ChatGPT исправил ответ на основе самогенерируемой обратной связи. Этот процесс повторялся, пока не потребовалось дальнейших модификаций.

SelFee был обучен с использованием рамочного программного обеспечения FastChat. Исходя из инструкции, модель была донастроена для генерации ответа и цепочки обратной связи, включая корректировки. Исследователи отметили, что увеличение минимального требуемого количества корректировок в процессе инференции улучшает качество ответа. Они обнаружили, что минимальное количество трех корректировок дает лучшую производительность, и даже 7B модель SelFee, генерирующая не менее трех корректировок, превосходит 13B модель SelFee, не требующую модификаций.

В качестве оценки исследователи приняли установку оценки Vicuna, включающую 80 разнообразных запросов. Вместо проведения оценки человеком они провели пилотное исследование, используя GPT-4 в качестве оценщика. Были представлены относительные оценки по сравнению с ChatGPT, с учетом позиционного смещения GPT-4.

Хотя SelFee продемонстрировал сравнимую производительность с ChatGPT в установке оценки Vicuna, выяснилось, что он не обладает знаниями в областях, таких как математика, рассуждение, фактология и программирование, по сравнению с ChatGPT.

В целом, SelFee представляет новый подход к самообратной связи и генерации самокорректирующихся ответов в языковых моделях. Благодаря донастройке модели на непрерывную коррекцию своих ответов, SelFee достигает улучшенной производительности по сравнению с существующими моделями. Исследовательские результаты подчеркивают важность итеративной корректировки для повышения качества ответов языковых моделей и предлагают, что увеличение вычислительных затрат модели в процессе инференции может быть более эффективным, чем просто увеличение ее размера.