Познакомьтесь с «DRESS» большой моделью языка Large Vision Language Model (LVLM), которая соответствует и взаимодействует с людьми с помощью естественной обратной связи на естественном языке.

Путешествие в мир языковой модели DRESS уникальная возможность взаимодействия на естественном языке

Большие модели языка и зрения, или LVLM, могут интерпретировать визуальные сигналы и предоставлять пользователю простые ответы для взаимодействия. Это достигается путем умного слияния больших моделей языка (LLM) с финальной настройкой визуальных инструкций в большом масштабе. Тем не менее, LVLMs нуждаются только в созданных вручную или сгенерированных LLM наборах данных для выравнивания с помощью супервизируемого дообучения (SFT). Хотя это хорошо работает для превращения LVLMs из генераторов подписей в модели, следующие инструкциям, они все равно могут создавать ответы, которые являются обидными, злонамеренными или бесполезными. Это говорит о том, что им всё ещё нужно больше соответствовать предпочтениям людей. Кроме того, хотя предыдущие исследования поддерживают организацию образцов настройки визуальных инструкций в виде многоходовых форм, возможность взаимодействия LVLMs ограничена слабыми связями и взаимозависимостью между различными ходами. В данном случае, способность к взаимодействию оценивает, насколько хорошо LVLMs могут корректировать свои ответы, используя предыдущий контекст в многоходовом взаимодействии. Эти два недостатка ограничивают практическое применение LVLMs в качестве визуальных помощников.

Исследовательская команда из SRI International и University of Illinois Urbana-Champaign представляет DRESS, LVLM, который особенно обучен с использованием естественной обратной связи на естественном языке (NLF), созданной LLMs в данной работе (см. Рисунок 1). Исследовательская команда инструктирует LLMs предоставлять детализированную обратную связь по ответам LVLM путем предоставления им конкретных правил и обширной аннотации фотографий. В соответствии с процессом создания выровненных с предпочтениями людей LLM, эта аннотация обратной связи учитывает три критерия H: полезность, честность и безопасность. Обратная связь оценивает общее качество ответов по критериям 3H и обеспечивает числовую оценку и NLF. Метод исследовательской команды делит NLF на две части – критику и улучшение. Это новая классификация. В то время как улучшение NLF предлагает точные рекомендации LVLM для улучшения их ответов и соответствия эталону истинности, критика NLF оценивает сильные и слабые стороны ответов. Эта классификация предоставляет естественное применение двух видов NLF для того, чтобы сделать LVLMs более приемлемыми для людей и улучшить их способность к взаимодействию.

Рисунок 1: Исследователи направляют DRESS использовать ввод на естественном языке, который разделяется на две категории – критика и улучшение, для улучшения соответствия предпочтениям людей и возможности взаимодействия.

Исследовательская команда обобщает технику условного обучения с подкреплением для удовлетворения недифференцируемого характера NLF и тренирует LVLMs с такой обратной связью. Конкретно, исследовательская команда использует потерю лингвистического моделирования (LM) на ответах для обучения DRESS генерировать эквивалентные ответы, условием которых являются два NLF. Исследовательская команда улучшает DRESS, анализируя и интерпретируя числовые результаты для лучшего соответствия предпочтениям пользователя. Через многоходовое взаимодействие во время вывода, исследовательская команда тренирует DRESS научиться метанавыку улучшать свои исходные ответы, используя улучшающий NLF.

Исследовательская команда оценивает DRESS в многоходовых взаимодействиях, адверсиальном поощрении для оценки безопасности, заголовках для оценки честности и ответах на вопросы с открытым концом для оценки полезности. Открытия экспериментов показывают, что по сравнению с ранее изученными LVLMs, DRESS может предоставлять ответы, которые соответствуют человеческим ценностям и обладают превосходными возможностями взаимодействия, позволяющими ей учиться на обратной связи и эффективно модифицировать ответы по мере необходимости. По их данным, усилия исследовательской команды являются первыми, которые решают проблему способности к взаимодействию и все три критерия 3H для LVLMs.

Вклад исследовательской команды можно суммировать следующим образом:

• Исследовательская команда предлагает использовать естественную обратную связь на естественном языке (NLF), которая может быть разделена на критику и улучшение NLF, для улучшения возможности LVLMs взаимодействия и согласования с предпочтениями человека.

• Путем обучения модели предоставлять соответствующие ответы, основанные на NLF, исследовательская группа обобщает метод условного обучения с подкреплением, чтобы успешно адаптировать недифференцируемый NLF. По сравнению с предыдущим мировым уровнем, предложенная модель исследовательской группы DRESS демонстрирует относительное улучшение на 9,76%, 11,52% и 21,03% на основе систематической оценки полезности, честности и безопасности.

• Исследовательская группа создает и предоставляет для общественного пользования 63 тысячи аннотированных примеров языкового NLF, включая 3H характеристики. Кроме того, исследовательская группа создала общедоступный набор данных из 4,7 тысячи образцов для выравнивания безопасности и оценки LVLM.