Исследователи из Стэнфорда инновируют в области фактуальности большой модели языка автоматическое ранжирование предпочтений и прогресс в области обработки естественного языка для снижения ошибок.

Исследователи из Стэнфорда инновации в области моделирования языка, ранжирование предпочтений и развитие обработки естественного языка для уменьшения ошибок

Исследователи из Стэнфордского университета и UNC Chapel Hill обращаются к проблеме фактически неверных утверждений, известных как галлюцинации, создаваемых LLMs. Без маркировки человеком исследователи настраивают LLMs, чтобы улучшить фактическую точность в настройках с открытыми вопросами. Используя последние достижения в NLP, они применяют методы для оценки фактичности через согласованность с внешними базами знаний и используют алгоритм прямой оптимизации предпочтения для настройки. Подход значительно повышает фактичность в Llama-2, существенно снижая уровень фактических ошибок в биографиях и ответах на медицинские вопросы на шкале 7B.

Различные стратегии направлены на смягчение фактических ошибок в языковых моделях, включая подсказывание, захват внутреннего представления и методы на основе поиска. Существуют вызовы в разрешении конфликтов и поддержании фактичности, особенно с увеличением размера модели. Вариант FactScore включает поиск во время обучения для решения проблемы сложности времени вывода. Обучение на основе предпочтений путем настройки эффективно снижает неправильные факты. В исследовании представлен метод без использования референсов, использующий неопределенность языковой модели для оценки достоверности. Обучение фактичности на основе автоматически созданных пар предпочтений выступает в качестве экономического подхода, демонстрирующего потенциальные улучшения без вмешательства человека.

Сосредотачиваясь на настройке языковых моделей для улучшения фактичности в настройках с открытыми вопросами, предлагается использовать методы настройки без маркировки человеком. Они используют последние достижения в NLP, включая оценку фактичности через внешние базы знаний и использование алгоритма прямой оптимизации предпочтения. Подход включает обучение на основе автоматически сгенерированных предпочтительных ранжировок фактичности, демонстрируя существенное снижение уровня фактических ошибок при создании биографий и ответах на медицинские вопросы по сравнению с другими стратегиями на эталонных наборах данных.

В текущем исследовании введены оценка фактичности через согласованность с внешними базами знаний или оценочные значения уверенности модели. Для настройки используется алгоритм прямой оптимизации предпочтения, который сфокусирован на целях, выходящих за рамки надзорного имитации. Предлагается обучение на основе автоматически сгенерированных предпочтительных ранжировок фактичности через существующие системы поиска или новый подход без поиска. Оценка включает автоматические метрики, такие как FactScore, оценщиков, а также сравнение с методами, такими как интервенция времени вывода и декодирование путем контрастирующих слоев.

Подход демонстрирует эффективность обучения на основе автоматически сгенерированных предпочтительных ранжировок фактичности для повышения фактичности языковой модели. Точность фактичности после настройки улучшенной модели Llama-2 сократилась на 58% для биографий и на 40% для медицинских вопросов по сравнению с RLHF или стратегиями декодирования. Оценщики дали модели FactTune-FS значительно более высокую оценку по сравнению с моделью SFT. Оценки GPT-4 и рейтинги FactScore показывают высокую корреляцию, указывая на успех FactTune-FS в снижении фактических ошибок.

Предлагаемое исследование представляет эффективные стратегии для повышения фактичности языковой модели, с акцентом на создании длинных текстов. Исследуются два подхода: оценка правдивости с использованием внешних знаний, основанных на ссылках, и оценка без ссылок с использованием неопределенности модели. Настройка языковой модели с использованием любого из этих методов последовательно снижает уровень неверных фактов. Подход без ссылок предлагает масштабируемую стратегию самостоятельного обучения для улучшения фактичности без необходимости в золотом эталонном корпусе. Экспериментальные результаты указывают на перспективные направления для будущих исследований, предлагая исследование комбинированных методов настройки фактичности и масштабирование подхода до более крупных моделей.

В дальнейшем исследовании рекомендуется исследование комбинации настройки фактичности с существующими методами, такими как эксперимент по настройке фактичности DOLA. Предлагается дальнейшее изучение комбинирования техник декодирования для повышения фактичности. Оценка эффективности комбинирования различных подходов, таких как настройка фактичности и вмешательство во время вывода, может дать представление о дополнительных механизмах. Дальнейшее изучение более простых подходов к извлечению атомных фактов и масштабирование подхода настройки фактичности для больших моделей, таких как GPT-4, предлагается для дальнейшего исследования.