Эта статья посвящена методу COVE новому подходу искусственного интеллекта для борьбы с галлюцинациями в языковых моделях через самопроверку

COVE новый подход искусственного интеллекта для борьбы с галлюцинациями в языковых моделях через самопроверку. Откройте для себя метод, который изменит ваше представление о реальности!

Используется большой корпус текстовых документов, содержащих миллиарды токенов текста, для обучения больших языковых моделей (LLM). Было продемонстрировано, что производительность в задачах, таких как закрытый вопрос-ответ, улучшается с увеличением числа параметров модели, и более крупные модели могут давать более точные фактические утверждения. Даже самые большие модели, которые редко встречаются в обучающем корпусе, могут допустить ошибки, особенно в отношении менее известных фактов. Когда модель неисправна, она дает альтернативный ответ, который обычно кажется реалистичным.

Помимо прогнозирования предстоящих слов, последнее волновое исследование моделирования языка сосредоточено на том, насколько хорошо они могут рассуждать. Поощрение языковых моделей предварительно составить внутренние мысли или цепочки рассуждений перед ответом и изменить исходный ответ посредством самокритики может привести к повышению эффективности в решении задач рассуждения.

Исследователи из Meta AI и ETH Zurich исследуют возможность применения моделей, основанных на языковых моделях, для сокращения галлюцинаций в проведенных здесь работах. Они создали метод, известный как Chain-of-Verification (CoVe), в котором, получив начальный черновой ответ, они сначала планируют верификационные вопросы для оценки его эффективности, а затем методически отвечают на эти вопросы, чтобы в конечном итоге сгенерировать лучший поправленный ответ. Исследование показывает, что факты, предоставленные независимыми верификационными вопросами, обычно более точны, чем те, которые содержатся в исходном полноформатном ответе, что повышает точность всего ответа.

• Раскрытие секретов мультимодальных нейронов Путешествие от Молинью до Трансформеров
• Прогресс в компьютерном зрении глубокое обучение для распознавания изображений.
• Эксперименты, обучение модели и оценка исследование 6 ключевых вопросов MLOps с использованием AWS SageMaker

Команда исследователей исследует вариации этой формулы для различных видов деятельности, включая запросы на основе списка, закрытый вопрос-ответ и создание полноформатного контента. В качестве альтернативы базовой языковой модели они предлагают объединенный метод для создания полной верификационной цепи слева направо, что улучшает производительность и уменьшает галлюцинации. С другой стороны, модели, которые обращают внимание на текущие галлюцинации в контексте своих выводов, часто повторяют эти галлюцинации.

Исследователи вводят факторные вариации для оптимизации этапов верификационной цепи в зависимости от ситуации. Результаты демонстрируют, как эти факторные вариации дальше улучшают производительность в рамках рассматриваемых трех задач.

Команда также показала, что запрет модели обращаться к своим предыдущим ответам при ответе на верификационные вопросы (факторный CoVe) снижает вероятность повторения одних и тех же галлюцинаций. В целом, этот подход предлагает значительные улучшения производительности по сравнению с ответом исходной языковой модели, просто предложив этой модели обдумать (проверить) свой ответ. Обучение CoVe возможности использования инструментов, таких как дополнение поиска при выполнении верификации, является логическим развитием этого исследования, что, без сомнения, приведет к еще большим преимуществам.