Разблокировка надежных поколений через цепь проверки скачок в своевременной разработке
Разблокировка надежных поколений через последовательную проверку в разработке и скачок вовремя
Основные выводы
- Метод Chain-of-Thought (CoVe) построения запроса разработан для устранения галлюцинаций в LLM, устраняющий генерацию правдоподобной, но неверной фактической информации
- Через четырехэтапный процесс CoVe позволяет LLM составлять, проверять и уточнять ответы, способствуя самооценке и повышая точность, Структурированная Самопроверка
- CoVe показал повышение производительности в различных задачах, таких как вопросы на основе списков и генерация текста длинной формы, демонстрируя свой потенциал в снижении галлюцинаций и укреплении корректности текста, сгенерированного ИИ
Мы исследуем способность языковых моделей обдумывать ответы, которые они дают, чтобы исправить свои ошибки.
Введение
Непреклонное стремление к точности и надежности в области искусственного интеллекта (ИИ) вызвало появление новаторских техник в инженерии запросов. Эти техники играют ключевую роль в направлении генеративных моделей для предоставления точных и значимых ответов на различные запросы. Недавний рост метода Chain-of-Verification (CoVe) является значимым вехом в этом квесте. Этот инновационный метод нацелен на решение известной проблемы в крупных языковых моделях (LLM) – генерация правдоподобной, но неверной фактической информации, в народе известной как галлюцинации. Позволяя моделям обдумывать свои ответы и пройти процесс самопроверки, CoVe устанавливает перспективный прецедент для повышения надежности сгенерированного текста.
Пульсирующая экосистема LLM с их способностью обрабатывать и генерировать текст на основе огромных корпусов документов продемонстрировала выдающуюся компетентность в различных задачах. Однако остается некоторая озабоченность – склонность к генерации галлюцинированной информации, особенно по малоизвестным или редким темам. Метод Chain-of-Verification является маяком надежды среди этих вызовов, предлагая структурированный подход для минимизации галлюцинаций и повышения точности сгенерированных ответов.
Понимание метода Chain-of-Verification
CoVe представляет четырехэтапный механизм для минимизации галлюцинаций в LLM:
- Составление первоначального ответа
- Планирование вопросов проверки для проверки фактов в черновике
- Независимое ответ на эти вопросы, чтобы избежать предубеждений
- Генерация окончательно проверенного ответа на основе полученных ответов
Такой систематический подход не только решает проблему галлюцинаций, но и вводит механизм самопроверки, который повышает точность сгенерированного текста. Эффективность этого метода была продемонстрирована в различных задачах, включая вопросы на основе списков, закрытые вопросы и ответы и генерацию текста большого объема, демонстрируя снижение галлюцинаций и улучшение производительности.
Реализация метода Chain-of-Verification
Внедрение CoVe предполагает интеграцию его четырехэтапного процесса в рабочий процесс LLM. Например, при выполнении задачи по составлению списка исторических событий, LLM, использующий CoVe, сначала составит ответ, спланирует вопросы проверки для проверки каждого события, независимо на них ответит, а затем на основе полученной проверки сгенерирует верифицированный список.
Тщательный процесс проверки, присущий CoVe, гарантирует более высокую точность и надежность в сгенерированных ответах. Дисциплинированный подход к проверке не только обогащает качество информации, но также способствует созданию культуры ответственности в процессе создания ИИ-текстов, являющийся значительным шагом к достижению более надежных ИИ-генерированных текстов.
Пример 1
- Вопрос: Составьте список значимых изобретений 20-го века.
- Первоначальный черновик: Интернет, квантовая механика, открытие структуры ДНК
- Вопросы проверки: Был ли Интернет изобретен в 20-м веке? Развивалась ли квантовая механика в 20-м веке? Была ли открыта структура ДНК в 20-м веке?
- Окончательный проверенный ответ: Интернет, открытие пенициллина, открытие структуры ДНК
Пример 2
- Вопрос: Предоставьте список стран в Африке.
- Первоначальный черновик: Нигерия, Эфиопия, Египет, Южно-Африканская Республика, Судан
- Вопросы проверки: Является ли Нигерия частью Африки? Является ли Эфиопия частью Африки? Является ли Египет частью Африки? Является ли Южно-Африканская Республика частью Африки? Является ли Судан частью Африки?
- Окончательный проверенный ответ: Нигерия, Эфиопия, Египет, Южно-Африканская Республика, Судан
Применение CoVe включает в себя интеграцию его четырехэтапного процесса в рабочий процесс LLMs. Например, когда им задается задача составления списка исторических событий, LLM, использующий CoVe, сначала разрабатывает ответ, планирует вопросы проверки для проверки каждого события, независимо отвечает на эти вопросы и, наконец, создает проверенный список на основе полученной проверки.
Методология потребует примеров в контексте вместе с вопросом, который ставит LLM, или LLM может быть настроен на примеры CoVe, чтобы подходить к каждому вопросу в таком порядке, если это требуется.
Вывод
Появление метода цепочки проверки свидетельствует о достижениях в сфере инженерии заданий для достижения надежного и точного AI-сгенерированного текста. Решая проблему галлюцинаций, CoVe предлагает надежное решение, которое повышает качество генерируемой LLM информации. Структурированный подход метода, в сочетании с его самопроверкой, является значительным прорывом в создании надежного и фактического процесса AI-генерации.
Внедрение CoVe – это призыв для практиков и исследователей продолжать исследовать и совершенствовать методы инженерии заданий. Принятие таких инновационных методов будет ключевым фактором в раскрытии полного потенциала крупномасштабных языковых моделей, обещая будущее, где надежность AI-генерированного текста не является просто стремлением, а реальностью.
****[Matthew Mayo](https://www.kdnuggets.com/wp-content/uploads/./profile-pic.jpg)**** (@mattmayo13) имеет степень магистра компьютерных наук и диплом по дата-майнингу. В качестве главного редактора VoAGI Мэттью стремится сделать сложные концепции науки о данных доступными. Его профессиональные интересы включают обработку естественного языка, алгоритмы машинного обучения и изучение новых направлений искусственного интеллекта. Он движим миссией демократизации знаний в сообществе науки о данных. Мэттью начал писать код, когда ему было 6 лет.
