Повышение рассуждения в больших языковых моделях ознакомьтесь с гипотезами-к-теориям (HtT) фреймворком для точного и передаваемого обучения на основе правил

Усиление рассуждения в больших языковых моделях знакомство с фреймворком гипотезы-к-теории (HtT) для эффективного и наглядного обучения на основе правил

В области задач логического мышления большие языковые модели (LLMs) проявляют замечательные результаты, когда им предоставляют примеры и промежуточные шаги. Тем не менее, подходы, основанные на неявных знаниях внутри LLM, иногда могут приводить к ошибочным ответам, если неявные знания неправильны или несогласованы с поставленной задачей.

Для решения этой проблемы команда исследователей из Google, Мила – институт искусственного интеллекта Квебека, Университет Монреаля, Экономическая школа Монреаля, Университет Альберты и CIFAR AI Chair представляют фреймворк “Гипотезы-Теории” (HtT), который сосредоточен на получении библиотеки правил для логического мышления на основе LLM. HtT состоит из двух основных этапов: индукционного и дедуктивного. На индукционном этапе LLM сначала задается задачей генерировать и проверять правила на основе набора обучающих примеров.

Вышеуказанное изображение демонстрирует применение Гипотезы-Теории к методу цепочки мыслей для решения арифметических задач на базе цифры 9. Для краткости примеры совместных решений не приведены. На индукционном этапе используется техника Chain of Thought (CoT) для генерации и проверки правил с использованием тренировочных примеров.

Затем собранные и уточненные правила используются для создания библиотеки правил. На дедуктивном этапе промпт CoT дополняется знаниями, полученными из библиотеки правил. Верные правила обозначаются зелеными маркерами, а неверные – красными. Правила, которые часто приводят к правильным ответам, собираются для создания библиотеки правил. На этапе дедукции LLM далее попросили использовать полученную библиотеку правил для логического рассуждения и ответа на тестовые вопросы.

При оценке HtT исследователи интегрировали его как дополнение к существующим техникам предварительного запроса с небольшим количеством данных, таким как chain-of-thought и least-to-most prompting. Производительность оценивалась на двух сложных проблемах многоступенчатого рассуждения, которые оказались проблемными для существующих методов предварительного запроса с небольшим количеством данных.

Экспериментальные результаты как в численном, так и в относительном рассуждении показали, что HtT улучшает существующие методы запроса, достигая повышения точности от 11% до 27%. Кроме того, полученные правила можно эффективно передавать различным моделям и различным формам одной и той же проблемы. Введенный метод открывает новые возможности для приобретения текстовых знаний с использованием LLM. Ожидается, что HtT позволит создать ряд приложений и вдохновит дальнейшие исследования в области LLM.