Аналогия и шаг назад погружение в последние достижения Google DeepMind

Аналогия и шажок назад Глубинное погружение в последние достижения Google DeepMind

Введение

Промпт-инжиниринг концентрируется на разработке эффективных промптов для более качественной генерации ответов в крупных моделях естественного языка (Large Language Models, LLM), таких как GPT-4. Тщательно разработанный промпт может стать различием между расплывчатым или неточным ответом и точным и проницательным.

В широком экосистеме искусственного интеллекта промпт-инжиниринг является одним из нескольких методов, используемых для извлечения более точной и контекстно значимой информации из языковых моделей. Другие методы включают техники обучения на небольшом количестве примеров (few-shot learning), где модели предоставляются несколько примеров для помощи в понимании задачи, и донастройка (fine-tuning), где модель дополнительно обучается на небольшом наборе данных для специализации своих ответов.

Google DeepMind недавно опубликовала две статьи, в которых исследуется промпт-инжиниринг и его потенциал для улучшения ответов во множестве ситуаций.

Эти статьи являются частью текущего исследования в сфере искусственного интеллекта с целью уточнения и оптимизации того, как мы взаимодействуем с языковыми моделями, и они предоставляют свежие идеи по структурированию промптов для лучшей обработки запросов и взаимодействия с базами данных.

В данной статье рассматриваются детали этих исследовательских статей, разъясняются концепции, методологии и последствия предложенных техник, что делает ее доступной даже для читателей с ограниченными знаниями в области искусственного интеллекта и обработки естественного языка (NLP).

Статья 1: Большие языковые модели как аналоговые рассуждатели

Первая статья, под названием «Большие языковые модели как аналоговые рассуждатели», представляет новый подход к промптированию под названием аналоговое промптирование. Авторы, Мичихиро Ясунага, Синьюн Чен и другие, черпают вдохновение из аналогового мышления – когнитивного процесса, при котором люди используют прошлый опыт для решения новых проблем.

Основные концепции и методология

Разработанное аналоговое промптирование стимулирует LLM на самостоятельное генерирование соответствующих экземпляров или знаний в соответствующем контексте перед решением задачи. Этот подход исключает необходимость в нуждаемся в размеченных экземплярах, предлагая обобщаемость и удобство, и адаптирует сгенерированные экземпляры к каждой конкретной проблеме, гарантируя адаптивность.

Слева: Традиционные методы промптирования LLM основаны на обобщенных входных данных (0-shot CoT) или требуют размеченных примеров (few-shot CoT). Справа: Новый подход побуждает LLM самостоятельно создавать соответствующие примеры перед решением задачи, устраняя необходимость в разметке и настраивая примеры под каждую уникальную проблему

Слева: Традиционные методы промптирования LLM основаны на обощенных входных данных (0-shot CoT) или требуют размеченных примеров (few-shot CoT). Справа: Новый подход побуждает LLM самостоятельно создавать соответствующие примеры перед решением задачи, устраняя необходимость в разметке, настраивая примеры под каждую

Самостоятельно созданные примеры

Первая представленная в статье техника – самостоятельно созданные примеры. Идея заключается в использовании обширных знаний, которыми LLM обладает после своего обучения, чтобы помочь ему решать новые задачи. Процесс включает добавление к целевой задаче инструкций, побуждающих модель вспомнить или сгенерировать соответствующие проблемы и решения.

Например, при задаче модели говорится вспомнить три отдельные и соответствующие задачи, описать их и объяснить их решения. Этот процесс предназначен для выполнения за один проход, позволяя LLM генерировать соответствующие примеры и решать исходную задачу без проблем. Использование символов ‘#’ в промптах помогает структурировать ответ, делая его более организованным и понятным для модели.

Основные технические решения, освещенные в статье, включают акцент на генерацию соответствующих и разнообразных примеров, применение подхода с единственным проходом для удобства и обнаружение того, что генерация трех до пяти примеров дает лучшие результаты.

Самостоятельно созданные знания + примеры

Вторая техника, самостоятельно созданные знания + примеры, предлагается для решения сложных задач, таких как генерация кода. В таких ситуациях LLM может слишком сильно полагаться на низкоуровневые примеры и испытывать затруднения с обощением при решении целевых задач. Для решения этой проблемы авторы предлагают дополнить промпт дополнительной инструкцией, стимулирующей модель выделить основные концепции в задаче и предложить обучающий материал или основной вывод.

Одно из важных соображений – порядок генерации знаний и примеров. Авторы установили, что генерация знаний перед генерацией примеров приводит к лучшим результатам, так как это помогает LLM сосредоточиться на фундаментальных методах решения проблем, а не просто на поверхностных схожести.

Преимущества и применение

Аналогичный подход к подсказке имеет несколько преимуществ. Он предоставляет детализированные примеры рассуждения без необходимости ручной разметки, что позволяет решить вызовы, связанные с методами нулевого и небольшого количества шагов (CoT) мыслительной цепи. Кроме того, созданные примеры адаптированы к индивидуальным проблемам, предлагая более релевантное руководство по сравнению с традиционными методами CoT небольшого количества шагов, которые используют фиксированные примеры.

Статья демонстрирует эффективность этого подхода в различных задачах рассуждения, включая решение математических задач, генерацию кода и другие задачи рассуждения в BIG-Bench.

В таблицах ниже представлены показатели производительности различных методов подсказки при различных архитектурах моделей. Следует отметить, что метод «Self-generated Exemplars» последовательно превосходит другие методы по точности. В точности GSM8K этот метод достигает наивысшей производительности на модели PaLM2, равной 81,7%. Аналогично, для точности MATH, он занимает первое место в чарте на модели GPT3.5-turbo, равной 37,3%.

Показатели производительности в математических задачах, GSM8K и MATH

Показатели производительности в математических задачах, GSM8K и MATH

Во второй таблице для моделей GPT3.5-turbo-16k и GPT4, «Self-generated Knowledge + Exemplars» показывает лучшую производительность.

Показатели производительности в задаче генерации кода Codeforces

Показатели производительности в задаче генерации кода Codeforces

Статья 2: Сделайте шаг назад: вызов рассуждения через абстракцию в больших языковых моделях

Обзор

Вторая статья «Сделайте шаг назад: вызов рассуждения через абстракцию в больших языковых моделях» представляет метод Step-Back Prompting, который побуждает LLM (большие языковые модели) абстрагироваться от высокоуровневых концепций и первоначальных принципов подробных примеров. Авторы Хуаиксю Стивен Жэнь, Сваруп Мишра и другие стремятся улучшить рассуждательные способности LLM, направляя их в правильном рассуждательном пути к решению.

Представление метода STEP-BACK PROMPTING через две фазы абстракции и рассуждения, ведомые основными концепциями и принципами.

Представление метода STEP-BACK PROMPTING через две фазы абстракции и рассуждения, ведомые основными концепциями и принципами.

Давайте создадим более простой пример с использованием основного математического вопроса, чтобы продемонстрировать метод «Stepback Question»:

Исходный вопрос: Если поезд движется со скоростью 60 км/ч и проезжает расстояние 120 км, как долго это займет?

Варианты ответов:

3 часа 2 часа 1 час 4 часа Исходный ответ [неверный]: Правильный ответ – 2).

Вопрос «Stepback»: Какая базовая формула используется для вычисления времени, учитывая скорость и расстояние?

Принципы: Для вычисления времени мы используем формулу: Время = Расстояние / Скорость

Окончательный ответ: Используя формулу, Время = 120 км / 60 км/ч = 2 часа. Правильный ответ – 2) 2 часа.

Хотя большие языковые модели сейчас могут легко ответить на приведенный выше вопрос, этот пример просто для демонстрации работы метода «шаг назад». Для более сложных сценариев можно применять ту же технику для анализа и систематического решения проблемы. В статье приведен более сложный пример:

STEP-BACK PROMPTING в наборе данных по химии MMLU

STEP-BACK PROMPTING в наборе данных по химии MMLU

Основные концепции и методология

Сущность подхода «шаг-назад» заключается в его способности заставить большие языковые модели (LLM) переноситься на метафорический шаг назад, что побуждает их смотреть на большую картину, а не теряться в деталях. Это достигается с помощью серии тщательно разработанных подсказок, которые направляют LLM абстрагироваться от информации, производить высокоуровневые концепты и применять эти концепции для решения задачи.

Процесс начинается с того, что LLM попросили абстрагировать детали из предоставленных примеров, побуждая его сосредоточиться на основных концепциях и принципах. Этот шаг является ключевым, поскольку он ставит LLM в более информированную и принципиальную позицию при решении задачи.

Как только высокоуровневые концепции выведены, они используются для направления LLM через логические шаги к решению. Это руководство обеспечивает LLM на правильном пути, следуя логическому и согласованному подходу, основанному на абстрагированных концепциях и принципах.

Авторы проводят серию экспериментов для проверки эффективности подхода “шаг-назад”, используя модели PaLM-2L на различных сложных задачах, требующих рассуждений. Среди этих задач STEM-проблемы, Консультации по знаниям и многократные рассуждения, что обеспечивает всеобъемлющую платформу для оценки техники.

Существенные улучшения по всем задачам

Результаты впечатляют, подход “шаг-назад” приводит к значительному повышению эффективности на всех задачах. Например, техника улучшает результаты PaLM-2L по физике и химии MMLU на 7% и 11% соответственно. Аналогично, эффективность на TimeQA повышается на 27%, а на MuSiQue на 7%.

Performance of STEP-BACK PROMPTING

Результаты STEP-BACK PROMPTING против CoT

Эти результаты подчеркивают потенциал подхода “шаг-назад” для значительного улучшения рассуждательных способностей LLM.

Заключение

Оба доклада из Google DeepMind представляют новаторские подходы к инженерии подсказок, нацеленные на повышение рассуждательной способности больших языковых моделей. Подсказка аналогичности опирается на концепцию аналогичного рассуждения, поощряя модели генерировать свои собственные примеры и знания, что приводит к более адаптивному и эффективному решению проблем. С другой стороны, подход “шаг-назад” фокусируется на абстрагировании, направляя модели извлекать высокоуровневые концепции и принципы, что в свою очередь улучшает их рассуждательные способности.

Эти научные статьи предоставляют ценные идеи и методологии, которые могут быть применены в различных областях, что приведет к более интеллектуальным и способным языковым моделям. По мере продолжения исследований и понимания тонкостей инженерии подсказок, эти подходы служат важным толчком к достижению более сложных и развитых систем искусственного интеллекта.