Внутри PromptBreeder новая техника самоусовершенствования Google DeepMind

Внутри PromptBreeder новая технология самоусовершенствования Google DeepMind

Метод объединяет эволюционные алгоритмы с оперативной оптимизацией для достижения впечатляющих результатов.

Недавно я запустил образовательную рассылку, посвященную искусственному интеллекту, которая уже имеет более 160 000 подписчиков. TheSequence – это необман (без лишней рекламы, новостей и прочего), ориентированный на машинное обучение. Цель – держать вас в курсе проектов машинного обучения, научных статей и концепций. Попробуйте подписаться ниже:

TheSequence | Jesus Rodriguez | Substack

Лучший источник для быть в курсе разработок в области машинного обучения, искусственного интеллекта и данных…

thesequence.substack.com

Рассуждение и эволюция/оптимизация предложений признаются следующим значимым фронтиром для больших языковых моделей (LLM). Мы все были поражены проектами, такими как AutoGPT или BabyAGI, которые постоянно изменяют предложения для достижения определенной цели, похожей на рассуждение. Среди различных стратегий, применяемых для улучшения способностей LLM к рассуждению, одной из важных является применение связанной цепочки предложений, часто приветствующейся за ее эффективность. Однако стоит отметить, что ручные стратегии создания предложений часто не достигают оптимальной производительности.

Недавно исследователи из Google DeepMind представили PROMPTBREEDER, самоусовершенствующийся алгоритм предложений, который использует эволюционные методы для нахождения наилучших подсказок для заданной задачи. PROMPTBREEDER подходит к некоторым ограничениям CoT с помощью простого и очень умного алгоритма, улучшающего подсказки самообращающимися способами.

• Японская регулирование ИИ – без предположений? или ничего не делать?
• Познакомьтесь со GTE-tiny мощной моделью искусственного интеллекта для встраивания текста в задачах последующего использования.
• Может ли одна модель искусственного интеллекта освоить все аудиозадачи? Познакомьтесь с UniAudio новой универсальной системой генерации аудиовоспроизведения.

Основа

Концепция PROMPTBREEDER, разработанная Google DeepMind, черпает вдохновение из новейших областей исследований:

1. Стратегия предложений: Связанная цепочка предложений (CoT) выделяется как широко принятый подход. Она облегчает промежуточные рассуждения, предоставляя машинным обучающимся моделям малообученные подсказки, что приводит к значительным улучшениям в области арифметики, здравого смысла и символического рассуждения, особенно для более мощных LLM.

2. Самообращение к самоусовершенствованию: Создание системы с открытым окончанием, способной к самоусовершенствованию и улучшению способа самоулучшения, давно является проблемой в исследованиях в области искусственного интеллекта. Популярной техникой в этой области являются стратегии внутритекстовых нейронных сетей с самообращаемой матрицей весов, позволяющей изменять свои веса. Более масштабируемая версия этой концепции была предложена Ирие и др. в 2022 году.

3. Открытость и LLM: PROMPTBREEDER основывается на идее того, что LLM отлично справляются с генерацией вариаций на основе примеров и обладают способностью количественно характеризовать новизну. В отличие от других систем, Promptbreeder исследует область подсказок автономно. Это представляет переход от “обучения на основе данных” к “обучению тому, какими данными учиться”.

Погружение в детали

Концептуально PROMPTBREEDER можно рассматривать как самообращающийся механизм самоусовершенствования в LLM. Рабочий процесс Promptbreeder может быть кратко описан следующим:

1. Мутация задачи-подсказки: PROMPTBREEDER начинает с популяции задач-подсказок, которые подвергаются мутациям, что приводит к различным вариантам.

2. Оценка пригодности: Эффективность этих измененных задач-подсказок оценивается с использованием набора данных обучения, измеряющего, как эффективно LLM на них реагирует.

3. Постоянная эволюция: Этот процесс мутации и оценки повторяется в течение нескольких поколений, подобно биологической эволюции.

Столкнувшись с описанием проблемы и обладая начальным набором общих “стилей мышления” и подсказок для мутаций, PROMPTBREEDER запускает динамический процесс. Этот процесс порождает популяцию эволюционных единиц, каждая из которых обычно состоит из двух задачных подсказок и мутационной подсказки.

В поисках эволюции подсказок, PROMPTBREEDER применяет хорошо известную двоичную турнирную генетическую алгоритмическую структуру, которую разработал Харви в 2011 году. Для оценки мощи задачных подсказок их производительность подвергается проверке на случайном выборе обучающих данных.

На протяжении нескольких поколений PROMPTBREEDER отправляется в трансформационное путешествие. Он вводит мутации в задачные подсказки и мутационные подсказки, используя пять различных классов операторов мутации. Это эволюционное путешествие приводит к появлению задачных подсказок, которые все более приспосабливаются к определенным областям, одновременно улучшая мутационные подсказки, которые постепенно совершенствуют свою полезность через самоотносительный процесс.

PROMPTBREEDER использует наборы стартовых значений мутационных подсказок, стилей мышления и описаний проблем, специфичных для определенной области, для генерации задачных и мутационных подсказок. В качестве операторов мутации используются языковые модели обучения. На протяжении нескольких поколений PB наблюдает, как подсказки адаптируются к конкретным областям, демонстрируя эффективность в различных областях, включая математику, общесенсорное мышление, арифметику и этику.

В отличие от некоторых существующих методов подсказок, таких как “Цепочка мыслей”, PROMPTBREEDER выделяется тем, что не требует обновления параметров для самореференциального самоулучшения. Этот подход намекает на промисловое будущее, где более крупные и способные языковые модели смогут еще больше усилить его преимущества.

Основой PROMPTBREEDER является осознание того, что языковые модели могут генерировать вариации входного текста. Задачные подсказки – это строки, используемые для обучения языковых моделей и получения лучших ответов при последующем вводе. Для оценки задачных подсказок извлекается пакет вопрос-ответных пар из обучающего набора, соответствующего области. Promptbreeder использует эволюционный алгоритм, в котором оператор мутации является языковой моделью, обученной на мутационной подсказке.

Интригующим аспектом PROMPTBREEDER является его самоотносительный механизм, который распространяется как на задачные подсказки, так и на мутационные подсказки. Этот алгоритм на метауровне использует языковые модели, обученные на гипер-мутационной подсказке, для эволюции мутационных подсказок. Процесс начинается с инициализации популяции измененных задачных подсказок, где каждая единица эволюции состоит из набора задачных подсказок, мутационной подсказки и, в некоторых случаях, набора правильных решений.

В заключение, PROMPTBREEDER представляет собой многообещающий подход к улучшению возможностей больших языковых моделей посредством самореференциального самоулучшения. Его потенциал заключается в способности автономно развивать подсказки, приспосабливаться к конкретным областям и открывать путь к более эффективным и способным языковым моделям без постоянного обновления параметров.