Это исследование ИИ от Microsoft и университета Цинхуа представляет EvoPrompt новую систему искусственного интеллекта для автоматической оптимизации дискретных подсказок, связывающую LLM и эволюционные алгоритмы

Майкрософт и университет Цинхуа представили EvoPrompt - новую систему ИИ для оптимизации подсказок, использующую LLM и эволюционные алгоритмы.

Большие языковые модели (LLM) превосходно справляются с практически всеми задачами обработки естественного языка (NLP). Однако традиционные методы настройки моделей требуют значительных затрат, что привело к разработке непрерывных методов настройки подсказок, использующих обучаемые эмбеддинги подсказок без изменения параметров LLM. Однако эти методы все еще требуют доступа к параметрам LLM и не подходят для использования LLM через черный ящик API, такие как GPT-3 и GPT-4.

В данной статье представлены следующие вклады:

1. Введение EVOPROMPT: Авторы представляют новую методику – EVOPROMPT, для автоматической оптимизации дискретных подсказок. Эта методика соединяет Большие языковые модели (LLM) с эволюционными алгоритмами (EA) и предлагает несколько преимуществ:

• Она не требует доступа к параметрам или градиентам LLM.
• Она эффективно балансирует исследование и использование, что приводит к улучшению результатов.
• Она создает подсказки, которые легко понимаются людьми.

1. Эмпирическое доказательство: Через эксперименты, проведенные на девяти различных наборах данных, статья представляет эмпирические доказательства эффективности EVOPROMPT по сравнению с существующими методами. Она демонстрирует улучшение производительности до 14% в различных задачах, таких как классификация настроения, классификация темы, классификация субъективности, упрощение и суммирование.

1. Выпуск оптимальных подсказок: Авторы вносят ценный вклад, публикуя оптимальные подсказки, полученные с помощью EVOPROMPT для общих задач. Эти подсказки могут быть использованы научным сообществом и практикующими специалистами в задачах, связанных с анализом настроения, классификацией темы, классификацией субъективности, упрощением и суммированием.

1. Инновационное использование LLM: В данной статье представлено пионерское использование LLM для реализации эволюционных алгоритмов при наличии соответствующих инструкций. Этот новаторский подход расширяет потенциальные применения сочетания LLM с традиционными алгоритмами.

Для практического использования EVOPROMPT необходимо сочетать его с конкретным эволюционным алгоритмом (EA). Существует различные типы EA, и данная статья сосредоточена на двух широко признанных алгоритмах: генетическом алгоритме (GA) и дифференциальной эволюции (DE).

• Исследователи компании Microsoft представляют Kosmos-2.5 мультимодельную грамотную модель для машинного чтения изображений с текстовым содержимым.
• Большие языковые модели удивляют мета-исследователей искусственного интеллекта при оптимизации компилятора!
• Как выполняются большие языковые модели при ответах на вопросы в длинной форме? Глубокий анализ исследователей Salesforce о устойчивости и возможностях LLM.

Вышеуказанное изображение демонстрирует процесс GA, реализованный LLM для оптимизации дискретных подсказок. Исследователи считают, что LLM предлагает эффективный и интерпретируемый интерфейс для реализации традиционных алгоритмов, обеспечивая хорошую согласованность с пониманием и коммуникацией человека. Полученные результаты подтверждают недавнюю тенденцию, при которой LLM выполняют “Градиентный спуск” в дискретном пространстве, собирая неверно предсказанные образцы.

Существуют дополнительные исследовательские возможности для изучения полного потенциала Больших языковых моделей (LLM) в выполнении разнообразных алгоритмов через взаимодействие с людьми с использованием естественноязыковых инструкций. Возможные идеи исследования включают в себя возможность генерации потенциальных решений LLM в алгоритмах без производных, таких как имитационное отжигание.