Исследователи из Виргинского технологического института и Microsoft представляют алгоритм мышления подход искусственного интеллекта, который улучшает исследование идей и способность рассуждать в больших языковых моделях (LLM).

Researchers from Virginia Tech and Microsoft present an AI thinking algorithm that enhances idea exploration and reasoning ability in large language models (LLM).

Большие языковые модели (LLM) недавно сделали значительные успехи, и это привлекло внимание к их полезности для решения различных задач. Эти модели доказали свои способности в различных контекстах решения проблем, включая генерацию кода, следование инструкциям и общее решение задач. Современные исследования обращаются к более сложным подходам, включая линейные пути рассуждения, в отличие от первых моделей, которые использовали стратегии прямых ответов. В более новых методах сложные проблемы разбиваются на более мелкие задачи, чтобы упростить поиск методического решения. Кроме того, внешние процессы включаются для изменения создания токенов путем изменения контекста.

В текущем объеме исследований обычно используется внешний операционный механизм, который останавливает, изменяет, а затем возобновляет процесс генерации в попытке превзойти текущую методологию цепочки мыслей. Это делается для улучшения способности LLM к рассуждению, но это имеет недостаток в том, что генерируется больше запросов, и в результате возникают дополнительные расходы, большие требования к памяти и большая вычислительная нагрузка.

Для преодоления этих вызовов команда исследователей из Вирджинского технологического института Майкрософт представила уникальный подход, называемый Алгоритм мыслей. С помощью этой стратегии LLM приводятся по путям алгоритмического рассуждения, эффективно создавая новый способ обучения в контексте. Встроенная повторяющаяся динамика в LLM использовалась с помощью алгоритмических примеров, и это позволило расширить исследование концепций, требуя только небольшого количества запросов.

• Исследовательский агент Решение проблемы ответов на вопросы на основе большого текстового корпуса
• Исследователи из НЙУ разработали новую технику искусственного интеллекта для изменения видимого возраста человека на изображениях, сохраняя при этом его уникальные идентифицирующие особенности.
• Исследователи из НТУ Сингапура предлагают IT3D новый метод AI для улучшения текста в 3D-генерации с возможностью подключения и использования

Основная цель AoT – обучать LLM с помощью примеров из алгоритмов, которые идеально воплощают дух исследования. Техника уменьшает количество необходимых запросов, одновременно расширяя изучение LLM концепций. AoT превосходит более старые методы с одним запросом и конкурирует с современными множественными методами запросов, использующими сложные алгоритмы поиска по дереву.

Этот метод может превзойти более старые методы, которые используют только один запрос, что делает этот подход уникальным. Кроме того, производительность этого подхода сравнима с производительностью недавнего метода множественных запросов, использующего сложный алгоритм поиска по дереву. Результаты говорят о том, что LLM может потенциально превзойти алгоритм, когда он обучен с использованием данного метода. Это открытие подразумевает, что LLM имеют врожденную способность включать свою интуицию в улучшенные процедуры поиска.

В заключение, применение AoT имеет широкие возможности. AoT способен полностью изменить подход LLM к проблемам рассуждения, от общего решения задач до сложных программных трудностей. Включение алгоритмических путей позволяет LLM учитывать различные решения, моделировать методы отката и оценивать потенциал различных подзадач. AoT предоставляет новую парадигму для обучения в контексте, сокращая разрыв между LLM и алгоритмическим мышлением.