Повышение логического мышления LLM раскрытие цепи кода, побуждающей

Улучшение логического мышления раскрытие кодовой цепи, которая его стимулирует

 

Основные моменты

 

• Цепочка кода (CoC) – новый подход к взаимодействию с языковыми моделями, улучшающий способности к логическому мышлению путем сочетания написания кода и частичной эмуляции.
• CoC расширяет возможности языковых моделей в логике, арифметике и языковых задачах, особенно тех, которые требуют сочетания этих навыков.
• С помощью CoC языковые модели пишут код и эмулируют его части, которые не могут быть скомпилированы, предлагая уникальный подход к решению сложных проблем.
• CoC эффективен как для больших, так и для малых языковых моделей.

 

Основная идея – поощрить языковые модели форматировать лингвистические подзадачи в виде гибкого псевдокода, который компилятор может явно обнаружить и передать для эмуляции с помощью языковой модели (как «имитатор ЯМ»).

• Команда Microsoft AI представляет Phi-2 небольшую языковую модель с 2,7 миллиарда параметров, демонстрирующую выдающуюся способность к рассуждению и пониманию языка.
• В данной статье по искусственному интеллекту рассматриваются неправильные поведенческие модели в больших языковых моделях обманные стратегии GPT-4 в симуляции торговли акциями.
• Эта научная статья AI представляет EdgeSAM продвижение машинного обучения для высокоскоростной и эффективной сегментации изображений на краевых устройствах

 

Введение

Непрерывное развитие техник инструктажа, коммуникации и обучения языковых моделей (ЯМ) позволяет улучшать их способности к логическому мышлению и повышать их производительность. Одним из новых методов является разработка метода цепочки кода (CoC), который предназначен для развития логического мышления в ЯМ. Эта техника объединяет традиционное программирование и инновационную эмуляцию выполнения кода ЯМ, что создает мощный инструмент для решения сложных лингвистических и арифметических задач.

CoC отличается тем, что он может справляться с сложными проблемами, сочетающими логику, арифметику и обработку языка. Это уже давно является сложным испытанием для стандартных ЯМ. Эффективность CoC не ограничивается только большими моделями, она применима в различных размерах, проявляя гибкость и широкие возможности применения в логическом мышлении искусственного интеллекта.

 

 

Понимание цепочки кода

 CoC является переворотом в функциональности ЯМ; это не просто тактика увеличения вероятности получения желаемого ответа от ЯМ. Вместо этого CoC переопределяет подход ЯМ к решению вышеупомянутых логических задач.

По сути, CoC позволяет ЯМ не только писать код, но и эмулировать его части, особенно те аспекты, которые нельзя непосредственно выполнить. Эта двойственность позволяет ЯМ обрабатывать широкий спектр задач, сочетая лингвистические нюансы с логическим и арифметическим решением задач. CoC может форматировать лингвистические задачи в виде псевдокода и эффективно совмещать традиционное программирование и логическое мышление ИИ. Это позволяет создать гибкую и более мощную систему для решения сложных задач. Главный компонент CoC, LMulator, обеспечивает эмуляцию выполнения кода и интерпретацию вывода, который не может быть непосредственно доступен ЯМ.

CoC показывает замечательные результаты на различных показателях, значительно превосходя существующие подходы, такие как Chain of Thought, особенно в ситуациях, которые требуют сочетания лингвистического и вычислительного мышления.

 

Эксперименты показывают, что Цепь кода превосходит Chain of Thought и другие базовые показатели на различных показателях; на BIG-Bench Hard, Chain of Code достигает 84%, что является приростом в 12% по сравнению с Chain of Thought.

 

 

Внедрение цепочки кода

 Внедрение CoC включает особый подход к решению задач, основанный на сочетании программирования и эмуляции. CoC заставляет ЯМ форматировать сложные логические задачи в виде псевдокода, который затем интерпретируется и решается. Этот процесс включает несколько шагов:

1. Выявление логических задач: Определение лингвистической или арифметической задачи, требующей логического мышления
2. Написание кода: ЯМ пишет псевдокод или гибкие отрывки кода для формулировки решения
3. Эмуляция кода: Для частей кода, которые нельзя непосредственно выполнить, ЯМ эмулирует ожидаемый результат, эффективно моделируя выполнение кода
4. Совмещение результатов: ЯМ сочетает результаты как реального выполнения кода, так и его эмуляции, чтобы получить всеобъемлющее решение проблемы

Эти шаги позволяют ЯМ решать широкий спектр задач, «мыслить в коде», тем самым улучшая их способности к решению проблем.

LMulator, в рамках фреймворка CoC, может значительно помочь в улучшении кода и рассуждений несколькими специфическими способами:

• Выявление ошибок и симуляция: Когда языковая модель пишет код, содержащий ошибки или неисполняемые части, LMulator может симулировать, как поведет себя этот код при выполнении, показывая логические ошибки, бесконечные циклы или крайние случаи и направляя языковую модель на переосмысление и корректировку логики кода.
• Обработка неопределенного поведения: В случаях, когда код имеет неопределенное или многозначное поведение, которое стандартный интерпретатор не может выполнить, LMulator использует понимание языковой модели контекста и намерений, чтобы предположить, какой должен быть вывод или поведение, предоставляя обоснованный, смоделированный результат, где традиционное выполнение не справилось бы.
• Улучшение рассуждений в коде: Когда требуется смешанное лингвистическое и вычислительное рассуждение, LMulator позволяет языковой модели перебирать свое собственное создание кода, имитируя результаты различных подходов, эффективно “рассуждая” через код и приходя к более точным и эффективным решениям.
• Исследование крайних случаев: LMulator может исследовать и тестировать, как код обрабатывает крайние случаи, имитируя различные входные данные, что особенно полезно для обеспечения надежности и обработки различных сценариев.
• Обратная связь для обучения: Поскольку LMulator симулирует и выявляет проблемы или потенциальные улучшения в коде, эту обратную связь можно использовать языковой моделью для изучения и совершенствования подхода к написанию кода и решению задач, что является непрерывным процессом обучения, повышающим способности модели кодирования и рассуждений.

LMulator повышает способность языковой модели писать, тестировать и улучшать код, предоставляя платформу для симуляции и итеративного улучшения.

Заключение

CoC – это техника, которая повышает способности рассуждения LMs. CoC расширяет спектр проблем, которые могут решать LMs, интегрируя написание кода с выборочной эмуляцией кода. Этот подход демонстрирует потенциал ИИ для решения более сложных задач реального мира, требующих тонкого мышления. Важно отметить, что CoC показал превосходные результаты как в малых, так и в больших LMs, предоставляя путь для улучшения возможностей рассуждения и эффективности в все более широком спектре моделей.

Для более глубокого понимания смотрите полную статью здесь.

****[Matthew Mayo](https://www.kdnuggets.com/wp-content/uploads/./profile-pic.jpg)**** (@mattmayo13) обладает степенью магистра по информатике и дипломом о преодолении данных. В качестве главного редактора VoAGI Мэтью стремится сделать сложные концепции науки о данных доступными. Его профессиональные интересы включают обработку естественного языка, алгоритмы машинного обучения и изучение новых технологий искусственного интеллекта. Его движет миссия демократизации знаний в сообществе науки о данных. Мэтью начал писать код, когда ему было 6 лет.