Пропагация мыслей аналогичный подход к сложному рассуждению с помощью крупных языковых моделей

Пропаганда мыслей аналогичный подход к сложному рассуждению с участием крупных языковых моделей

 

Основные выводы

 

  • Метод Thought Propagation (TP) – это новый метод, который повышает сложные рассуждения моделей с большим языковыми мощностями (LLM).
  • TP использует аналогичные проблемы и их решения для улучшения рассуждений, вместо того чтобы заставлять LLM рассуждать с нуля.
  • Эксперименты в различных задачах показывают, что TP значительно превосходит базовые методы со значительными улучшениями от 12% до 15%.

 

TP сначала побуждает LLM предлагать и решать набор аналогичных проблем, связанных с входными. Затем TP повторно использует результаты аналогичных проблем для прямого получения нового решения или разработки плана, основанного на знаниях, для исправления исходного решения, полученного c нуля.

 

Введение

 

Универсальность и вычислительная мощь моделей с большим языковыми мощностями (LLM) неоспоримы, но они имеют свои ограничения. Одна из самых значительных и последовательных проблем LLM состоит в их общем подходе к решению задач, который заключается в рассуждении на основе первых принципов для каждой новой задачи, с которой они сталкиваются. Это проблематично, так как это позволяет им быть очень адаптивными, но также увеличивает вероятность ошибок, особенно в задачах, требующих многоступенчатого рассуждения.

Проблема “рассуждения c нуля” особенно выражена в сложных задачах, которые требуют множества шагов логики и вывода. Например, если LLMу задают вопрос о поиске кратчайшего пути в сети связанных точек, он typически не будет использовать предыдущие знания или аналогичные задачи для поиска решения. Вместо этого он попытается решить проблему в изоляции, что может привести к неоптимальным результатам или даже к ошибкам. Вступайте Thought Propagation (TP), метод, разработанный для усиления рассуждения LLM. TP позволяет преодолеть врожденные ограничения LLM, позволяя им черпать из резервуара аналогичных задач и их соответствующих решений. Этот инновационный подход не только повышает точность решений, создаваемых LLM, но и значительно улучшает их способность решать сложные многоступенчатые рассуждения. Используя силу аналогии, TP предлагает рамки, усиливающие неотъемлемые способности рассуждения LLM и приближая нас к реализации по-настоящему интеллектуальных искусственных систем.

 

Понимание Thought Propagation

 

Thought Propagation включает два основных этапа:

  1. Во-первых, LLM призывается предложить и решить набор аналогичных проблем, связанных с входной проблемой
  2. Затем решения этих аналогичных проблем используются для получения нового решения или исправления исходного решения

Процесс определения аналогичных проблем позволяет LLM повторно использовать стратегии решения проблем и решения, тем самым улучшая его способности к рассуждению. TP совместим с существующими методами поддержки, предоставляя обобщаемое решение, которое может быть интегрировано в различные задачи без значительных специфических инженерных работ.

  

Кроме того, следует не недооценивать адаптивность TP. Благодаря своей совместимости с существующими методами поддержки, он является высокоуниверсальным инструментом. Это означает, что TP не ограничен конкретной областью решения задач. Это открывает интересные возможности для настройки и оптимизации задач, что в конечном итоге повышает эффективность и применимость LLM в широком спектре приложений.

 

Воплощение Thought Propagation

 

Реализация Thought Propagation может быть интегрирована в рабочий процесс существующих LLM. Например, при решении задачи кратчайшего пути TP может сначала решить набор более простых, аналогичных проблем, чтобы понять различные возможные пути. Затем он будет использовать эти знания для решения сложной задачи, тем самым увеличивая вероятность нахождения оптимального решения.

 Пример 1

  • Задача: Кратчайший путь
  • Аналогичные проблемы: Кратчайший путь между точкой A и B, Кратчайший путь между точкой B и C
  • Окончательное решение: Оптимальный путь от точки A до C, учитывая решения аналогичных проблем

 Пример 2

  • Задача: Творческое письмо
  • Аналогичные проблемы: Написать короткую историю о дружбе, Написать короткую историю о доверии
  • Конечное решение: Написать сложную короткую историю, интегрирующую темы дружбы и доверия

 Процесс включает в себя сначала решение этих аналогичных проблем, а затем использование полученных прозрений для решения сложной задачи. Этот метод демонстрирует свою эффективность во множестве задач, проявляя существенное улучшение показателей производительности.

Импликации метода “Thought Propagation” выходят за рамки простого улучшения существующих показателей. Этот метод подталкивания имеет потенциал изменить наше понимание и применение LLMs. Методология подчеркивает переход от изолированного, атомарного решения проблем к более целостному, взаимосвязанному подходу. Она побуждает нас задуматься о том, как LLMs могут учиться не только из данных, но и из процесса решения проблем. Путем непрерывного обновления своего понимания через решения аналогичных проблем LLMs, оборудованные TP, лучше готовы справиться с непредвиденными вызовами, делая их более устойчивыми и приспособляемыми в быстро меняющихся средах.

 

Заключение

 

“Thought Propagation” – это перспективное дополнение к арсеналу методов стимулирования, направленных на повышение возможностей LLM. Позволяя LLM использовать аналогичные проблемы и их решения, TP предоставляет более тонкий и эффективный метод рассуждения. Эксперименты подтверждают его эффективность, что делает его кандидатом для улучшения производительности LLM в различных задачах. В итоге TP может представлять значительный шаг вперед в поиске более способных искусственных интеллектуальных систем.  

****[Мэтью Майо](https://www.kdnuggets.com/wp-content/uploads/./profile-pic.jpg)**** (@mattmayo13) имеет степень магистра по информатике и диплом по дата-майнингу. В качестве главного редактора VoAGI, Мэтью стремится сделать сложные концепции науки о данных понятными. Его профессиональные интересы включают обработку естественного языка, алгоритмы машинного обучения и исследование новых технологий искусственного интеллекта. Он движим миссией демократизации знаний в сообществе науки о данных. Мэтью начал программировать еще в 6 лет.