Исследователи из ETH Zurich представляют GoT (Graph of Thoughts) фреймворк машинного обучения, который улучшает возможности подсказывания в больших языковых моделях (LLM).

ETH Zurich researchers introduce GoT (Graph of Thoughts), a machine learning framework that enhances prompting capabilities in large language models (LLMs).

Искусственный интеллект (ИИ) стал все более популярным в использовании больших языковых моделей (LLM). Особый вид LLM, основанный на дизайне только для декодера архитектуры трансформера, недавно завоевал большую популярность. Модели, включая GPT, PaLM и LLaMA, получили огромную популярность в последнее время. Промпт-инжиниринг – это стратегический подход, который является успешным и ресурсоэффективным способом использования LLM для решения различных проблем с основной целью встраивания задачно-специфичных инструкций для LLM во входной текст. Если эти инструкции правильно написаны, LLM может использовать свой авторегрессивный токенный подход для создания соответствующего текста и выполнения задачи.

Метод Chain-of-Thought (CoT) расширяет промпт-инжиниринг. В CoT входной промпт содержит мысли или промежуточные шаги обдумывания, помимо описания задачи. Благодаря этому дополнению способность LLM решать проблемы значительно улучшается без необходимости обновления модели. Сравнивая возможности LLM с текущими парадигмами, такими как Chain-of-Thought и Tree of Thoughts (ToT), была представлена недавняя структура мыслей Graph of Thoughts (GoT).

GoT представляет данные в виде произвольного графа, позволяя LLM более гибко генерировать и обрабатывать данные. Отдельные фрагменты информации, или мысли LLM, отображаются как вершины в этом графе, а связи и зависимости между ними отображаются как ребра. Это позволяет объединять различные идеи LLM для получения более мощных и эффективных результатов. Это достигается путем связывания и взаимозависимости этих мыслей внутри графа. В отличие от линейных парадигм, которые ограничивают мысль, GoT может записывать сложные сети мыслей. Это открывает возможность объединения различных идей в цельный ответ, упрощения сложных сетей мыслей до их основных компонентов и улучшения идей через обратные связи.

Большая производительность GoT по сравнению с существующими методами на различных задачах служит иллюстрацией ее эффективности. GoT превосходит ToT в тесте сортировки, увеличивая качество сортировки на 62%. Одновременно уменьшаются затраты на вычисления более чем на 31%. Эти результаты показывают способность GoT балансировать точность выполнения задачи с эффективностью использования ресурсов. Одним из наиболее заметных преимуществ GoT является его расширяемость. Фреймворк достаточно гибок для разработки креативных схем подсказки, так как он легко адаптируется к новым преобразованиям идей. Эта гибкость является важной для ориентации в области исследования и применения LLM, поскольку она постоянно меняется.

Эта работа значительно продвигает согласование рассуждений LLM с мыслительными процессами и системами мозга человека, установив фреймворк GoT. Мысли взаимодействуют, разветвляются и влияют друг на друга в сложных сетях как в мыслительных процессах человека, так и в мыслительных процессах мозга. Таким образом, GoT улучшает навыки LLM и их способность решать сложные проблемы, соединяя пропасть между традиционными линейными методами и сложными сетевыми мыслительными процессами.