Могут ли языковые модели создавать свои собственные инструменты?

Могут ли языковые модели создавать инструменты?

LaTM, CREATOR и другие закрытые циклы для использования инструментов LLM…

(Фото Тодда Квакенбуша на Unsplash)

В последних обзорах мы изучили полезность дополнения больших языковых моделей (LLM) внешними инструментами. Эти модели могут быть обучены использовать инструменты различными способами. Однако следует понимать, что существующие LLM, следующие инструментам, используют только ограниченный набор потенциальных инструментов [3], в то время как диапазон проблем, которые мы хотим решить с помощью LLM, практически бесконечен! Учитывая это, становится ясно, что такая парадигма ограничивает нас – всегда можно найти сценарии, которые требуют инструментов, которых еще не существует. В этом обзоре мы рассмотрим последние исследования, направленные на решение этой проблемы, предоставляя LLM навыки создания собственных инструментов. Такой подход имеет интересную аналогию с человеческой жизнью, так как возможность изготовления инструментов привела к значительным технологическим прорывам. Теперь мы рассмотрим влияние аналогичных техник на эволюцию LLM.

«Согласно урокам, извлеченным из этапов эволюции людей, ключевым поворотным моментом была возможность самим создавать инструменты для решения возникающих проблем. Мы начинаем исследование, чтобы применить эту эволюционную концепцию в области LLM». – из [1]

(из [1, 2])

Фон

Прежде чем узнать больше о создании инструментов LLM, нам нужно освежить несколько фоновых понятий. Мы уже рассмотрели множество этих идей в последних обзорах, но мы кратко повторим их снова, чтобы наше обсуждение последних публикаций было более полным и понятным.

Почему мы должны использовать инструменты?

(из [3, 8, 9])

В предыдущих обзорах мы узнали о нескольких различных типах инструментов, которые могут быть интегрированы с LLM для улучшения их производительности, таких как:

  • Базовые инструменты (калькуляторы, поисковые системы и т. д.) [ссылка]
  • API моделей глубокого обучения [ссылка]