Исследователи Университета Калифорнии в Беркли представляют LLMCompiler компилятор LLM, который оптимизирует производительность параллельного вызова функций LLM.

Ученые из Университета Калифорнии в Беркли представляют LLMCompiler — передовой компилятор LLM, повышающий эффективность параллельного вызова функций LLM.

Многофункциональные вызовы задач могут быть медленными и неточными при использовании ДЛМ (языковых моделей с ограниченными областями знаний). Чтобы решить эту проблему, команда исследователей из Университета Калифорнии в Беркли, ICSI и LBNL разработала LLMCompiler – программную платформу, предназначенную для улучшения эффективности и точности ДЛМ в таких задачах. LLMCompiler позволяет параллельное выполнение вызовов функций через его компоненты: планировщик LLM, блок получения задач и исполнитель.

LLMCompiler – это программная платформа, которая позволяет ДЛМ выполнять параллельные вызовы функций, улучшая эффективность и точность в многофункциональных задачах. Включающий в себя планировщик LLM, блок получения задач и исполнитель, LLMCompiler превосходит функцию параллельного вызова функций ReAct и OpenAI по показателям производительности, обеспечивая увеличение скорости передачи данных и повышение точности. Совместимый с открытыми моделями, такими как LLaMA-2 и модели OpenAI GPT, LLMCompiler решает проблемы ДЛМ, такие как ограничение по объёму знаний и навыки в области арифметики, предоставляя оптимизированное решение для выполнения вызовов функций. Платформа имеет открытый исходный код, способствующий дальнейшим исследованиям и разработке.

Последние достижения в области ДЛМ расширяют их возможности от генерации контента к выполнению вызовов функций, преодолевая потенциальные ограничения. Включая в себя планировщик LLM, блок получения задач и исполнитель, LLMCompiler оптимизирует систему вызова функций. Результаты измерений показывают улучшение показателей производительности по сравнению с функцией параллельного вызова функций ReAct и OpenAI.

• Исследователи Google DeepMind предлагают Chain of Code (CoC) простое, но удивительно эффективное расширение, улучшающее языковую модель и кодовое рассуждение.
• Исследователи из UCLA и CMU представляют Stormer масштабируемые нейронные сети трансформации для умелого и надежного среднесрочного прогнозирования погоды.
• Google Research представляет Генеративные бесконечно-словарные трансформеры (GIVT) Революционные последовательности векторов с реальными значениями в искусственном интеллекте

LLMCompiler – это программная платформа для параллельного вызова функций в ДЛМ, состоящая из планировщика LLM, блока получения задач и исполнителя. Планировщик LLM разрабатывает стратегии выполнения, блок получения задач отправляет и обновляет задачи, а исполнитель выполняет их параллельно. Совместимый с открытыми моделями, такими как LLaMA-2 и моделями OpenAI GPT, LLMCompiler обеспечивает улучшение скорости передачи данных, экономию затрат и повышение точности по сравнению с ReAct. Поддерживая динамическое перепланирование для адаптивного выполнения, эта открытая платформа предлагает эффективную организацию многофункциональных вызовов задач в ДЛМ.

Длительно тестировался на различных задачах, включая сложные зависимости и потребность в динамическом перепланировании, LLMCompiler постоянно превосходил по показателям производительности функцию параллельного вызова функций ReAct, достигая увеличения скорости передачи данных вплоть до 3,7 раза, экономии затрат до 6,7 раза и повышения точности до 9%. В игре 24 LLMCompiler достиг скорости в 2 раза выше, чем Tree-of-Thoughts, и превзошел функцию параллельного вызова функций OpenAI с увеличением скорости передачи данных до 1,35 раза. Открытый исходный код упрощает дальнейшие исследования и разработку.

В заключение, LLMCompiler является многообещающей программной платформой, значительно улучшающей эффективность, затраты и точность параллельного вызова функций в ДЛМ. Она превосходит существующие решения и имеет потенциал обеспечить эффективное и точное выполнение масштабных задач в программной разработке с использованием ДЛМ. Её открытый исходный код делает её доступной для разработчиков, желающих использовать её преимущества.

LLMCompiler стоит дальнейшего исследования, особенно в контексте операционных систем в ДЛМ. Он может привести к прогрессу в разработке программного обеспечения на основе масштабных ДЛМ. Рекомендуется исследовать достижимый прирост скорости с использованием LLMCompiler в сравнении с ReAct, учитывая как планирование, так и задержки выполнения. Включение параллельного вызова функций в LLMCompiler кажется многообещающим для эффективного выполнения сложных задач с использованием ДЛМ. Непрерывная разработка и исследование LLMCompiler могут способствовать развитию программного обеспечения на основе ДЛМ.