Исследователи из Университета Пенсильвании представляют Kani легковесный, гибкий и независимый от модели открытый фреймворк искусственного интеллекта для создания приложений на языковых моделях.

Университет Пенсильвании разработал Kani - легкий, гибкий и независимый от модели фреймворк искусственного интеллекта для языковых моделей.

Приложения на основе больших языковых моделей стали популярными. С их удивительными возможностями они становятся все более сложными. Включая функции отслеживания использования инструментов и дополнения восстановления, эти модели привлекают много внимания в сообществе искусственного интеллекта. Существующие фреймворки для создания таких приложений принимают определенный подход, диктуя разработчикам, как форматировать свои запросы и накладывая определенные ограничения на настройку и воспроизводимость.

Для решения этих проблем команда исследователей из Университета Пенсильвании недавно представила Kani – легкий, расширяемый и нейтральный к модели фреймворк с открытым исходным кодом, специально разработанный для создания приложений на языковых моделях. Предоставляя поддержку основных элементов взаимодействия в чате, Kani был создан с целью позволить разработчикам добавлять широкий спектр сложных функций. Взаимодействие модели, управление чатом и надежное вызов функций – некоторые из этих основных элементов.

Разработчики могут создавать приложения на языковых моделях, используя строительные блоки Kani, не ограничиваясь предопределенными структурами или ограничениями, так как Kani выделяется своей адаптивностью и настраиваемостью. Все основные функции Kani были созданы для легкой настройки, кроме того, команда предоставила обширную документацию. Это позволяет разработчикам изменять функциональность фреймворка для удовлетворения их уникальных требований и потребностей.

Kani – полезный инструмент для широкого круга людей, включая ученых, любителей и бизнесменов. Чтобы улучшить воспроизводимость своей работы, Kani помогает исследователям создавать приложения на языковых моделях, обеспечивая тонкую настройку. Даже с использованием таких мощных моделей, как GPT-4 или других сложных моделей, пользователи могут использовать Kani для быстрого начала разработки приложений всего с несколькими строками кода. Гибкость и надежность Kani также полезны для работников промышленности, особенно в областях управления чатом и управления функциями.

Kani, требующий Python 3.10+, упрощает установку и запросы на языковые модели. Устанавливаемый через pip, он предлагает основные зависимости и дополнительные возможности, такие как движок OpenAI. Основной обрабатывающий блок в фреймворке Kani называется «Kani». При создании приложений с Kani пользователь будет работать с различными объектами Kani, которые состоят из трех основных компонентов: среды вывода, истории чата и контекста функции.

С помощью сред вывода объект Kani взаимодействует с языковыми моделями. Благодаря этому взаимодействию разработчики могут легко переключаться между разными моделями, не изменяя код приложения. Kani отслеживает количество токенов и изменения темы. Он следит за тем, чтобы контекст диалога оставался в пределах модели и не выходил за пределы. Наконец, языковые модели могут получать доступ к вызываемым функциям через Kani. Он проверяет вызовы функций, выполняет соответствующий код, а затем отправляет результаты обратно в среду вывода.

В заключение, Kani представлен в качестве решения проблем, с которыми сталкиваются разработчики приложений на языковых моделях. Он позволяет настраивать, гибко создавать невероятные приложения, предлагая разработчикам основные строительные блоки для взаимодействия в чате, чтобы они могли создавать приложения с богатым функционалом, сохраняя контроль и совместимость.