Возьмите руль NVIDIA NeMo SteerLM позволяет компаниям настроить ответы модели во время вывода

Возьмите инициативу в свои руки с помощью NVIDIA NeMo SteerLM настройте ответы модели в режиме реального времени

Разработчики теперь имеют новое AI-устройство в виде рулевого колеса, работающего на основе искусственного интеллекта, чтобы помочь им держаться на дороге во время управления мощными моделями больших языков (LLM-моделей) и достигать желаемых результатов.

Возможности рулевого колеса NVIDIA NeMo SteerLM позволяют компаниям настроить рычаги для установления параметров ответов модели при ее работе в режиме непрерывного производства, процесс, называемый выводом.. В отличие от существующих методов настройки LLM-моделей, оно позволяет создать единственную модель, способную обслуживать десятки и даже сотни случаев использования, что экономит время и деньги.

Исследователи NVIDIA создали SteerLM для того, чтобы обучать модели искусственного интеллекта, что важно для пользователей, например, дорожные знаки, которые нужно соблюдать в определенных сценариях использования или рынках, или степень полезности или юмористичности ответов модели.

Одна модель, множество использований

Результатом является новый уровень гибкости.

• Исследователи искусственного интеллекта из Bytedance и Королевского университета науки и технологии Короля Абдуллы представляют новую основу для анимации дуновения волос на статических портретных фотографиях.
• Исследователи из Стэнфордского университета предлагают MLAgentBench набор задач машинного обучения для проверки искусственного интеллекта агентов.
• Ученые UCSD и ByteDance представляют ActorsNeRF новую анимируемую модель человеческого актера NeRF, которая обобщается на неизвестных актеров в рамках нескольких снимков.

С помощью SteerLM пользователи могут определить все атрибуты, которые им нужны, и встроить их в одну модель. Затем они могут выбирать нужные им комбинации для определенных случаев использования во время работы модели.

Например, настраиваемую модель теперь можно настроить в реальном времени в соответствии с потребностями конкретного отдела, например, бухгалтерии, продаж или инженерного отдела, или отрасли рынка.

Данный метод также позволяет непрерывный цикл улучшения. Ответы от настроенной модели могут использоваться как данные для будущей тренировки, которая настраивает модель на новые уровни полезности.

Экономия времени и денег

До настоящего момента настройка модели искусственного интеллекта под конкретное приложение была подобна перестройке трансмиссии двигателя. Разработчикам приходилось вручную помечать наборы данных, писать большое количество нового кода, настраивать параметры под капотом нейронной сети и повторно обучать модель несколько раз.

SteerLM заменяет эти сложные, трудоемкие процессы тремя простыми шагами:

• Используя базовый набор подсказок, ответов и желаемых атрибутов, настроить модель искусственного интеллекта, которая будет предсказывать, как эти атрибуты будут работать.
• Автоматически генерировать набор данных с помощью этой модели.
• Обучать модель на основе этого набора данных с использованием стандартных методов обучения с учителем.

Множество корпоративных применений

SteerLM можно применять к практически любому корпоративному сценарию, требующему генерации текста.

С помощью SteerLM компания может создать одного общего чат-бота, который можно настраивать в режиме реального времени в соответствии с изменяющимися настроениями, демографическими данными или ситуациями конкретных клиентов в различных отраслях рынка или географических районах.

SteerLM также позволяет одной LLM-модели быть гибким письменным помощником для всей корпорации.

Например, юристы могут изменить свою модель в процессе вывода для использования формального стиля в своей юридической коммуникации. Или маркетинговый персонал может выбирать более разговорный стиль для своей аудитории.

Игра с SteerLM

Чтобы показать потенциал SteerLM, NVIDIA продемонстрировала его на одном из своих классических приложений – играх (см. видео ниже).

Сегодня некоторые игры включают десятки неигровых персонажей – персонажей, которых игрок не может управлять, и которые механически повторяют заранее записанный текст, независимо от пользователя или ситуации.

SteerLM позволяет этим персонажам ожить, отвечая более убедительно и эмоционально на подсказки игроков. Это инструмент, который разработчики игр могут использовать для создания уникального игрового опыта для каждого игрока.

Благодаря SteerLM

Идея нового метода пришла неожиданно.

“Однажды утром я проснулся рано и пришла эта идея, поэтому я встал и записал ее,” – вспоминает И Ю, прикладной исследователь в NVIDIA, инициировавший работу над SteerLM.

Пока он создавал прототип, он сообразил, что популярный метод условной настройки модели также может использоваться в этом методе. Когда все части проекта соединились и его эксперимент успешно прошел, команда изложила метод в виде четырех простых шагов.

Это последний прорыв в области настройки моделей, которая является активной зоной исследований в области искусственного интеллекта.

“Это сложная область, своего рода священная грааль для того, чтобы сделать ИИ более соответствующим человеческой перспективе – и я люблю новые вызовы”, – сказал исследователь, который получил степень доктора философии в вычислительной нейронауке в Университете Джона Хопкинса, затем работал над алгоритмами машинного обучения в финансовой сфере перед тем как присоединиться к NVIDIA.

Держите руль в своих руках

SteerLM доступен разработчикам в качестве программного обеспечения с открытым исходным кодом для попробовать прямо сегодня. Они также могут получить детали о том, как экспериментировать с моделью Llama-2-13b, настроенной с использованием метода SteerLM.

Для пользователей, которым нужна полная корпоративная безопасность и поддержка, SteerLM будет интегрирован в NVIDIA NeMo, мощный фреймворк для создания, настройки и развертывания больших моделей искусственного интеллекта.

Метод SteerLM работает со всеми моделями, поддерживаемыми в NeMo, включая популярные предварительно обученные LLM-модели, такие как Llama-2 и BLOOM, созданные сообществом.

Прочтите технический блог, чтобы узнать больше о SteerLM.

Смотрите уведомление о сведениях о программном продукте.