NVIDIA AI раскрывает SteerLM новый метод искусственного интеллекта, который позволяет пользователям настроить ответы больших языковых моделей (LLM) во время вывода.

Новый метод искусственного интеллекта SteerLM, разработанный NVIDIA AI, позволяет пользователям настроить ответы больших языковых моделей (LLM) в режиме реального времени.

В постоянно меняющемся ландшафте искусственного интеллекта давно существует проблема, которая мучает разработчиков и пользователей: необходимость в более настраиваемых и нюансированных ответах от больших языковых моделей. Хотя такие модели, как Llama 2, могут генерировать текст, похожий на человеческий, часто требуется предоставить ответы, действительно соответствующие индивидуальным потребностям каждого пользователя. Традиционные подходы, такие как подгонка с учителем (SFT) и обучение с подкреплением на основе обратной связи от людей (RLHF), имеют свои ограничения, что может приводить к более механическим и сложным ответам.

NVIDIA Research представила SteerLM – революционную технику, которая обещает решить эти проблемы. SteerLM предлагает новый подход, ориентированный на пользователя, для настройки ответов больших языковых моделей, предлагая больший контроль над их выводами, позволяя пользователям определять ключевые атрибуты, которые определяют поведение модели.

SteerLM работает через четырехэтапный процесс подготовки модели с подкрепленным обучением, который упрощает настройку больших языковых моделей. Сначала он обучает модель предсказания атрибутов с использованием аннотированных людьми наборов данных для оценки таких качеств, как полезность, юмор и креативность. Затем он использует эту модель для аннотирования разнообразных наборов данных, расширяя разнообразие данных, доступных для языковой модели. Затем SteerLM использует подгонку с учётом атрибутов с подкрепленным обучением, обучая модель генерировать ответы на основе указанных атрибутов, таких как воспринимаемое качество. В конце он уточняет модель с помощью бутстрэп-обучения, создавая разнообразные ответы и улучшая для оптимального соответствия.

• Познакомьтесь с MindGPT неинвазивным нейральным декодером, который интерпретирует воспринимаемые визуальные стимулы на естественные языки на основе сигналов фМРТ.
• Познакомьтесь с Decaf новым фреймворком искусственного интеллекта для захвата моноокулярных деформаций при взаимодействии лица и рук.
• Познакомьтесь с PIXART-α моделью T2I Diffusion на основе трансформатора, качество создания изображений которой конкурентно с передовыми генераторами изображений.

Одной из отличительных особенностей SteerLM является его возможность регулировки в реальном времени, позволяющая пользователям настраивать атрибуты во время вывода, учитывая их конкретные потребности в движении. Эта замечательная гибкость открывает дверь к различным потенциальным применениям, от игр и образования до доступности. Благодаря SteerLM компании могут обслуживать несколько команд с персонализированными возможностями от одной модели, избегая необходимости строить модели для каждого отдельного применения.

Простота использования SteerLM очевидна в его метриках и производительности. SteerLM 43B выступил лучше существующих моделей RLHF, таких как ChatGPT-3.5 и Llama 30B RLHF, в экспериментах на бенчмарке Vicuna. Предлагая простой процесс подгонки с минимальными изменениями в инфраструктуре и коде, SteerLM демонстрирует исключительные результаты с меньшими неудобствами, что делает его значимым прорывом в области настройки искусственного интеллекта.

NVIDIA делает значительный шаг в передаче расширенной настройки в публичное пользование, выпуская SteerLM в качестве программного обеспечения с открытым исходным кодом в рамках своей платформы NVIDIA NeMo. Теперь разработчики имеют возможность получить доступ к коду и попробовать эту технику с персонализированной моделью Llama 2 объемом 13 млрд, доступной на платформах, таких как Hugging Face. Для тех, кто заинтересован в обучении своей модели SteerLM, также предоставлены подробные инструкции.

По мере того как большие языковые модели продолжают развиваться, потребность в решениях, подобных SteerLM, становится все более существенной, чтобы предлагать искусственный интеллект, который не только разумен, но и действительно полезен и согласован с ценностями пользователя. С помощью SteerLM сообщество искусственного интеллекта делает значительный шаг вперед в стремлении к более настраиваемым и адаптивным системам искусственного интеллекта, заложив новую эру индивидуального искусственного интеллекта.