Это исследование искусственной интеллекта представляет RoboHive классическую программную платформу и экосистему для исследований в области обучения роботов и воплощенного искусственного интеллекта.

Дарование жизни роботам представляем RoboHive - классическую программную платформу и экосистему для исследований в области обучения роботов и воплощенного искусственного интеллекта.

В последние годы сделаны значительные достижения в области искусственного интеллекта (ИИ), особенно в языковом моделировании, складывании белка и игровой сфере. Однако область разработки обучения роботов остается относительно незначительной. Замедление прогресса может быть частично объяснено парадоксом Моравека, который утверждает, что сенсорно-моторные поведенческие реакции более сложны для ИИ-агентов, чем высокоуровневые познавательные деятельности. Кроме того, необходимо обратить внимание на еще одну важную проблему, а именно сложность программных фреймворков для обучения роботов и отсутствие общих бенчмарков. В результате это повышает порог вхождения, ограничивает быстрое прототипирование и угнетает поток идей. Дисциплина робототехники остается более фрагментированной по сравнению с другими областями, такими как компьютерное зрение или обработка естественного языка, где стандартизированы бенчмарки и наборы данных.

Исследователи из Университета Вашингтона, Беркли, Карнеги-Меллона, Университета Техаса в Остине, Open AI, Google AI и Meta-AI представляют RoboHive, интегрированную среду, специально разработанную для обучения роботов, чтобы устранить эту проблему. RoboHive – это платформа, которая служит как инструмент для исследований, так и инструмент для сравнения. Она предлагает широкий спектр контекстов, конкретных описаний задач и строгих критериев оценки для различных парадигм обучения, включая усиление, имитацию и перенос обучения. Для исследователей это обеспечивает возможность эффективного исследования и создания прототипов. Кроме того, RoboHive обеспечивает интеграцию аппаратных средств и возможности телеоперации, позволяющие плавно переходить от реальных роботов к виртуальным. Они хотят сократить разрыв между текущим состоянием обучения роботов и его потенциалом для развития с использованием RoboHive. Создание и открытие RoboHive, унифицированной платформы для обучения роботов, является главным вкладом их работы.

Основные характеристики RoboHive включают:

• Исследователи компании NVIDIA представляют Retro 48B самую большую предварительно обученную модель на базе LLM с извлечением до настройки инструкций.
• Исследовательская группа SalesForce AI разработала ProGen прорывный метод в инженерии белков с использованием искусственного интеллекта
• Исследователи из Принстонского университета представляют модели ShearedLLaMA для ускорения предварительной тренировки языковой модели с помощью структурированного сокращения.

1. Зоопарк окружения: RoboHive предлагает различные настройки, охватывающие различные академические области. Эти настройки могут использоваться для задач манипуляции, включая ловкость манипуляции в руке, движение с помощью двуногих и четырехногих роботов, а также манипуляцию с использованием моделей мышечно-скелетных плечей и рук. Они используют MuJoCo для моделирования их виртуальных миров, которые обеспечивают быструю физическую симуляцию и созданы с учетом физической реалистичности.

2. RoboHive представляет унифицированную абстракцию RobotClass, которая гладко взаимодействует с виртуальными и реальными роботами с помощью simhooks и hardware hooks. Благодаря изменению одного флага, эта специальная возможность позволяет исследователям легко взаимодействовать с аппаратными средствами роботов и переводить свои открытия из симуляции в реальность.

3. Поддержка телеоперации и экспертного набора данных: RoboHive имеет встроенные возможности телеоперации с использованием разных режимов, включая клавиатуру, трехмерную мышь и контроллеры виртуальной реальности. Они предоставляют набор данных RoboSet, один из самых больших собранных наборов данных о реальной манипуляции человеком, который охватывает 12 навыков, связанных с кулинарией. Исследователям, работающим в области имитационного обучения, офлайн-обучения и смежных дисциплин, эти возможности телеоперации и наборы данных будут особенно полезны.

4. Визуальное разнообразие и физическая достоверность: RoboHive уделяет особое внимание проектам с высокой физической реалистичностью и обширным визуальным разнообразием, превосходящим предыдущие бенчмарки, чтобы раскрыть новые исследовательские границы в области роботов реального мира. Они связывают исследования управления визуомоторикой с визуальными трудностями повседневной жизни, включая сложные объекты, изображения с богатой текстурой и улучшенную композицию сцен. Кроме того, RoboHive позволяет настраивать макет сцены и случайную визуальную доменную интерпретацию в различных ситуациях, увеличивая адаптивность визуального восприятия и обеспечивая реалистичные и богатые физические материалы.

5. Метрики и базовые показатели RoboHive использует короткие и однозначные метрики для оценки производительности алгоритмов в различных ситуациях. Фреймворк предлагает удобный API, подобный среде gym, для безшовной интеграции с алгоритмами обучения, обеспечивая доступность для множества академиков и практиков. Кроме того, RoboHive содержит полные базовые результаты для часто исследуемых алгоритмов в исследовательском сообществе в сотрудничестве с TorchRL и mjRL, обеспечивая бенчмарки для сравнения производительности и изучения.