Исследователи из НЙУ и Meta представляют Dobb-E открытую и универсальную рамку для обучения домашней робототехнике.

Исследователи НЙУ и Meta представляют Dobb-E открытую и универсальную рамку для домашней робототехники.

Команда исследователей из NYU и Meta стремилась решить проблему обучения робототехнического манипулирования в домашних условиях, представив DobbE – высокоадаптивную систему, способную учиться и приспосабливаться на основе демонстраций пользователей. Эксперименты продемонстрировали эффективность системы, одновременно выделив уникальные сложности реального мира.

Исследование признает значительные успехи в накоплении обширных наборов данных робототехники, подчеркивая уникальность их набора данных, сосредоточенного на домашних и робототехнических взаимодействиях от первого лица. Используя возможности iPhone, набор данных предоставляет высококачественные действия и информацию о глубине. Подчеркивается преимущество предварительного обучения на этих данных по сравнению с существующими моделями представления, сфокусированными на автоматизированном манипулировании. Они предлагают дополнить набор данных информацией не относящейся к роботам из домашних видеороликов для дополнительных улучшений, признавая потенциал таких дополнений в их исследованиях.

В предисловии поднимаются вопросы создания всестороннего домашнего помощника, приветствуя переход от контролируемых сред к реальным домам. Подчеркиваются эффективность, безопасность и комфорт пользователя, представляя DobbE, как фреймворк, воплощающий эти принципы. Он использует данные большого масштаба и современное машинное обучение для обеспечения эффективности, демонстрации пользователя для обеспечения безопасности и эргономичного инструмента для комфорта пользователя. DobbE интегрирует железо, модели и алгоритмы вокруг робота Hello Robot Stretch. Кроме того, обсуждаются набор данных Homes of New York с разнообразными демонстрациями из 22 домов и самообучаемые методы для моделей видения.

• Исследователи Microsoft предлагают MAIRA-1 Радиологическую мультимодальную модель для генерации радиологических отчетов по рентгенограммам грудной клетки (CXRs).
• Исследователи из компании Microsoft и Грузинского Технического Университета представляют TongueTap мультимодальное распознавание жестов языка с помощью носимых устройств
• Исследователи Университета Калифорнии в Беркли создают ALIA прорыв в автоматизированном увеличении изображений с помощью языка для задач точной классификации

Исследование использует рамочную схему клонирования поведения, часть обучения по имитации, для обучения DobbE имитировать человеческое или поведение экспертных агентов. Специально разработанное аппаратное обеспечение обеспечивает сбор демонстраций и их передачу роботу, используя разнообразные данные о домашней среде, включая данные об оптическом смещении. Основные модели предварительно обучаются на этих данных. Подопытные модели проходят тестирование в реальных домашних условиях, а также проводятся эксперименты с учетом разных составляющих системы, включая визуальное представление, необходимые демонстрации, восприятие глубины, экспертизу демонстранта и необходимость параметрической политики в системе.

DobbE продемонстрировал успех на уровне 81% в незнакомой домашней среде после получения всего пяти минут демонстраций и 15 минут адаптации модели предварительного обучения дома. В течение 30 дней в 10 разных домах DobbE успешно освоил 102 из 109 задач, доказывая эффективность простых методов, таких как клонирование поведения с использованием модели ResNet для визуального представления и двухслойной нейронной сети для прогнозирования действий. Время выполнения и сложность задач анализировались с помощью регрессионного анализа, а эксперименты с абляцией оценивали различные компоненты системы, включая графическое представление и экспертизу демонстранта.

В заключение, DobbE – это экономически эффективная и универсальная система робототехнического манипулирования, протестированная в различных домашних условиях с впечатляющим уровнем успеха 81%. Программный стек системы, модели, данные и конструктивы аппаратуры DobbE были щедро опубликованы командой для содействия исследованиям в области домовых роботов и стимулированию широкого принятия роботов-дворецких. Успех DobbE можно приписать его мощным, но простым методам, включая клонирование поведения и двухслойную нейронную сеть для прогнозирования действий. Эксперименты также пролили свет на трудности, связанные с условиями освещения и тенями, влияющими на исполнение задач.