Масштабирование обучения для множества различных типов роботов

Расширение обучения для разнообразных типов роботов

Вместе с партнерами из 33 академических лабораторий мы объединили данные от 22 различных типов роботов, чтобы создать набор данных Open X-Embodiment и модель RT-X

Роботы – замечательные специалисты, но плохие обобщатели. Обычно вам приходится обучать модель для каждой задачи, робота и среды. Изменение одной переменной часто требует начать с нуля. Но что, если мы могли бы объединить знания в области робототехники и создать способ обучать универсального робота? Сегодня мы запускаем новый набор ресурсов для обучения робототехнике общего назначения для разных типов роботов, или символов. Вместе с партнерами из 33 академических лабораторий мы объединили данные от 22 различных типов роботов, чтобы создать набор данных Open X-Embodiment. Мы также выпускаем RT-1-X, модель робототехники-трансформера (RT), полученную из RT-1 и обученную нашими данными, которая показывает передачу навыков между множеством символов роботов.

В этой работе мы показываем, что обучение одной модели на данных из нескольких символов приводит к значительно лучшей производительности на многих роботах по сравнению с теми, которые обучаются на данных отдельных символов. Мы протестировали нашу модель RT-1-X в пяти разных научных лабораториях и показали улучшение успеха в среднем на 50% по сравнению с методами, разработанными независимо и специально для каждого робота. Мы также показали, что обучение нашей модели визуального действия с использованием языка, RT-2, на данных из нескольких символов роботов увеличивает ее производительность в реальных навыках робототехники в три раза.

Мы разработали эти инструменты для совместного развития исследований по символике в сообществе робототехники. Набор данных Open X-Embodiment и проверочная точка модели RT-1-X теперь доступны для всего научного сообщества благодаря работе лабораторий по всему миру, которые предоставили данные и помогли оценить нашу модель, нацеленные на открытое и ответственное развитие этой технологии. Мы верим, что эти инструменты изменят способ обучения роботов и ускорят это направление исследований.

‍

• Исследователи из MIT и CUHK предлагают LongLoRA (Long Low-Rank Adaptation), эффективный подход AI для очень крупных моделей языка с длинным контекстом (LLM).
• Исследовательские статьи о генеративных агентах, которые стоит прочитать
• Это исследование искусственного интеллекта от Apple исследует известную проблему поведения языковых моделей глубокого обучения в отношении гендерных стереотипов.

Набор данных Open X-Embodiment: Сбор данных для обучения роботов с искусственным интеллектом

Наборы данных и обученные на них модели сыграли ключевую роль в развитии искусственного интеллекта. Как и ImageNet стимулировал исследования в компьютерном зрении, мы полагаем, что Open X-Embodiment может сделать то же самое для развития робототехники. Создание набора данных из разнообразных демонстраций роботов является ключевым шагом для обучения универсальной модели, способной управлять множеством различных типов роботов, следовать разнообразным инструкциям, выполнять базовое рассуждение о сложных задачах и эффективно обобщать. Однако сбор такого набора данных требует слишком больших ресурсов для отдельной лаборатории.

Для разработки набора данных Open X-Embodiment мы сотрудничали с академическими научно-исследовательскими лабораториями более чем в 20 учреждениях, чтобы собрать данные с 22 роботических символов, продемонстрировав более 500 навыков и 150 000 задач на более чем 1 миллион эпизодов. Этот набор данных является самым всеобъемлющим набором данных в области робототехники такого рода.

RT-X: Универсальная модель робототехники

RT-X основана на двух наших робототехнических трансформаторных моделях. Мы обучили RT-1-X с использованием RT-1, нашей модели для управления реальными роботами в масштабе, и мы обучили RT-2-X на RT-2, нашей модели, основанной на видении, языке и действиях (VLA), которая изучает как веб-данные, так и данные роботов. Через это мы показываем, что при одной и той же архитектуре модели RT-1-X и RT-2-X способны достигать более высокой производительности благодаря гораздо более разнообразным данным из разных областей, на которых они обучаются. Мы также показываем, что они улучшают модели, обученные в конкретных областях, и проявляют лучшую обобщающую способность и новые функции. Чтобы оценить RT-1-X в академических университетах-партнерах, мы сравнили его производительность с моделями, разработанными для их специфических задач, таких как открытие двери, по соответствующему набору данных. RT-1-X, обученная с помощью набора данных Open X-Embodiment, показала лучшие результаты на 50% в среднем.

Возникающие навыки в RT-X

Для изучения передачи знаний между роботами мы проводим эксперименты с нашим помощником-роботом на задачах, которые включают объекты и навыки, которых нет в наборе данных RT-2, но есть в другом наборе данных для другого робота. Конкретно, RT-2-X была в три раза успешнее нашей предыдущей лучшей модели, RT-2, по возникающим навыкам.

Наши результаты позволяют сделать вывод, что совместное обучение с использованием данных с других платформ дополняет RT-2-X дополнительными навыками, которых не было в исходном наборе данных, позволяя ему выполнять новые задачи.

RT-2-X проявляет навыки, которыми модель RT-2 не обладала ранее, включая более глубокое пространственное понимание. Например, если мы попросим робота “переместить яблоко рядом с тканью” вместо “положить яблоко на ткань”, траектории будут совершенно разными. Изменяя предлог с “рядом” на “на”, мы можем влиять на действия, которые робот выполняет. 

RT-2-X показывает, что объединение данных с других роботов в процессе обучения расширяет спектр задач, которые могут выполняться, даже у робота, который уже имеет большой объем доступных данных – но только при использовании достаточно мощной архитектуры. 

Ответственное продвижение исследований в робототехнике

Исследования в области робототехники находятся на захватывающем, но раннем этапе. Новые исследования показывают потенциал разработки более полезных помощников-роботов путем масштабирования обучения с использованием более разнообразных данных и лучших моделей. Сотрудничество с лабораториями по всему миру и обмен ресурсами являются важными для ответственного развития исследований в области робототехники. Мы надеемся, что публикация данных и предоставление безопасных, но ограниченных моделей поможет снизить барьеры и ускорить исследования. Будущее робототехники зависит от того, чтобы позволить роботам учиться друг у друга, и, что самое важное, позволять исследователям учиться друг у друга. 

Эта работа демонстрирует, что модели, которые обобщаются на разные инкарнации, возможны, с драматическими улучшениями в производительности как здесь в Google DeepMind, так и на роботах в разных университетах мира. Будущее исследование может исследовать, как объединить эти прогрессивные достижения с возможностью самосовершенствования у RoboCat, чтобы модели могли улучшаться на основе собственного опыта. Еще одним возможным направлением исследований может быть более глубокое исследование того, как различные комбинации наборов данных могут влиять на обобщение на разные инкарнации и о том, как это улучшенное обобщение проявляется.

Прочитайте нашу статью: https://robotics-transformer-x.github.io/paper.pdf

Получите доступ к нашим данным и модели: https://robotics-transformer-x.github.io/

Партнерство с нами: open-x-embodiment@googlegroups.com