Смотри и учись, маленький робот этот подход искусственного интеллекта обучает роботов универсальному управлению с использованием видеодемонстраций человека.

Смотри и учись, маленький робот использует видеодемонстрации, чтобы обучать других роботов универсальному управлению.

Роботы всегда привлекали внимание в мире технологий. Они всегда находили место в научно-фантастических фильмах, детских шоу, книгах, дистопических романах и т.д. Не так давно они были всего лишь научно-фантастическими мечтами, но теперь они повсюду, перекраивая отрасли и показывая нам представление о будущем. От фабрик до космического пространства, роботы занимают главную сцену, демонстрируя свою точность и приспособляемость, как никогда раньше.

Основная цель в области робототехники всегда была одна и та же: отражать ловкость человека. Поиск совершенствования возможностей манипуляции для отражения человека привел к захватывающим разработкам. Значительные прогресс достигнуты через интеграцию камер с обратной связью, как дополнения или замены статическим камерам третьего лица.

Хотя камеры с обратной связью имеют огромный потенциал, они не гарантируют безошибочные результаты. Модели на основе зрения часто сталкиваются с колебаниями реального мира, такими как изменение фона, переменное освещение и изменение внешнего вида объектов, что приводит к их хрупкости.

Для решения этой проблемы недавно появились новые методы обобщения. Вместо использования данных зрения обучают роботов определенным действиям с использованием разнообразных наборов данных демонстраций роботов. Это работает в некоторой степени, но есть один существенный недостаток. Это дорого, очень дорого. Сбор таких данных в реальной среде робота означает затратное время на такие задачи, как кинестетическое обучение или телепередача робота через VR-гарнитуры или джойстики.

Действительно ли нам нужно полагаться на этот дорогой набор данных? Поскольку основная цель роботов – имитировать людей, почему бы нам просто не использовать видео с демонстрациями людей? Эти видео, на которых показано, как люди выполняют задачи, предлагают более экономичное решение благодаря ловкости людей. Таким образом, можно захватывать несколько демонстраций без постоянной перезагрузки робота, отладки оборудования или трудоемкой перестановки. Это создает интересную возможность использования видеодемонстраций людей для улучшения обобщающих способностей зрительно-центрических робототехнических манипуляторов в масштабе.

Однако преодоление разрыва между человеком и роботом не так просто. Различия во внешности людей и роботов вводят сдвиг распределения, которому необходимо уделить внимание. Познакомьтесь с новыми исследованиями, Даря роботам руку, которые преодолевают этот разрыв.

Существующие методы, использующие вид от третьего лица, справились с этой задачей с помощью стратегий адаптации домена, включающих перевод изображений, инвариантные к домену визуальные представления, а также использование информации о ключевых точках человека и состояниях робота.

Обзор исследования “Даря роботам руку”. Источник: https://arxiv.org/pdf/2307.05959.pdf

В отличие от этого, Даря роботам руку идет простым путем: маскировка постоянной части каждого изображения, эффективно скрывая руку человека или конечный исполнительный механизм робота. Этот простой метод позволяет обойти необходимость применения техник явной адаптации домена, позволяя роботам изучать политики манипуляции непосредственно из видео человека. В результате он решает проблемы, возникающие при явных методах адаптации домена, такие как яркие визуальные несоответствия, возникающие при переводе изображений от человека к роботу.

Предлагаемый метод может обучать роботов выполнять различные задачи. Источник: https://giving-robots-a-hand.github.io/

Ключевым аспектом Даря роботам руку является исследовательский метод, который интегрирует широкий спектр видеодемонстраций человека с обратной связью для улучшения обобщения как среды, так и задачи. Это достигает удивительных результатов на ряде реальных задач робототехники, включая достижение, схватывание, взятие и укладку кубиков, очистку пластин, упаковку игрушек и т.д. Предлагаемый метод значительно улучшает обобщение. Он делает политики способными адаптироваться к незнакомым средам и новым задачам, которые не наблюдались во время демонстраций робота. В сравнении с политиками, обученными только на демонстрациях роботов, заметно увеличение абсолютных показателей успешности в неизведанных средах и задачах в среднем на 58%.