Встречайте GO To Any Thing (GOAT) Универсальную навигационную систему, которая может найти любой объект, указанный любым способом – как изображение, язык или категория – в полностью незнакомых окружающих условиях.

Познакомьтесь с GO To Any Thing (GOAT) - универсальной навигационной системой, которая может найти любой объект, указанный любым способом - с помощью изображения, языка или категории - в совершенно незнакомых условиях окружающей среды.

Команда исследователей из Университета Иллинойс-Урбана-Шампейн, Университета Карнеги-Меллона, Института технологии Грузии, Университета Калифорнии в Беркли, исследовательского центра Meta AI и исследовательской компании Mistral AI разработала универсальную навигационную систему под названием GO To Any Thing (GOAT). Эта система предназначена для расширенной автономной работы в домашних и складских условиях. GOAT – это мультимодальная система, способная интерпретировать цели по меткам категорий, целевым изображениям и описаниям на естественном языке. Она является жизненной системой, которая использует опыт прошлых задач. GOAT агностика платформы и адаптируется к различным типам роботов.

GOAT – универсальная навигационная система для мобильных роботов, которая отлично справляется с автономной навигацией в разных условиях, используя метки категорий, целевые изображения и описания на естественном языке. GOAT использует оценки глубины и семантическую сегментацию для создания трехмерной семантической воксельной карты для точного обнаружения объектов и хранения информации в памяти. Семантическая карта облегчает пространственное представление, отслеживание экземпляров объектов, препятствий и исследованных областей.

GOAT – это мобильная роботизированная система, вдохновленная навигационными принципами животных и людей. GOAT – универсальная навигационная система, работающая автономно в разных условиях, выполняя задачи на основе ввода человека. Мультимодальная, жизненная и агностика платформы, GOAT использует метки категорий, целевые изображения и описания на естественном языке для определения целей. В исследовании оценивается производительность GOAT в достижении невидимых мультимодальных экземпляров объектов и выделяется его превосходство при использовании метода сопоставления ключевых точек изображения на основе SuperGLUE по сравнению с методами предыдущих исследований, использующих функции сопоставления CLIP.

GOAT – это универсальная навигационная система, которая использует модульную конструкцию и память семантического восприятия экземпляров объектов для мультимодальной навигации на основе изображений и описаний на естественном языке. План является агностика платформы и имеет возможность пожизненного обучения, демонстрируя свои возможности в масштабных экспериментах в реальных домашних условиях. Используя метрики, такие как Успешность с учетом длины пути, производительность GOAT оценивается без предварительно вычисленных карт. Агент использует глобальные и локальные политики, используя метод быстрого марширования для планирования маршрута и точечные навигационные контроллеры для достижения путевых точек по маршруту.

В экспериментальных испытаниях в девяти домах GOAT – универсальная навигационная система показала успех на уровне 83%, превосходя предыдущие методы на 32%. Его успех возрос с 60% при выполнении первой цели до 90% после исследования, что демонстрирует его адаптивность. GOAT легко справлялся с последующими задачами, такими как взятие и размещение предметов и социальная навигация. Качественные эксперименты показали применение GOAT на роботах Boston Dynamics Spot и Hello Robot Stretch. Масштабные количественные эксперименты с использованием Spot в реальных домашних условиях демонстрируют превосходную производительность GOAT по сравнению с тремя базовыми методами, обеспечивая лучшее сопоставление экземпляров и эффективную навигацию.

Выдающийся мультимодальный и агностика платформы дизайн позволяет определить цели с помощью различных средств, включая метки категорий, целевые изображения и описания на естественном языке. Модульная архитектура и память семантического восприятия экземпляров объектов позволяют различать экземпляры одной категории для эффективной навигации. Оценка проводится в масштабных экспериментах без предварительно вычисленных карт, что позволяет GOAT проявить свою универсальность, расширив свои возможности до задач, таких как взятие и размещение предметов и социальная навигация.

Будущая траектория GOAT включает всестороннее изучение его производительности в разных средах и сценариях для оценки его общезначимости и надежности. Исследования будут направлены на улучшение порога сопоставления для решения проблем во время поиска. Дальнейшее исследование будет уделяться субдискретным экземплярам на основе категории целей для улучшения производительности. Непрерывное развитие GOAT включает усовершенствование глобальных и локальных политик и, возможно, интеграцию дополнительных техник для более эффективной навигации. Обширное оценивание в реальном мире будет охватывать различные роботы и задачи, чтобы подтвердить универсальность GOAT. Дальнейшее исследование может расширить применимость GOAT за пределы навигации на такие области, как распознавание объектов, манипуляция и взаимодействие.