Исследователи из Китая представляют крупномасштабный, реальный набор данных с множественными видами под названием ‘FreeMan

Researchers from China present a large-scale, real dataset with multiple types called 'FreeMan'.

Оценка трехмерной структуры человеческого тела по реальным сценам является сложной задачей с значительными последствиями для таких областей, как искусственный интеллект, графика и взаимодействие человека с роботом. Существующие наборы данных для оценки трехмерной позы человека ограничены, поскольку они часто собираются в контролируемых условиях со статическими фонами, которые не отражают изменчивость реальных сценариев. Это ограничение затрудняет разработку точных моделей для реальных приложений.

Существующие наборы данных, такие как Human3.6M и HuMMan, широко используются для оценки трехмерной позы человека, но они собраны в контролируемых лабораторных условиях, которые недостаточно отражают сложность реальных сред. Эти наборы данных ограничены с точки зрения разнообразия сцен, действий человека и масштабируемости. Исследователи предложили различные модели для оценки трехмерной позы человека, но их эффективность часто ограничивается недостатками существующих наборов данных при применении к реальным сценариям.

Команда исследователей из Китая представила “FreeMan”, новый масштабный многокамерный набор данных, разработанный для преодоления ограничений существующих наборов данных для оценки трехмерной позы человека в реальных сценариях. FreeMan является значительным вкладом, направленным на облегчение разработки более точных и надежных моделей для этой важной задачи. 

• 5 Лучших сертификаций по науке о данных в США
• Таксономия обработки естественного языка
• Исследование в Стэнфорде представляет PointOdyssey крупномасштабный синтетический набор данных для долгосрочного отслеживания точек

FreeMan – это комплексный набор данных, состоящий из 11 миллионов кадров из 8000 последовательностей, снятых с помощью 8 синхронизированных смартфонов в различных сценариях. Он охватывает 40 объектов в 10 различных сценах, включая как внутренние, так и внешние среды с разными условиями освещения. Заметно, что FreeMan вводит изменчивость в параметрах камеры и масштабе человеческого тела, что делает его более представительным для реальных сценариев. Исследовательская группа создала автоматизированный аннотационный конвейер для создания этого набора данных, который эффективно генерирует точные трехмерные аннотации из собранных данных. Этот конвейер включает обнаружение человека, обнаружение ключевых точек 2D, оценку позы 3D и аннотацию сетки. Полученный набор данных ценен для нескольких задач, включая монокулярную 3D оценку, преобразование 2D в 3D, многокамерную 3D оценку и нейронную рендеринг человеческих объектов.

Исследователи предоставили полную оценку базовых значений для различных задач с использованием FreeMan. Они сравнили производительность моделей, обученных на FreeMan, с моделями, обученными на существующих наборах данных, таких как Human3.6M и HuMMan. Заметно, что модели, обученные на FreeMan, проявили значительно лучшую производительность при тестировании на наборе данных 3DPW, что подчеркивает превосходство обобщаемости FreeMan в реальных сценариях.

В экспериментах по оценке трехмерной позы человека с использованием нескольких камер модели, обученные на FreeMan, проявили лучшие способности к обобщению по сравнению с моделями, обученными на Human3.6M при тестировании на наборах данных междоменной классификации. Результаты последовательно показывали преимущества разнообразия и масштаба FreeMan.

В экспериментах по преобразованию позы 2D в 3D сложность FreeMan была заметна, поскольку модели, обученные на этом наборе данных, столкнулись с большей сложностью по сравнению с моделями, обученными на других наборах данных. Однако, когда модели были обучены на всем тренировочном наборе FreeMan, их производительность улучшилась, что демонстрирует потенциал набора данных для улучшения производительности модели при обучении на большем масштабе.

В заключение, исследовательская группа представила FreeMan, новый прорывной набор данных для оценки трехмерной позы человека в реальных сценариях. Они устранили несколько ограничений существующих наборов данных, предоставив разнообразие сцен, действий человека, параметров камеры и масштабов человеческого тела. Автоматизированный аннотационный конвейер FreeMan и процесс сбора данных большого масштаба делают его ценным ресурсом для разработки более точных и надежных алгоритмов для оценки трехмерной позы человека. Исследовательская статья подчеркивает превосходство обобщаемости FreeMan по сравнению с существующими наборами данных, демонстрируя его потенциал для улучшения производительности моделей в реальных приложениях. Ожидается, что доступность FreeMan позволит продвинуться в области моделирования человека, компьютерного зрения и взаимодействия человека с роботом, сокращая разрыв между контролируемыми лабораторными условиями и реальными сценариями.