Познакомьтесь с SwimXYZ синтетическим набором данных о плавательных движениях и видео, содержащим 3,4 млн кадров, помеченных настоящими 2D и 3D сочленениями.

Погрузитесь в мир SwimXYZ набор данных о плавательных движениях и видео с 3,4 млн кадрами, помеченными настоящими 2D и 3D сочленениями.

Захват движения человека стал ключевым инструментом в различных отраслях, включая спорт, медицину и анимацию персонажей для развлекательной индустрии. Захват движения используется в спорте для нескольких целей, включая предотвращение травм, анализ травм, анимации видеоигрной индустрии и даже создание информативной визуализации для телевизионных вещателей. Традиционные системы захвата движения обеспечивают надежные результаты в большинстве случаев. Однако они дорогостоящие и требуют много времени на установку, калибровку и последующую обработку, что затрудняет их использование в широком масштабе. Эти проблемы усугубляются для акватических видов спорта, таких как плавание, которые вызывают уникальные проблемы, такие как отражение маркеров или установка подводных камер.

Недавние разработки позволяют захватывать движения с RGB-фотографий и фильмов с использованием простых и доступных устройств. Эти системы с одной камерой в реальном времени могут открыть дверь для широкого применения захвата движения во время спортивных событий с использованием существующих данных видео. Они могут использоваться в небольших сооружениях для улучшения тренировочных программ для любителей. Однако из-за необходимости большего количества данных они сталкиваются с несколькими препятствиями при использовании компьютерного зрения для захвата движения в плавании. Каждый подход к оценке человеческой позы и формы (HPS), будь то 2D (2D суставы, сегментация тела) или 3D (3D суставы, виртуальные маркеры), должен извлекать информацию изображения. Однако компьютерные алгоритмы зрения, обученные на традиционных наборах данных, нуждаются в помощи при работе с акватическими данными, так как они отличаются от тренировочных изображений.

Недавние достижения в оценке HPS показали, что синтетические данные могут заменить или дополнить реальные изображения. В этом исследовании был создан SwimXYZ, обширная коллекция искусственных плавательных движений и фильмов, которая будет доступна онлайн после принятия статьи. Испытания SwimXYZ демонстрируют потенциал захвата движения в плавании, и их цель – помощь в его более широком использовании. Будущие исследования могут использовать движения в формате SMPL для обучения алгоритмов позы и движения или классификаторов плавательных стилей, помимо фильмов, предоставленных SwimXYZ, для обучения моделей оценки позы в 2D и 3D. Отсутствие разнообразия в субъектах (пол, тип тела и внешний вид плавательного костюма) и местах (окружающая среда, дно бассейна) в SwimXYZ может быть исправлено в будущих работах. Другие улучшения могут включать другие аннотации (например, сегментацию и карты глубины) или добавление дополнительных плавательных движений, таких как прыжки и повороты.