Исследователи из НТУ Сингапура предлагают PointHPS ИИ-фреймворк для точной оценки позы и формы человека из 3D-облаков точек.

Researchers from NTU Singapore propose PointHPS AI framework for accurate pose and shape estimation from 3D point clouds.

С несколькими достижениями в области искусственного интеллекта, оценка позы и формы человека (HPS) в последние годы стала все более важной областью исследований. С несколькими практическими применениями, включая захват движения, виртуальную примерку и смешанную реальность, восстановление 3D-моделей человеческого тела стало значительной проблемой. Оценка позы и расположения тела, анализ формы и физических свойств тела людей в 3D-пространстве является одним из этапов этого процесса. Один из примеров – использование параметрических моделей человека, таких как модель SMPL, которые изображают человеческое тело с формой и характеристиками положения.

Предсказание этих параметрических моделей по фотографиям 2D стало значительно проще в последние годы. Однако в некоторых случаях 2D-изображения имеют недостатки, такие как неоднозначность глубины и проблемы конфиденциальности. В такой ситуации полезны 3D-данные облаков точек. Благодаря развитию датчиков глубины и доступности крупномасштабных наборов данных, точная оценка позы и формы человека по 3D-облакам точек стала возможной.

В недавнем исследовании команда исследователей представила методическую рамку с названием PointHPS для точной 3D-оценки HPS на основе данных о точках, полученных в реальных условиях. PointHPS использует каскадную конструкцию, при которой характеристики точек повторно уточняются на каждой итерации. Он использует итеративный процесс уточнения, при котором входные данные о точках облака проходят через ряд техник уменьшения и увеличения выборки на разных этапах. Эти процессы стремятся извлечь из данных как локальные, так и глобальные подсказки.

• Исследователи XLang NLP Lab предлагают Lemur современные открытые предварительно обученные модели больших языков, балансирующие возможности текста и кода
• Исследователи из Inception, MBZUAI и Cerebras предоставили в открытый доступ «Jais» самую передовую арабскую большую языковую модель в мире.
• Исследователи из Университета в Йокогаме предлагают VirSen1.0 виртуальную среду для оптимизации разработки систем распознавания жестов человека, основанных на сенсорах.

Для улучшения процедуры извлечения признаков в PointHPS были включены два передовых модуля. Первый – Cross-stage Feature Fusion (CFF) – модуль, который обеспечивает многоуровневую передачу признаков, позволяя эффективно передавать информацию между различными этапами сети. Он помогает сохранять контекст и захватывать информацию. Второй – IFE (Intermediate Feature Enhancement) – сосредоточен на сборе характеристик таким образом, чтобы учитывалась структура человеческого тела. После каждого этапа качество признаков повышается, что делает их более подходящими для точной оценки позы и формы.

Команда провела тесты на двух значительных бенчмарках, чтобы провести всеобъемлющую оценку в различных условиях –

1. Набор реальных данных: Этот набор данных содержит различных участников и действия, которые были записаны в лабораторных условиях с использованием реальных коммерческих датчиков. Он представляет собой более сложную и реалистичную среду.

1. Создание набора данных: Этот набор данных был тщательно создан с учетом реальных условий, таких как одетые люди в оживленных наружных условиях. Также было обеспечено контроль над различными параметрами окружающей среды.

Обширное тестирование показало, что PointHPS превосходит передовые техники по всем показателям оценки своим надежным подходом к извлечению и обработке признаков точек. Эффективность предложенной каскадной архитектуры, улучшенной модулями CFF и IFE, подтверждается также результатами абляционных исследований. Команда намерена предоставить свои предварительно обученные модели, код и данные для использования в дальнейших исследованиях HPS на основе данных облака точек. Будущие исследования в этой области должны быть упрощены, что также повысит возможность точно оценивать позицию и форму 3D-человека по данным облака точек в реальных условиях.