Эта научная работа по искусственному интеллекту направлена на передачу семантики движения рук между аватарами на основе каждой из их моделей рук

Научная работа по передаче семантики движения рук между аватарами на основе их моделей рук.

В различных контекстах виртуального аватара, включая синтез речи и жестового языка, производство реалистичных жестов рук показало себя с перспективной стороны. Человеческие руки, основное невербальное средство общения, могут выражать мельчайшие детали при определенных движениях рук. Люди чрезвычайно чувствительны к движениям рук. Поэтому даже незначительные ошибки могут существенно влиять на взаимодействие пользователя с приложениями виртуального аватара. Следовательно, важно сохранять согласованную семантику движения рук для различных виртуальных аватаров. Однако прямое воспроизведение совместных вращений значительно ухудшит тонкую семантику движений рук из-за высокоартикулированной структуры человеческой руки с большим количеством степеней свободы и различными формами и пропорциями рук разных аватаров, как показано на рисунке 1.

Следовательно, важно создать систему, которая может сохранять семантику жестов рук при их перенаправлении на различные аватары. Перенаправление движений и взаимодействие рук с объектами были основными темами ранних исследований. Цель перенаправления движений, которое изобрел Глейхер, заключается в распознавании качеств исходных движений и их применении к целевым движениям различных персонажей. Ранние исследования уделяли внимание методам на основе оптимизации. Недавно исследователи предложили стратегии на основе данных с использованием различных сетевых конструкций и семантических мер. Эти стратегии не работают для перенаправления ловкого движения рук, но могут успешно перенаправлять реалистичные движения тела. Исследователи предложили стратегию на основе правил для перенаправления жестов жестового языка; однако их методология ограничена определенным набором предопределенных жестов рук и требует достаточного тестирования.

В области взаимодействия рук с объектами, к которым относятся синтез статической захвата и синтез движений манипуляции, цель состоит в имитации реалистичных движений рук при взаимодействии с объектами. Тем не менее, эти техники должны сохранять семантику жестов, связанных с коммуникацией. Они также не применимы к различным моделям рук с разными размерами и формами. Несмотря на доступные техники, по-прежнему трудно перенаправить высокоточные, реалистичные движения рук, сохраняя сложную семантику движения в различных моделях рук. Исследователи из Университета Цинхуа в этом исследовании сосредоточились на перенаправлении ловких движений рук с сохранением семантики исходных движений рук в нескольких моделях рук. Этот концепт является инновационным, поскольку перенаправление движений рук требует более высокой точности измерения семантики, чем перенаправление движений тела.

• Лучшие финансовые инструменты искусственного интеллекта в 2023 году
• Создание наклеек WhatsApp для каждой эмоции с использованием генеративного искусственного интеллекта

Из-за высокой плотности суставов рук в небольшой области, что приводит к сильным пространственным взаимодействиям между суставами пальцев и ладонью, необходимо пересмотреть семантические метрики, использованные ранее в перенаправлении движений, такие как циклическая согласованность и матрица расстояний. Поэтому их ключевым результатом является то, что сохранение семантики подвижности рук зависит от пространственных связей между суставами пальцев и ладонью. В результате они создают совершенно новую анатомическую семантическую матрицу (ASM), которая представляет пространственные корреляции. Для точного перенаправления движений рук они используют ASM в качестве семантической меры. Они сначала создают анатомические локальные координатные системы для суставов пальцев на нескольких моделях рук. Затем они создают ASM, используя анатомические локальные координатные системы как основу. Положения ладони и других суставов относительно локальной системы определенного сустава пальца определяются с помощью ASM.

Затем они используют сеть восстановления семантики на основе анатомии (ASRN), чтобы получить отображающую функцию от ASM исходного движения к вращениям целевого движения. Они используют два неоднородных набора данных движений рук для обучения ASRN. Их решение можно использовать с различными моделями рук и не зависит от шаблонных сеток, в отличие от методов семантической соответственности на основе шаблонных сеток. Они провели обширные тесты, чтобы оценить эффективность жестов рук, созданных их ASRN. Эти исследования включали сложные последовательности движений рук и различные формы рук в сценариях перенаправления движений рук внутри и между доменами. Качественные и количественные результаты показывают, что их ASRN значительно превосходит современные техники перенаправления движений.

Ниже кратко перечислены их три вклада:

• Они предлагают новую задачу: перенаправление искусных жестов руки на несколько моделей руки с сохранением семантики.

• Они предоставляют анатомическую семантическую матрицу (ASM), которая может быть использована с различными моделями руки и количественно определяет семантику движения руки без необходимости использования шаблонной сетки.

• С использованием ASM они предлагают передовую архитектуру для перенаправления движения руки с сохранением семантики. Экспериментальные результаты как внутри-доменных, так и междоменных задач перенаправления движения руки подтверждают, что их система работает лучше текущих подходов.