Meta AI представляет Relightable Gaussian Codec Avatars искусственный интеллект для создания высококачественных Relightable Head Avatars, которые можно анимировать для генерации новых выражений

Meta AI представляет Relightable Gaussian Codec Avatars искусственный интеллект для создания высококачественных Головных Avatars с возможностью изменения освещения, которые можно анимировать для генерации новых выражений

Translate this html (keep the html code in the result) to Russian:

В новаторском исследовании исследователи Meta AI впервые решили вечную проблему достижения высококачественного переосвещения для динамических 3D-аватаров головы. Традиционные методы часто не удавалось справиться с захватом тонких деталей выражения лица, особенно в реальном времени, где эффективность на первом месте. Исследовательская команда Meta AI ответила на этот вызов, представив революционный метод – кодек Relightable Gaussian Codec Avatars, способный переопределить понятие реализма аватаров.

Основная проблема, которую решает исследовательская команда, – необходимость более ясного захвата подмиллиметровых деталей, таких как пряди волос и поры кожи, в динамических последовательностях лиц. Сложность в том, что необходимо эффективно моделировать различные материалы в голове человека, включая глаза, кожу и волосы, учитывая всефреквентные отражения. Ограничения существующих методов сподвигли необходимость разработки нового, инновационного решения, которое безупречно сочетало бы реализм с производительностью в реальном времени.

• Представляя сущность стохастик в машинном обучении
• Прогнозы по инфраструктуре на 2024 год
• Как мосты Шредингера превосходят модели диффузии в синтезе речи из текста (TTS)?

Существующие подходы к переосвещаемым аватарам боролись с компромиссом между производительностью в реальном времени и достоверностью. Постоянной проблемой оставалась необходимость метода, который может захватывать динамические детали лица в реальном времени. Исследовательская команда Meta AI увидела эту проблему и представила “кодек Relightable Gaussian Codec Avatars” как трансформирующее решение.

Метод Meta AI основан на геометрической модели, основанной на 3D-гауссовых функциях, обеспечивающей точность до субмиллиметровой точности. Это значительный прогресс в захвате динамических последовательностей лиц, обеспечивающий реалистичные детали аватаров, включая тонкости волос и пор. Режим переосвещаемого вида, ключевой компонент этого инновационного подхода, основан на обучаемом радио-передаче.

Гениальность этих аватаров заключается в обобщенном подходе к их созданию. Геометрическая модель, параметризованная 3D-гауссовыми функциями, является основой аватаров и позволяет эффективно визуализировать с помощью методики гауссова спаривания. Режим вида, определяемый обучаемой радио-передачей, объединяет диффузные сферические гармоники и спекулярные гауссовы функции. Эта комбинация позволяет аватарам в реальном времени изменять освещение с помощью точечного света и непрерывной подсветки.

На практике метод предоставляет возможность дисентанглированного управления выражением, взглядом, обзором и освещением. Аватары могут динамически анимироваться, используя скрытый код выражения, информацию о взгляде и выбранном направлении обзора. Этот уровень контроля является значительным прорывом в анимации аватаров и предлагает утонченный и интерактивный пользовательский опыт.

Эти аватары – не просто теоретический прогресс, они доставляют ощутимые результаты. Метод позволяет дисентанглированное управление различными аспектами, как показано через анимацию в режиме реального времени, основанную на видео с камер головного монтажа. Эта возможность создает динамический, интерактивный контент, где видео в реальном времени можно без проблем использовать для управления аватарами.

В заключение, “кодек Relightable Gaussian Codec Avatars” от Meta AI является свидетельством силы инноваций в решении сложных задач. Путем сочетания геометрической модели, основанной на 3D-гауссовых функциях, с революционной моделью радио-передачи, исследовательская команда превзошла ограничения существующих методов и установила новые стандарты реализма аватаров.