Ученые UCSD и ByteDance представляют ActorsNeRF новую анимируемую модель человеческого актера NeRF, которая обобщается на неизвестных актеров в рамках нескольких снимков.

Ученые Университета Калифорнии в Сан-Диего (UCSD) и компания ByteDance представляют ActorsNeRF – новую анимированную модель человеческого актера NeRF, способную обобщаться на неизвестных актеров по нескольким снимкам.

Нейронные радиационные поля (NeRF) – это мощная нейронная техника, основанная на сетях, для захвата трехмерных сцен и объектов из двухмерных изображений или разреженных трехмерных данных. NeRF использует архитектуру нейронной сети, состоящую из двух основных компонентов: сети “NeRF in” и “NeRF out”. Сеть “NeRF in” получает двухмерные координаты пикселя и связанный с ним положение камеры в качестве входных данных и производит вектор признаков. Сеть “NeRF out” берет этот вектор признаков на вход и прогнозирует трехмерное положение и цветовую информацию соответствующей трехмерной точки.

Для создания человеческого представления на основе NeRF обычно начинают с захвата изображений или видео человеческого объекта с разных точек зрения. Эти изображения можно получить с помощью камер, глубинных датчиков или других устройств для сканирования 3D-объектов. Человеческие представления на основе NeRF имеют несколько потенциальных применений, включая виртуальных аватаров для игр и виртуальной реальности, 3D-моделирование для анимации и кино-производства, а также медицинское изображение для создания 3D-моделей пациентов для диагностики и планирования лечения. Однако это может быть вычислительно сложным и требующим значительного объема тренировочных данных.

Для достижения обобщения на разных индивидуальностях исследователи обучали модель NeRF на уровне категорий на разнообразном наборе объектов. Во время стадии вывода они использовали предварительно обученную модель NeRF на уровне категорий и проводили дополнительную настройку с помощью только нескольких изображений целевого актера. Таким образом модель адаптировалась к специфическим характеристикам актеров.

• Исследователи Google представили открытую библиотеку в JAX для глубокого обучения на сферических поверхностях.
• Исследователи из Университета Манчестера представляют MentalLLaMA Первую открытую серию ЛЛМ для понятного анализа психического здоровья с возможностью следовать инструкциям.
• Новое исследование машинного обучения от MIT показывает, как крупные модели языка (LLM) понимают и представляют концепции пространства и времени.

Исследователи обнаружили, что ActorsNeRF превосходит метод HumanNeRF и поддерживает валидную форму для меньшего количества несмотримых частей тела по сравнению с системой HumanNeRF. ActorsNeRF может использовать категории, чтобы плавно синтезировать несмотримые части тела. При тестировании ActorsNeRF на нескольких наборах данных, таких как ZJU-MoCap и AIST++, он превосходит новые человеческие объекты с несмотримыми позамии на разных настройках ограниченного числа изображений.