Это исследование искусственного интеллекта из Китая представляет 4K4D 4D представление облака точек, которое поддерживает аппаратную растеризацию и позволяет достигнуть невиданной скорости рендеринга.

4K4D Новое 4D представление облака точек от исследователей искусственного интеллекта из Китая, обеспечивающее аппаратную растеризацию и невероятную скорость рендеринга.

Динамический синтез обзора – это задача компьютерного зрения и графики, нацеленная на восстановление динамических 3D-сцен из захваченных видео и создание иммерсивного виртуального воспроизведения. Практичность этой техники зависит от ее способности к высококачественной рендерингу в режиме реального времени, что позволяет использовать ее в VR/AR, спортивных трансляциях и художественных видеозаписях. Традиционные подходы представляют динамические 3D-сцены в виде текстурированных последовательностей мешей и восстанавливают их с использованием сложного аппаратного обеспечения, что ограничивает их применимость к контролируемым средам. Недавно разработанные методы неявных нейронных представлений продемонстрировали значительный успех в восстановлении динамических 3D-сцен из RGB-видео с помощью дифференцируемого рендеринга. Недавно разработанные методы моделируют целевую сцену как динамическое поле излучения и используют объемный рендеринг для синтеза изображений, сравнивая их с входными изображениями для оптимизации. Несмотря на впечатляющие результаты в динамическом синтезе обзора, существующие подходы обычно требуют секунд или даже минут, чтобы сгенерировать изображение с разрешением 1080p из-за высоких требований к вычислительным ресурсам.

Вдохновленные методологиями статического синтеза обзора, конкретные методы динамического синтеза обзора улучшают скорость рендеринга путем снижения стоимости или количества оценок сети. Используя эти стратегии, представления, известные как карты MLP, достигают скорости рендеринга 41,7 кадров в секунду для динамических переднеплановых людей. Однако проблема скорости рендеринга все еще существует, так как карты MLP обеспечивают производительность в режиме реального времени только при синтезе изображений среднего разрешения (384×512). При рендеринге изображений с разрешением 4K их скорость снижается до 1,3 кадров в секунду.

В данном исследовании представлено новое нейронное представление, названное 4K4D, предназначенное для моделирования и рендеринга динамических 3D-сцен. 4K4D демонстрирует значительные улучшения по сравнению с предыдущими методами динамического синтеза обзора в скорости рендеринга, сохраняя конкурентоспособность в качестве рендеринга. Обзор системы продемонстрирован ниже.

• Эта исследовательская статья ИИ из MIT исследует масштабирование моделей глубокого обучения для химических исследований.
• Исследователи Университета Калифорнии в Лос-Анджелесе представляют новый метод искусственного интеллекта под названием Переформулирование и Ответ (RaR), который улучшает понимание искусственными интеллектами человеческих вопросов
• Это исследование искусственного интеллекта из Китая представляет полную оценку последней версии визуальной языковой модели GPT-4V(ision) и её применение в сценариях автономного вождения.

Основное новшество заключается в представлении 4D облака точек и гибридной модели внешнего вида. В частности, для динамической сцены получается грубая последовательность облака точек с использованием алгоритма обрезания пространства, при этом положение каждой точки моделируется в виде обучаемого вектора. Вводится 4D сетка признаков для назначения вектора признаков каждой точке, которая затем подается на вход сети MLP для предсказания радиуса точки, плотности и коэффициентов сферических гармоник (SH). 4D сетка признаков естественным образом применяет пространственную регуляризацию к облакам точек, улучшая устойчивость оптимизации. Кроме того, разработан алгоритм дифференцируемого снятия глубины, использующий аппаратный растеризатор для достижения беспрецедентной скорости рендеринга.

В исследовании выявляются проблемы представления внешнего вида динамической сцены с помощью модели SH на основе MLP. Для решения этой проблемы вводится модель смешивания изображений для дополнения модели SH в представлении внешнего вида сцены. Важный выбор конструкции обеспечивает независимость сети смешивания изображений от направления обзора, позволяя предварительное вычисление после обучения для улучшения скорости рендеринга. Однако эта стратегия создает проблему дискретного поведения в направлении обзора, которая устраняется с помощью непрерывной модели SH. В отличие от трехмерного гауссового сплетения, использующего исключительно модель SH, эта гибридная модель внешнего вида полностью зависит от информации, полученной с помощью входных изображений, эффективно улучшая качество рендеринга.

Результаты масштабных экспериментов, полученные авторами, утверждают, что 4K4D достигает заметного ускорения рендеринга, превосходящего методы последнего поколения по качеству рендеринга. Согласно данным, используя графический процессор RTX 4090, этот метод обеспечивает скорость до 400 кадров в секунду при разрешении 1080p и до 80 кадров в секунду при разрешении 4K.

Визуальное сравнение с техниками последнего поколения представлено ниже.

Это было резюме 4K4D – нового представления AI 4D точечного облака, которое поддерживает процесс аппаратного растеризации и обеспечивает беспрецедентную скорость отображения. Если вас интересует это и вы хотите узнать больше, пожалуйста, обратитесь к ссылкам, указанным ниже.