Как мы можем измерить неопределенность в нейронных радиационных полях? Представляем BayesRays революционную пост-хок-систему для NeRFs

BayesRays - революционная пост-хок-система для измерения неопределенности в нейронных радиационных полях.

Создание трехмерных моделей обеспечивает более погружающее и реалистичное представление сцен по сравнению с двухмерными изображениями. Они позволяют зрителям исследовать и взаимодействовать со сценой с разных углов, обеспечивая лучшее понимание пространственной структуры и глубины информации.

Они являются основой для приложений виртуальной и дополненной реальности (VR и AR). Они позволяют наложение цифровой информации на реальный мир (AR) или создание полностью виртуальных сред (VR), улучшая пользовательский опыт в играх, образовании, тренировке и различных отраслях промышленности.

Нейронные поля радиации (NeRFs) – это метод компьютерного зрения в трехмерной реконструкции и рендеринге сцен. NeRF рассматривает сцену как трехмерный объем, где каждая точка в объеме имеет соответствующий цвет (радиация) и плотность. Нейронная сеть обучается предсказывать цвет и плотность каждой точки на основе двухмерных изображений, полученных из разных точек обзора.

NeRFs имеют несколько приложений, таких как синтез видов и оценка глубины, но обучение на основе множества изображений несет в себе неопределенности. Текущие методы их количественной оценки являются либо эвристическими, либо требуют больших вычислительных затрат. Исследователи из Google DeepMind, Adobe Research и Университета Торонто представили новую технику под названием BayesRays.

Она состоит из метода оценки неопределенности для любого предварительно обученного NeRF без изменения процесса обучения. Добавляя объемное поле неопределенности с использованием пространственных возмущений и байесовской аппроксимации Лапласа, им удалось преодолеть ограничения NeRFs. Байесовская аппроксимация Лапласа – это математический метод приближения сложных вероятностных распределений более простыми многомерными гауссовскими распределениями.

Их вычисленные неопределенности являются статистически значимыми и могут быть визуализированы как дополнительные цветовые каналы. Их метод также превосходит предыдущие работы по ключевым метрикам, таким как корреляция с ошибками восстановленной глубины. Они используют плагин-проигрывательский вероятностный подход для количественной оценки неопределенности любых предварительно обученных NeRFs, независимо от их архитектуры. Их работа позволяет удалять артефакты от предварительно обученных NeRFs в реальном времени.

Они говорят, что их интуиция заключается в использовании объемных полей для моделирования трехмерных сцен. Объемные поля деформации часто используются для манипулирования неявно представленными объектами. Их работа также похожа на фотограмметрию, где восстановление неопределенности часто моделируется путем размещения гауссовских распределений на определенных пространственных позициях.

Наконец, они говорят, что их алгоритм ограничен количественной оценкой неопределенности NeRFs и не может быть тривиально перенесен на другие фреймворки. Однако их будущая работа предполагает разработку аппроксимации Лапласа на основе деформации для более новых пространственных представлений, таких как трехмерная гауссовская рассекающая.