Это исследование искусственного интеллекта представляет PERF Панорамное преобразование NeRF, превращающее одиночные изображения в исследуемые 3D сцены

Эксклюзивное исследование PERF Панорамное преобразование NeRF превращает одиночные изображения в захватывающие 3D сцены

NeRF расшифровывается, как нейронные поля радиации, это глубокая техника обучения для построения трехмерной сцены и синтеза изображений с помощью двумерных изображений. Обычно для точного построения трехмерного представления требуется несколько изображений или видов сцены. NeRF включает набор фотографий сцены, сделанных с разных точек зрения. NeRF вдохновил разработку расширений и улучшений, таких как NeRF-W, которые стремятся сделать его более эффективным, точным и применимым в различных сценариях, включая динамические сцены и приложения в реальном времени. Его варианты оказали значительное влияние на области компьютерного зрения, компьютерной графики и восстановления трехмерной сцены.

Однако, если у вас есть одно изображение и вы хотите включить трехмерные предпочтения, вам необходимо улучшить качество трехмерной реконструкции. Существующие техники ограничивают поле зрения, что сильно ограничивает их масштабируемость в реальных панорамных сценариях с 360-градусными обзорами и большими размерами. Исследователи представляют панорамную нейронную радиационную сферу синтеза нового вида, называемую PERF. PERF расшифровывается как панорамное нейронное поле радиации. Их метод обучает панорамное нейронное поле радиации по одной панораме.

Панорамное изображение создается путем съемки нескольких изображений, часто последовательно, и затем их сшивки для создания непрерывного и широкоугольного представления ландшафта, городской панорамы или любой другой сцены. Команда предлагает совместный метод RGBD-фурнитуры для завершения RGB-изображений и глубинных карт видимых областей с обученной стабильной диффузией для фурнитуры RGB. Они также обучили монокулярный оценщик глубины для завершения глубины, чтобы создавать новое появление и трехмерные формы, невидимые на входной панораме.

• Это исследование искусственного интеллекта представляет две модели диффузии для генерации высококачественного видео модели текст-в-видео (T2V) и модели изображение-в-видео (I2V).
• Исследование искусственного интеллекта представляет Atom метод низкобитовой квантизации для эффективного и точного обслуживания больших языковых моделей (LLM).
• Это исследование по искусственному интеллекту представляет прорывные методы по настройке языковых моделей для разработки микросхем.

Обучение панорамного нейронного поля радиации (NeRF) с помощью одной панорамы является сложной задачей из-за отсутствия трехмерной информации, большей окупации объектов большого размера, связанных с проблемами по реконструкции и генерации и геометрического противоречия между видимыми и невидимыми областями во время фурнитуры. Для решения этих проблем, PERF состоит из трехэтапного процесса: 1) получение обучения NeRF с одним видом с учетом глубины; 2) совместная фурнитура RGBD ROI; и 3) использование прогрессивной фурнитуры и удаления покрытия.

Для оптимизации предсказанной глубины карты ROI и обеспечения ее согласованности с глобальной панорамной сценой они предлагают метод фурнитуры и стирания, который заполняет невидимые области из случайного вида и стирает конфликтующие геометрические области, наблюдаемые с других опорных видов, обеспечивая более качественное завершение трехмерной сцены.

Исследователи провели эксперименты на наборах данных Replica и PERF-in-the-wild. Они демонстрируют, что PERF достигает нового рекорда в области панорамного нейронного поля радиации с одним видом. Они говорят, что PERF может быть применен к панораме-3D, тексту-3D и стилизации трехмерных сцен, чтобы получить удивительные результаты с несколькими многообещающими приложениями.

PERF значительно улучшает производительность одношотового NeRF, но сильно зависит от точности оценщика глубины и стабильной диффузии. Поэтому команда говорит, что будущая работа будет включать повышение точности оценщика глубины и модели стабильной диффузии.