Эта научная статья от Google и UC Berkeley представляет NeRFiller искусственный интеллект, который революционизирует восстановление 3D сцен с использованием моделей апертуры и диффузии 2D.

Новый прорыв в восстановлении 3D сцен искусственный интеллект NeRFiller от Google и UC Berkeley, использующий модели апертуры и диффузии 2D

“`html

Как можно эффективно заполнить недостающие части 3D-снимков? Эта научная статья от Google Research и UC Berkeley представляет новый подход “NeRFiller” к 3D-заполнению, который решает проблему восстановления недостающих 3D сцен или объектов, часто отсутствующих из-за ошибок реконструкции или недостатка наблюдений. Данный подход позволяет точное и настраиваемое заполнение сцены, контролируя процесс заполнения с помощью примеров-референсов. NeRFiller – это подход к 3D-генеративному заполнению, который улучшает сцены или объекты в 3D-снимках, делая его эффективным средством для улучшения 3D-реконструкций.

В исследовании рассматриваются разнообразные методологии для заполнения недостающих секций в 3D-сценах, начиная от традиционного 2D-заполнения до передовых техник, таких как LaMa для масштабного заполнения. Изучаются вероятностные и латентные диффузионные модели, рассматриваются 3D-генеративные подходы, включающие текст или изображения в качестве входных данных. Особое внимание уделяется настройкам удаления объектов, а также оцениваются различные базовые уровни и наборы данных для 3D-заполнения. Работы, связанные с видео и редактированием сцен, затрагиваются, но в основном фокусируются на заполнении сцены в контексте существующих 3D-сцен.

Исследование решает проблему завершения и заполнения 3D-сцен, акцентируя важность 3D-осознанного и мульти-камерного подхода. Различаются завершение сцены и удаление объекта, фокус сосредоточен на генерации нового контента в 3D-сценах. Обсуждаются ограничения 2D-генеративных моделей заполнения для 3D-консистентных изображений. Предложенный подход NeRFiller использует грид-приорное явление из моделей диффузии текста-в-изображение для улучшения мульти-камерной согласованности в заполнении. Также обсуждаются работы, связанные с генерацией 3D-сцен и методами удаления объектов.

• Вы меня понимаете? Человеческий и машинный интеллект
• AMD + 🤗 Ускорение больших языковых моделей из коробки с помощью графического процессора AMD
• UltraFastBERT экспоненциально более быстрая языковая модель

NeRFiller – это метод, который использует генеративную 2D-модель диффузии для заполнения, прежде чем завершить недостающие регионы в 3D-сценах. Он решает проблемы разнообразных оценок заполнения и отсутствия 3D-согласованности в 2D-моделях. NeRFiller включает механизмы консолидации для выборочных результатов заполнения и поощряет 3D-характер. Он использует итеративную оптимизацию 3D-сцены и расширяет заполнение гридом до большой коллекции изображений. Базовые уровни, такие как Masked NeRF и LaMask, сравниваются, что демонстрирует эффективность NeRFiller. Оценка включает сравнения, метрики для нового вида, качество изображения MUSIQ и геометрические метрики.

NeRFiller превосходит в заполнении 3D-сцены, заполняя недостающие регионы и удаляя нежелательные завесы, демонстрируя 3D-согласованность и правдоподобие. По сравнению с базовыми уровнями удаления объектов, NeRFiller показывает лучшие результаты в заполнении недостающих областей. В рамках оценки рассматриваются метрики NeRF, нового вида, качества изображения MUSIQ и геометрические метрики, демонстрируя его эффективность в генерации согласованных и реалистичных 3D-сцен.

В заключение, NeRFiller – это мощный инструмент для 3D-заполнения, который может точно заполнять отсутствующие части в 3D-сценах. Его способность заполнять пробелы и удалять нежелательные элементы превосходит базовые уровни удаления объектов. Введение совместного мульти-видового заполнения дополнительно повышает его согласованность, усредняя шумные предсказания по нескольким изображениям. NeRFiller продемонстрировал свою эффективность в заполнении пользовательских 3D-сцен, сравнивая их с передовыми базовыми уровнями. Он предоставляет ценный каркас для заполнения недостающих регионов в 3D-снимках с пользовательскими спецификациями.

“`