В этой статье по искусственному интеллекту предлагается метод Blending-NeRF, который состоит из предварительно обученной модели NeRF и редактируемой модели NeRF для редактирования локализованных 3D-объектов на основе текста.

В статье предлагается метод Blending-NeRF для редактирования локализованных 3D-объектов на основе текста.

Отрасли, включая живопись, дизайн продуктов и анимацию, значительно влияют на 3D-синтез изображений и связанные технологии. Хотя новые методы 3D-синтеза изображений, такие как Neural Radiance Field (NeRF), позволяют создавать 3D-контент в масштабе, все же у этих методов трудности с широким принятием, поскольку они затрудняют точную и локальную модификацию форм и цветов объектов. Несмотря на несколько недавних попыток редактирования 3D-объектов, часто требуется улучшить более локализованное и детализированное изменение 3D-объектов и сделать его более доступным. Это особенно верно для добавления или удаления определенных элементов определенных стилей. В то время как Text2Mesh и TANGO позволяют только базовые изменения текстуры и плоской формы всего 3D-объекта, ранние попытки, такие как EditNeRF и NeRFEditing, предлагают ограниченные и неуниверсальные возможности редактирования.

Хотя CLIP-NeRF предлагает генеративную технику с дезентанглированным условным NeRF для редактирования объектов, изменение только требуемой части объектов локально представляет сложность. Для требуемой категории редактирования требуется значительное количество тренировочных данных. Они также предлагают другой способ изменить внешний вид предмета, но не форму: настройка одного NeRF на сцену с помощью целей, основанных на CLIP. Необходимо вносить стилистические изменения в определенные области объекта, такие как выборочное изменение цвета и локальное добавление и удаление плотности, как показано на рисунке 1, для достижения эффективного и практичного локализованного редактирования 3D-объектов с помощью любых текстовых подсказок в масштабе.

Рисунок 1 показывает результаты нашей стратегии локализованного манипулирования объектами, управляемого текстом. Базовым объектом является бульдозер, а каждое изменение осуществляется с помощью процедур для корректировки цвета, увеличения плотности и вычитания плотности.

В данной статье авторы компании LG Electronics и Сеульского национального университета представляют передовую технику локализованного редактирования объектов, которая позволяет текстовым подсказкам изменять 3D-объекты, предоставляя полную стилизацию и локализованное редактирование на основе плотности. Они считают, что для полной стилизации форм и цветов недостаточно полагаться на простую настройку одного NeRF для генерации новой плотности вблизи низкой начальной плотности или изменения существующей плотности с помощью целей, основанных на CLIP. Вместо этого они используют метод, который объединяет исходное представление 3D-объекта с подмножеством параметризованных неявных объемных представлений 3D, а затем используют обученную архитектуру NeRF для создания смешанного изображения естественным образом. Они используют предварительно обученный подход к визионно-языковому восприятию, подобному CLIPSeg, для обнаружения области, которую необходимо изменить в процедуре ввода текста. Предложенный метод основан на новой, слоистой архитектуре NeRF, называемой Blending-NeRF, которая включает предварительно обученный NeRF и редактируемый NeRF.

В некоторых случаях NeRF одновременно обучаются для воссоздания статических и динамических элементов активной сцены с использованием нескольких NeRF. Однако их метод добавляет дополнительный NeRF, чтобы обеспечить изменения на основе текста в определенных областях предварительно обученной статической сцены. Эти изменения включают несколько процессов редактирования, включая корректировку цвета, добавление плотности и уменьшение плотности. Они могут локализованно и детально изменять 3D-объекты, объединяя плотность и цвет из двух NeRF.

Они предлагают инновационную архитектуру Blending-NeRF, которая объединяет предварительно обученный NeRF с редактируемым NeRF с использованием различных целей и методов обучения.

Это обзор их вкладов.

• С помощью этого метода можно интуитивно изменять некоторые 3D-объекты, сохраняя их оригинальный вид.

• Они добавляют новые методы смешивания, которые измеряют количество добавленной плотности, уменьшения плотности и изменения цвета. Их подход позволяет точно нацеливаться на конкретные регионы для локализованного редактирования и ограничивает степень изменения объекта из-за этих методов смешивания.

• Они проводят несколько тестов, связанных с редактированием трехмерных объектов с помощью текстового управления, таких как изменение формы и цвета. Они сравнивают свой метод с предыдущими методами и их прямыми расширениями, демонстрируя, что Blending-NeRF качественно и количественно превосходит их.