Исследователи из Университета Чикаго представляют 3D кисть метод искусственного интеллекта для генерации локально стилизованных текстур на сетках с использованием текста в качестве входных данных.

Университет Чикаго представляет 3D кисть, использующую искусственный интеллект для создания стилизованных текстур на сетках с использованием текста в качестве входных данных.

3D кисти для рисования обычно используются при создании и моделировании 3D-объектов или моделей. Эти инструменты позволяют пользователям рисовать непосредственно на 3D-поверхностях, добавлять текстуры, цвета и детали к моделям. Этот процесс фундаментален для создания реалистичных текстур, добавления сложных деталей и оживления 3D-объектов в различных отраслях, таких как игры, анимация, кино и другие.

Высоко детализированные и точные локализации важны для ограничения изменений в конкретном регионе и предотвращения изменений, не связанных с целевым редактированием. Обычно используется техника “сетки с текстурными картами”. Текстурная карта представляет собой 2D-изображение или набор изображений, обернутых вокруг поверхности 3D-модели, чтобы предоставить детали, такие как цвет, узоры поверхности, шероховатость, блеск и другие визуальные характеристики. 3D-структуры, состоящие из вершин, ребер и граней, образуют форму объекта.

Исследователи из Университета Чикаго и исследовательского отдела Snap разработали 3D-кисть для автоматической текстурировки локальных семантических регионов на сетках с помощью текстового описания. Их метод разработан для работы непосредственно на сетках, создавая текстурные карты, которые без проблем интегрируются в стандартные графические конвейеры. 3D-кисть управляется с помощью интуитивного ввода текста свободной формы, позволяя пользователям описывать свои изменения с использованием открытых словарей на различных сетках.

Они также разработали метод каскадного усиления результатов (CSD) для улучшения деталей и разрешения локальных текстурных областей. Используя его, они могут изменять локализацию и деформировать геометрию внутри локализованной области. Они использовали нейронные поля, кодируемые многократными слоями восприятия, для представления локализации и текстурных карт. Эта локализация непосредственно помечает текстуру и обеспечивает согласованный локальный стиль к локализованной границе.

Явное изучение локализации параллельно с текстурой гарантирует, что локализованный регион ограничивает изменения. Они говорят, что локализация 3D-кисти более четкая, чем та, которую производят существующие модели. Пользователи могут использовать свой CSD для контроля гранулярности и общего понимания наблюдения, достигая текстур высокого разрешения и локализации, превышающих другие SDS.

Их метод использует определенные на 3D-поверхностях MLP для создания нейронной текстуры, которая производит плавно изменяющиеся выходы в 3D. Это также возможно, когда 2D текстурные карты имеют разрывы на границах текстуры. Плавность, обеспечиваемая MLP, уменьшает артефакты, создает менее шумные текстуры и обладает возможностями супер-разрешения.

Команда одновременно оптимизировала локализацию и область текстуры. Они обнаружили, что одновременная оптимизация приводит к высоко детализированным текстурам, которые эффективно соответствуют предсказанным локализационным областям. Предсказанная локализационная область четкая и сложная. В будущем они хотят расширить возможности локализованного редактирования за пределами текстурирования и научиться одновременно текстурировать несколько форм с использованием одной и той же локальной текстурной карты, чтобы обеспечить соответствия между формами.