От 2D к 3D улучшение согласованности генерации текста в 3D с выравненными геометрическими условиями.

Преобразование текста из 2D в 3D с поддержкой выравнивания по геометрическим условиям

“`html

Преобразование двумерных изображений в трехмерные объекты с целью создания текста в трехмерном формате является сложной задачей. Это происходит в основном потому, что двумерные модели диффузии изучают только представления, не зависящие от вида, и не имеют понимания трехмерного пространства во время поднятия. Одним из следствий этого ограничения является проблема несогласованности при мультипроекционном представлении трехмерного объекта. Например, если мы преобразуем двумерное изображение куба в трехмерное пространство, модель может сгенерировать куб, идеальный с одной точки зрения, но искаженный с других.

Для решения проблемы геометрической несогласованности группа исследователей предложила новый метод под названием SweetDreamer, который добавляет четко определенные трехмерные формы во время поднятия и выравнивает двумерные геометрические предпочтения с их помощью. Модель достигает этого путем оптимизации двумерной модели диффузии для работы с разными взглядами (для понимания того, как меняется вид объекта в зависимости от взгляда) и производит видоспецифичные координатные карты стандартно ориентированных трехмерных объектов. Этот подход очень эффективен в создании трехмерных объектов, согласованных со всеми точками зрения.

Исследователи поняли, что основная причина несогласованности результатов трехмерного представления связана с геометрической несогласованностью, и поэтому их целью является оснащение двумерных предпочтений возможностью генерации трехмерных объектов, выглядящих одинаково с любой точки зрения, сохраняя при этом их обобщаемость.

• Раскрытие прозрачности ИИ как группировка функций Anthropic улучшает интерпретируемость нейронных сетей
• Oracle представляет видение будущего, основанное на искусственном интеллекте и облачных технологиях
• Связывая большие языковые модели и бизнес LLMops

Метод, предложенный исследователями, использует обширный трехмерный набор данных, включающий различные стандартно ориентированные и нормализованные трехмерные модели. Из случайных углов рендерятся карты глубины, которые преобразуют в координатные карты в стандартной ориентации. Затем модель диффузии в двухмерном виде донастраивается для создания соответствующей координатной карты для определенного вида, в результате чего происходит выравнивание геометрических предпочтений в двумерной модели диффузии. Наконец, выровненные геометрические предпочтения могут быть плавно интегрированы в различные системы текст-в-трехмере, эффективно устраняя проблемы несогласованности и создавая разнообразное, высококачественное 3D-содержимое.

DMTet и NeRF – два распространенных трехмерных представления, используемых в создании текста в трехмерном формате. В научной статье авторы показали, что их выровненные геометрические предпочтения могут быть интегрированы как в DMTet, так и в NeRF для улучшения качества созданных трехмерных объектов. Это демонстрирует общность их подхода и его потенциал для повышения производительности широкого спектра систем текст-в-трехмере.

В связи с отсутствием установленных метрик для оценки результатов процессов создания текста в трехмерном формате исследователи сосредоточились на оценке мультипроекционной согласованности трехмерных результатов. Они случайным образом выбрали 80 подсказок из галереи DreamFusion и произвели создание текста в трехмерном формате с использованием каждого метода. Несогласованность трехмерных объектов затем была проверена вручную для отчета о проценте успешности. Исследователи обнаружили, что их метод значительно превосходит другие методы. Процент успеха составил более 85% как в DMTet, так и в NeRF, в то время как другие методы показали результат около 30%.

В заключение, метод SweetDreamers представляет новый способ достижения передовых результатов в создании текста в трехмерном формате. Он может создавать результаты из широкого спектра подсказок, не имеющих проблемы мультипроекционной несогласованности. Он обеспечивает более высокую производительность по сравнению с предыдущими методами, и исследователи считают, что их работа откроет новое направление использования ограниченных трехмерных данных для улучшения двумерных предпочтений диффузии в текстовом формате в трехмерном формате.

“`