Познакомьтесь с Wonder3D новым методом искусственного интеллекта для эффективного создания высокодетализированных текстурированных 3D-моделей на основе изображений с одним ракурсом.

Узнайте о Wonder3D новом методе искусственного интеллекта для эффективного создания высокодетализированных текстурированных 3D-моделей по одному ракурсу на основе изображений.

Восстановление трехмерной геометрии по одиночному изображению представляет собой фундаментальную задачу в области компьютерной графики и трехмерного компьютерного зрения, как это подтверждается предыдущими исследованиями. Эта задача имеет большое значение из-за ее широких применений в таких областях, как виртуальная реальность, видеоигры, генерация трехмерного контента и точность роботизированного манипулирования. Однако эта задача достаточно сложна, так как ее решение не является прямолинейным и требует способности определить трехмерные формы объектов, которые мы видим, а также тех, которые скрыты от нас.

В данном исследовании авторы представляют Wonder3D – инновационный подход к эффективному созданию высококачественных текстурированных мешей из однокадровых изображений. В то время как последние методы, в особенности те, которые используют выборку с распределением результатов (SDS), показали себя перспективными в восстановлении трехмерной геометрии из двухмерных диффузионных априорных значений, они часто страдают от трудоемкой оптимизации для каждой формы и не согласованной геометрии. В отличие от этого, некоторые существующие техники напрямую производят трехмерную информацию с помощью быстрых сетевых выводов, но их результаты обычно обладают низким качеством и не содержат важных геометрических деталей.

Выше приведено изображение, иллюстрирующее обзор Wonder3D. Задав одно изображение, Wonder3D берет входное изображение, встроенные тексты, полученные с помощью модели CLIP, параметры камеры для нескольких видов и переключатель домена в качестве условий для генерации согласованных нормалей с нескольких точек зрения и цветных изображений. Затем Wonder3D применяет инновационный алгоритм слияния нормалей для надежного восстановления высококачественной трехмерной геометрии из двухмерных представлений, создавая меш с текстурами высокой точности.

• Как компания Reveal’s Logikcull использовала Amazon Comprehend для обнаружения и замены личной идентифицирующей информации в юридических документах в больших масштабах.
• Расшифровка математики в изображениях Как новый стандарт MathVista превышает границы искусственного интеллекта в визуальном и математическом мышлении
• Лаборатория искусственного интеллекта Tencent представляет прогрессивные условные модели диффузии (PCDM), которые поэтапно преодолевают разрыв между изображениями людей в заданной и исходной позах через три стадии.

Для поддержания согласованности этого процесса генерации они используют механизм внимания в мультивидовом перекрестном домене, обеспечивающий обмен информацией между различными видами и модальностями. Кроме того, авторы представляют алгоритм слияния нормалей, основанный на геометрии, который извлекает поверхности высокого качества из многовидовых двухмерных представлений. Посредством обширной оценки их метод демонстрирует достижение высококачественных результатов реконструкции, устойчивую обобщаемость и повышенную эффективность по сравнению с предыдущими подходами.

Здесь мы можем увидеть качественные результаты Wonder3D на различных объектах животного мира. Хотя Wonder3D показал перспективу создания трехмерных форм из одиночных изображений, у него есть некоторые ограничения. Одно из ограничений заключается в том, что на данный момент он работает только с шестью различными видами объекта. Это затрудняет восстановление очень тонких объектов или объектов с скрытыми частями. Кроме того, если мы хотим использовать больше видов, потребуется больше вычислительной мощности во время обучения. Чтобы преодолеть это, Wonder3D может использовать более эффективные методы для обработки дополнительных видов.