Познакомьтесь с One-2-3-45++ Инновационным методом искусственного интеллекта, который преобразует одно изображение в подробную 3D-текстурированную сетку за примерно одну минуту.
Познакомьтесь с инновационным методом One-2-3-45++, который преобразует одно изображение в подробную 3D-текстурированную сетку всего за минуту.
Исследователи из Университета Калифорнии в Сан-Диего, Зейцзянского университета, Университета Цинхуа, UCLA и Стэнфордского университета представили метод One-2-3-45++, инновационный метод искусственного интеллекта для быстрой и качественной генерации 3D-объектов. Подход основан на 2D-моделях диффузии, изначально настраиваемых для однородной генерации мульти-видовых изображений. Модели диффузии 3D-однородности с использованием мульти-видовых условий затем преобразуют эти изображения в подробные 3D-сетки с текстурами. Техника синтезирует высококачественные и разнообразные 3D-элементы, близкие к входному изображению примерно за минуту, решая проблемы скорости и качества в практических приложениях.
One-2-3-45++ – метод генерации качественных 3D-объектов из одного RGB-изображения менее чем за одну минуту. За счет использования мульти-видовых изображений, подход улучшает текстуру генерируемой сетки через легкий процесс оптимизации. Сравнительная оценка подтверждает превосходство метода One-2-3-45++ по отношению к базовым методам в отношении сходства CLIP и оценки предпочтений пользователей. Особое значение для эффективности 3D-модуля диффузии в мульти-видовой генерации подчеркивает значительные улучшения по сравнению с существующими подходами.
Исследование решает проблему генерации 3D-форм из одного изображения или текстовых указаний, что является важным для различных приложений. Существующие методы общего обучения на неизвестных категориях требуют пересмотра из-за недостаточности тренировочных данных 3D. Предложенный метод One-2-3-45++ преодолевает недостатки своего предшественника, One-2-3-45, одновременно предсказывая согласованные мульти-видовые изображения и используя модуль 3D-диффузии с условиями мульти-вида для эффективной и реалистичной 3D-реконструкции. Подход достигает высококачественных результатов с тонким контролем менее чем за минуту, превосходя базовые методы.
- Встречайте LEO Революционный мульти-модальный агент воплощенного виртуального присутствия для интеракции с 3D-миром и решения задач
- Эта статья об искусственном интеллекте из Китая представляет ‘Monkey’ новый подход к искусственному интеллекту для улучшения разрешения ввода и контекстуальной связи в больших мультимодальных моделях
- Познакомьтесь с Slope TransFormer крупной языковой моделью (LLM), специально обученной для понимания языка банков.
Модель One-2-3-45++, обученная на обширных мульти-видовых и 3D-сопряжениях, использует отдельные сети диффузии для каждого этапа. Первый этап использует обычную 3D-свертку для создания полного объема 3D-заполнения, а второй этап включает 3D-разреженную свертку для объема 3D-освещения. Легкий модуль уточнения сетки, управляемый мульти-видовыми изображениями, улучшает качество текстуры. Оценочные метрики, включая сходство CLIP и оценки предпочтений пользователей, демонстрируют превосходство метода над базовыми. Пользовательское исследование подтверждает качество, обращая внимание на экономию времени по сравнению с существующими подходами.
One-2-3-45++ превосходит базовые методы по сходству CLIP и оценкам предпочтений пользователей, демонстрируя превосходное качество и производительность. Модуль уточнения повышает качество текстуры, что приводит к более высоким значениям сходства CLIP. Кроме того, метод предлагает заметные преимущества в работе по сравнению с методами, основанными на оптимизации, и обеспечивает быстрые результаты.
В заключение, метод One-2-3-45++ является высокоэффективной технологией, позволяющей быстро и точно создавать высококачественные 3D-сетки с текстурами из одного изображения. Пользовательское исследование подтвердило его превосходство над методами моделирования текста в 3D в отношении качества и согласованности с входными изображениями. Кроме того, он обеспечивает быстрые результаты, превосходя методы, основанные на оптимизации.
В дальнейшем исследования следует сосредоточиться на использовании более крупных и разнообразных тренировочных наборов данных 3D, исследовании дополнительных постобработочных техник, оптимизации модуля уточнения текстуры, проведении широкого пользовательского исследования и интеграции других типов информации. Важно оценить его эффективность и потенциальное влияние при применении метода в различных областях, таких как виртуальная реальность, игры и компьютерное проектирование.
