Познакомьтесь с Omnivore промышленный дизайнер соединяет искусство и OpenUSD для создания 3D-активов для обучения искусственного интеллекта

Omnivore - промышленный дизайнер, объединяющий OpenUSD и искусство для создания 3D-активов для обучения ИИ.

Примечание редактора: Этот пост является частью нашей серии Meet the Omnivore, в которой представлены отдельные создатели и разработчики, использующие NVIDIA Omniverse и OpenUSD для ускорения своих 3D рабочих процессов и создания виртуальных миров.

Будучи студенткой в Университете технологий Квинсленда (QUT) в Австралии, Эмили Бёмер была разрывом между творческими искусствами и наукой.

И тогда она открыла для себя промышленный дизайн, который позволил ей погрузиться в исследования и программирование, исследуя рабочие процессы визуализации, такие как эскизирование, анимация и 3D-моделирование.

Сейчас, Бёмер применяет свои навыки на практике в качестве стажера по дизайну в Технологическом офисе BMW Group в Мюнхене. Команда использует NVIDIA Omniverse, платформу для разработки и подключения 3D-инструментов и приложений, а также Universal Scene Description – или OpenUSD – для улучшения своих конвейеров генерации синтетических данных.

Бёмер создает реалистичные 3D-модели, которые могут быть использованы с помощью SORDI.ai, сокращенно от Synthetic Object Recognition Dataset for Industries. Опубликованный BMW Group, Microsoft и NVIDIA, SORDI.ai помогает разработчикам и исследователям упростить и ускорить обучение искусственного интеллекта для производства. Для автоматизации генерации изображений команда разработала расширение на основе Omniverse Replicator, набора инструментов для создания настраиваемых инструментов генерации синтетических данных.

В качестве члена команды SORDI.ai, Бёмер использует Blender и Adobe Substance Painter для создания 3D-моделей с высоким уровнем физической точности и фотореализма, что помогает обеспечить эффективное использование синтетических данных для обучения моделей искусственного интеллекта.

Все созданные Бёмером ресурсы используются для тестирования и моделирования автономных роботов на платформе NVIDIA Isaac Sim, которая предоставляет разработчикам набор возможностей по генерации синтетических данных, которые могут обеспечить фотореалистичные и физически точные виртуальные среды.

Создание реалистичных 3D-моделей для обучения искусственного интеллекта

В качестве стажера по дизайну, главными задачами Бёмер являются анимация и 3D-моделирование. Процесс начинается с фотографирования целевых объектов. Затем она использует 2D-фотографии в качестве эталонов, сравнивая их с 3D-моделями в Blender.

3D-объекты могут состоять из тысяч полигонов, поэтому Бёмер создает две версии ресурса – одну с низким количеством полигонов и одну с более высоким количеством полигонов. Детали модели с высоким разрешением могут быть перенесены на модель с низким разрешением, что помогает сохранить больше деталей и делает ресурс более реалистичным.

После создания 3D-ресурсов Бёмер использует модели для создания сцен. Ее любимой особенностью платформы Omniverse является гибкость USD, поскольку она позволяет ей легко вносить изменения в 3D-модели.

Рабочие процессы USD позволили дизайнерским командам BMW Group создавать множество различных сцен с использованием одних и тех же компонентов, так как они могут легко получить доступ ко всем файлам USD, хранящимся на Omniverse Nucleus. При создании частей сцены Бёмер использует десятки моделей USD из SORDI.ai и добавляет их в сцены, которые будут использоваться другими дизайнерами для сборки больших фабричных сцен.

Бёмеру нужно только обновить USD-файл оригинального ресурса, чтобы автоматически применить изменения ко всем ссылочным файлам, содержащим его.

“Замечательно видеть поддержку USD как в Blender, так и в Substance Painter”, – говорит она. “Когда я создаю 3D-ресурсы с помощью USD, я могу быть уверенной, что они будут выглядеть и вести себя так, как ожидается в сценах, где они будут размещены”.

Творческий процесс Эмили Бёмер начинается с фотографирования объекта, затем используется это изображение в качестве эталона для создания и текстурирования 3D-моделей.

Создание фабричных сцен с помощью синтетических данных

Платформа Isaac Sim является ключевой частью рабочего процесса команды SORDI.ai. Она используется для разработки конвейеров, использующих генеративный искусственный интеллект и процедурные алгоритмы для создания 3D-сцен. Команда также разработала расширение на основе Omniverse Replicator, которое автоматизирует рандомизацию внутри сцены при генерации синтетических изображений.

“Роль стажеров по дизайну, таких как я, заключается в создании реалистичных моделей и текстур для ресурсов, используемых в сценах, созданных в Isaac Sim”, – говорит Бёмер. “Чем более реалистичны ресурсы, тем более реалистичными могут быть синтетические изображения и тем эффективнее они будут для обучения моделей искусственного интеллекта для реальных сценариев”.

Аннотация данных – процесс маркировки данных, таких как изображения, текст, аудио или видео, соответствующими тегами, что упрощает их понимание искусственным интеллектом. Однако ручной процесс может быть чрезвычайно трудоемким, особенно при больших объемах контента. SORDI.ai решает эти проблемы, используя синтетические данные для обучения искусственного интеллекта.

При импорте ресурсов в Omniverse и создании USD-версий файлов, Бемер помечает их соответствующей меткой данных. После того, как эти ресурсы были объединены в сцену, она может использовать Omniverse Replicator для создания изображений, которые автоматически размечаются с использованием исходных меток.

И с помощью SORDI.ai дизайнеры могут создавать сцены и генерировать тысячи размеченных изображений всего лишь одним щелчком.

Бемер будет гостем прямой трансляции Omniverse в среду, 20 сентября, где она продемонстрирует, как она использует Blender и Substance Painter в Omniverse для создания конвейеров синтетической генерации изображений.

Присоединяйтесь к творчеству

Каждый может создать свое собственное расширение или соединитель Omniverse, чтобы улучшить свои 3D рабочие процессы и инструменты. Создатели и разработчики могут бесплатно скачать Omniverse, а корпоративные команды могут использовать платформу для своих 3D проектов.

Ознакомьтесь с работами других “Омниворов” и представьте свои проекты в галерее. Узнайте, как создатели используют OpenUSD для ускорения различных 3D рабочих процессов в последних OpenUSD All Stars. И свяжите свои рабочие процессы с Omniverse с помощью программного обеспечения от Adobe, Autodesk, Blender, Epic Games, Reallusion и других.

Начните работу с NVIDIA Omniverse, скачав бесплатную стандартную лицензию, или узнайте, как Omniverse Enterprise может связать вашу команду. Разработчики могут начать работу с ресурсами Omniverse и узнать о OpenUSD. Исследуйте растущую экосистему 3D инструментов, связанных с Omniverse.

Будьте в курсе последних новостей о платформе, подписавшись на рассылку, и следите за NVIDIA Omniverse в Instagram, Medium и Twitter. Более подробную информацию можно найти в сообществе Omniverse и на форумах Omniverse, Discord сервере, Twitch и YouTube каналах.