Познакомьтесь с CityDreamer композиционной генеративной моделью для неограниченных 3D-городов.
Meet CityDreamer, a generative compositional model for unlimited 3D cities.
Создание 3D естественных окружений стало предметом многих исследований в последние годы. Были сделаны значительные прогрессы в создании нескольких видов 3D объектов, включая 3D города, 3D сценарии и 3D аватары. Города имеют множество применений в таких областях, как градостроительное планирование, экологическое моделирование и создание игр в качестве ключевого типа 3D компонента.
Модели, такие как GANCraft и SceneDreamer, производят изображения в 3D сценах с использованием объемных нейронных алгоритмов рендеринга, 3D координат и семантических меток. Эти техники показали свою эффективность в создании 3D естественных окружений с использованием фальшивых фотографий SPADE. Несмотря на то, что развитие 3D естественных окружений приобрело огромную популярность, оно сопряжено с рядом ограничений. Создание 3D городов в основном более сложное, чем создание 3D природных сцен. Это связано с тем, что, хотя здания относятся к одному классу объектов, они все же имеют гораздо больший диапазон внешнего вида, чем более однородный внешний вид элементов природной сцены, таких как деревья.
Был предложен уникальный подход, называемый CityDreamer, чтобы преодолеть эти проблемы. Он открыл путь к более доступному и реалистичному развитию 3D городов. CityDreamer – это в основном композиционная генеративная модель, специально созданная для безграничных 3D городов. Его уникальная стратегия отделения создания экземпляров зданий от других фоновых элементов, часто присутствующих в городах, таких как улицы, парки и водные объекты, отличает его. Через несколько модулей внутри модели было достигнуто это разделение.
- Google AI представляет TSMixer продвинутую многомерную модель для долгосрочного прогнозирования, которая использует характеристики линейных моделей для достижения высокой производительности по стандартам.
- Джексон Джеветт хочет разрабатывать здания, которые используют меньше бетона.
- Знакомьтесь с YaRN вычислительно эффективным методом расширения контекстного окна языковых моделей на основе трансформеров, требующим в 10 раз меньше токенов и в 2,5 раза меньше шагов обучения, чем предыдущие методы.
Также были созданы два больших набора данных под названием OSM и GoogleEarth, чтобы улучшить достоверность созданных 3D городов как в их компоновке, так и в эстетическом виде. В этих базах данных содержится значительное количество реальных изображений городов. Добавление таких данных, добавляя особенности и отличия от реального мира, пытается увеличить реализм созданных 3D городов. CityDreamer доказал свою превосходность перед передовыми техниками в области развития 3D городов путем тщательного испытания и обзора. Он продемонстрировал свою способность создавать разнообразные реалистичные 3D города, преодолевая трудности, возникающие из-за сложности городской среды и требования точных результатов высокого качества.
Основные вклады проекта CityDreamer могут быть суммированы следующим образом:
- Модель CityDreamer: Основным вкладом этой работы является представление модели CityDreamer, специально разработанной для генерации безграничных 3D городов. Она работает по уникальному подходу, отделяя генерацию экземпляров зданий от других фоновых объектов, таких как дороги, зеленые зоны и водные объекты, что было достигнуто с помощью отдельных модулей внутри модели, позволяя более точное управление и улучшенный реализм в созданных городских пейзажах.
- Создание наборов данных: Первый набор данных, OSM, предоставляет более реалистичные компоновки городов, используя данные из OpenStreetMap. Он включает семантические карты и поля высот, предоставляя ценную информацию о местоположении дорог, зданий, зеленых зон и водных объектов. Второй набор данных, GoogleEarth, сосредоточен на улучшении визуального вида городов, поскольку он включает изображения, полученные с помощью Google Earth Studio, и включает мультиточечную согласованность, что позволяет более полное и реалистичное представление городской среды.
- Количественная и качественная оценка: Производительность CityDreamer была оценена как количественно, так и качественно. Она была сравнена с существующими передовыми моделями генерации 3D для демонстрации ее возможностей в создании масштабных и разнообразных 3D городов.
