Исследователи искусственного интеллекта из Bytedance и Королевского университета науки и технологии Короля Абдуллы представляют новую основу для анимации дуновения волос на статических портретных фотографиях.

Aвторы из Bytedance и Королевского университета науки и технологии Короля Абдуллы представляют новый подход для создания анимации дуновения волос на статических портретных фотографиях.

Волосы – одна из самых удивительных особенностей человеческого тела, впечатляющая своей динамичностью, которая оживляет сцены. Исследования последовательно доказывают, что динамические элементы имеют более сильное влечение и очарование, чем статические изображения. На платформах социальных медиа, таких как TikTok и Instagram, ежедневно разделяются огромные портретные фотографии, поскольку люди стремятся сделать свои изображения привлекательными и художественно увлекательными. Это побуждение побуждает исследователей исследовать сферу оживления человеческих волос в неподвижных изображениях, с целью предложить яркий, эстетически приятный и прекрасный видовой опыт.

Свежие достижения в области позволили внедрить методы для включения динамических элементов в неподвижные изображения, оживляя жидкие вещества, такие как вода, дым и огонь на кадре. Однако эти подходы в основном не учитывают сложную природу человеческих волос на фотографиях реальной жизни. Этот статья фокусируется на художественном преобразовании человеческих волос в портретной фотографии, которое включает перевод изображения в синематограф.

Синематограф представляет собой инновационный формат короткого видео, который пользуется популярностью среди профессиональных фотографов, рекламодателей и художников. Он находит применение в различных цифровых средствах VOAGI, включая цифровую рекламу, сообщения в социальных медиа и посадочные страницы. Интерес к синематографам заключается в их способности объединять преимущества неподвижных изображений и видео. Некоторые области внутри синематографа имеют незаметные, повторяющиеся движения в короткой петле, в то время как остальная часть остается неподвижной. Этот контраст между неподвижными и движущимися элементами эффективно привлекает внимание зрителя.

• Исследователи из Стэнфордского университета предлагают MLAgentBench набор задач машинного обучения для проверки искусственного интеллекта агентов.
• Ученые UCSD и ByteDance представляют ActorsNeRF новую анимируемую модель человеческого актера NeRF, которая обобщается на неизвестных актеров в рамках нескольких снимков.
• Исследователи Google представили открытую библиотеку в JAX для глубокого обучения на сферических поверхностях.

Через преобразование портретной фотографии в синематограф с незаметными движениями волос, цель заключается в усилении привлекательности фотографии без отвлечения от статического содержания, создавая более привлекательный и захватывающий визуальный опыт.

Существующие техники и коммерческое программное обеспечение были разработаны для создания синематографов высокой степени достоверности из исходных видео, путем выборочной заморозки определенных областей видео. К сожалению, эти инструменты не подходят для обработки неподвижных изображений. В отличие от этого, возникло возрастающее интерес к анимации статических изображений. Большая часть таких подходов сосредоточена на анимации жидких элементов, таких как облака, вода и дым. Однако динамичное поведение волос, состоящих из волокнистых материалов, представляет собой особую сложность по сравнению с жидкими элементами. В отличие от анимации жидких элементов, получившей много внимания, анимация человеческих волос на реальных портретных фотографиях почти не исследовалась.

Анимация волос в статической портретной фотографии представляет собой сложную задачу из-за сложной структуры и динамики волос. В отличие от гладких поверхностей человеческого тела или лица, волосы состоят из сотен тысяч отдельных компонентов, что приводит к сложным и неоднородным структурам. Эта сложность приводит к сложным движениям внутри волос, включая взаимодействия с головой. Хотя существуют специализированные техники моделирования волос, такие как использование плотных камерных массивов и высокоскоростных камер, они часто дороги и требуют много времени, что ограничивает их применимость для анимации волос в реальном мире.

В данной статье представлен новый метод искусственного интеллекта для автоматической анимации волос на статической портретной фотографии без необходимости вмешательства пользователя или сложной аппаратной настройки. Основная идея этого подхода состоит в том, что визуальная система человека имеет сниженную чувствительность к отдельным темам волос и их движениям на реальных видеопортретах по сравнению с синтетическими волосами в виртуальной среде. Предлагается анимировать “пряди волос” вместо отдельных прядей, создавая визуально приятный видовой опыт. Для достижения этой цели статья представляет модуль анимации прядей волос, обеспечивающий эффективное и автоматическое решение. Общий обзор данной рамки представлен ниже.

Основной сложностью в данном контексте является способ извлечения этих прядей волос. В то время как сопутствующие работы, такие как моделирование волос, сосредоточены на сегментации волос, эти подходы в основном нацелены на извлечение всего региона волос, что отличается от поставленной задачи. Чтобы извлечь значимые пряди волос, исследователи инновационно определяют извлечение прядей волос как проблему сегментации экземпляров, где отдельные сегменты в неподвижном изображении соответствуют прядям волос. Применяя такое определение проблемы, исследователи используют сети сегментации экземпляров, чтобы облегчить извлечение прядей волос. Это не только упрощает проблему извлечения прядей волос, но и позволяет использовать передовые сети для эффективного извлечения. Кроме того, статья представляет создание набора данных с прядями волос, содержащим реальные портретные фотографии для обучения сетей, а также полу-аннотационную схему для создания истинных аннотаций для идентифицированных прядей волос. В нижеприведенной фигуре показаны некоторые результаты из статьи по сравнению с передовыми техниками.

Это краткое описание новой искусственной интеллекта модели, разработанной для преобразования статичных портретов в “синемаграфы” путем анимации движущихся волос без видимых артефактов. Если вас это заинтересовало и вы хотите узнать больше, пожалуйста, обратитесь к ссылкам, указанным ниже.