Делая акцент на будущее мультяшной анимации инновации AnimeInbet в прорисовке линий и обводке

Инновации AnimeInbet в прорисовке линий и обводке делаем акцент на будущее мультяшной анимации

Мультфильмы значительно продвинулись с момента своего возникновения в начале 1900-х годов, когда аниматоры рисовали отдельные кадры вручную на бумаге. Хотя в производство мультфильмов были введены автоматические техники для выполнения некоторых задач, таких как закрашивание и специальные эффекты, фундаментальный аспект, который включает ручное рисование линий персонажей на каждом кадре, остается трудоемким занятием в 2D анимации.

Разработка автоматического алгоритма для создания промежуточных линейных рисунков из двух ключевых кадров, процесса, известного как “инбитс” (in-betweening), имеет потенциал значительно повысить производительность в этой отрасли. Инбинтинг линий представляет собой особые сложности по сравнению с общим межкадровым интерполяцией из-за редкости линейных рисунков. Эти рисунки обычно состоят примерно из 3% черных пикселей, остальное изображение – это белый фон. Эта уникальность представляет две критические проблемы для существующих методов межкадровой интерполяции на основе растрового изображения. Во-первых, отсутствие текстуры в линейных рисунках затрудняет точное вычисление соответствий пикселей при интерполяции кадров, что приводит к неточным прогнозам движения из-за нескольких похожих соответствующих кандидатов для одного пикселя. Во-вторых, методы деформации и смешивания, используемые при интерполяции кадров, могут привести к размытию границ между линией и фоном, что приводит к значительной потере деталей.

Учитывая вышеупомянутые проблемы, была предложена новая глубокая нейросетевая модель с названием “AnimeInbet” для проведения инбитса линейных рисунков в геометрическом формате, а не на растровых изображениях. Обзор подхода представлен на рисунке ниже.

Процесс включает преобразование исходных изображений в векторные графики для синтеза промежуточного графика. Эта переформулировка решает ранее описанные проблемы. Процесс соответствия в геометрической области фокусируется на концентрированных геометрических вершинах конца, а не на всех пикселях, что снижает возможную неоднозначность и повышает точность соответствия. Кроме того, процесс репозиционирования сохраняет топологию линейных рисунков, что позволяет сохранить сложные и тщательные структуры линий.

Основная концепция, лежащая в основе фреймворка AnimeInbet, заключается в идентификации соответствующих вершин между двумя входными графами линейных рисунков, за которыми следует их перемещение для создания нового промежуточного графика. Процесс начинается с разработки стратегии кодирования вершин, позволяющей разделять геометрические особенности на концах редко нарисованных линий. Затем используется трансформер соответствия вершин для установления соответствий между конечными точками двух входных линейных рисунков. Векторы сдвига от сопоставленных вершин затем передаются неподходящим вершинам на основе сходства их собранных особенностей, что облегчает перемещение всех конечных точек. Наконец, фреймворк предсказывает маску видимости для удаления вершин и ребер, которые перекрыты в промежуточном кадре, обеспечивая создание чистого и полного промежуточного кадра.

Для поддержки обучения по заданным соответствиям вершин вводится новый набор данных под названием MixamoLine240. Этот уникальный набор данных предлагает линейные рисунки с исходным геометрическим представлением и метками соответствия вершин. 2D линейные рисунки в наборе данных создаются из определенных граней 3D модели, причем конечные точки соответствуют индексированным 3D вершинам. Использование 3D вершин как опорных точек обеспечивает точность и последовательность меток соответствия вершин в наборе данных на уровне вершины.

По сравнению с существующими методами, фреймворк AnimeInbet продемонстрировал свою способность генерировать чистые и полные промежуточные линейные рисунки. Некоторые примеры из исследования приведены ниже.

Вот краткое описание AnimeInbet – новой техники искусственного интеллекта, которая выполняет промежуточные шаги между чёрно-белыми рисунками в геометризованном формате, а не в виде растровых изображений. Если вас интересует эта тема и вы хотите узнать больше, смело обращайтесь к ссылкам, указанным ниже.