Встречайте SEINE модель короткого в длинное видео для создания высококачественных продолжительных видео с плавными и креативными переходами между сценами.

Познакомьтесь с моделью SEINE от коротких до длинных видео с превосходными длительными сценами и эффектными переходами.

С учетом успеха моделей распространения в генерации изображений на текст, возник ряд техник генерации видео, демонстрирующих интересные приложения в этой области. Тем не менее, большинство методов генерации видео часто создают видео на уровне сцены, охватывающие только несколько секунд и изображающие единую сцену. Учитывая краткость контента, эти видео явно не могут соответствовать требованиям кинематографической и фильмовой продукции.

В кинематографических или промышленных видеопроизводствах «длинные видео на уровне сюжета» обычно характеризуются созданием отдельных съемок с различными сценами. Эти индивидуальные съемки, изменяющиеся по длительности, соединены с помощью таких техник, как переходы и монтаж, обеспечивая более длинные видео и более сложную визуальную историю. Сочетание сцен или съемок в кино- и видеомонтаже, называемое переходом, играет важную роль в постпродакшене. Традиционные методы перехода, такие как диссолвы, затухания и уничтожения, основаны на предопределенных алгоритмах или установленных интерфейсах. Однако эти методы ограничены в гибкости и не всегда могут полностью удовлетворить требования.

Альтернативный подход к плавным переходам заключается в использовании разнообразных и креативных съемок для перехода от одной сцены к другой. Эта техника, часто используемая в фильмах, не может быть непосредственно сгенерирована с помощью предопределенных программ.

• Улучшите ответы системы LLM в сценариях использования RAG, взаимодействуя с пользователем.
• Приобщение к ГенИИ Создание киберстойкости против агрессивной ИИ
• Начало работы с Claude 2 API

В данной работе представлена модель, которая решает необычную задачу генерации непрерывных и плавных переходов, фокусируясь на генерации промежуточных кадров между двумя разными сценами.

Модель требует, чтобы сгенерированные переходные кадры были семантически соответствующими данным сценам, согласованными, плавными и соответствующими предоставленному тексту.

Представленная работа вводит модель краткого-длинного видео с использованием рассеивания, названную SEINE, для генерации переходов и предсказаний высокого качества. Цель состоит в том, чтобы создать высококачественные длинные видео с плавными и креативными переходами между сценами, объединяющими видеоролики различной длительности на уровне снятия. Обзор метода приведен на рисунке ниже.

Для генерации ранее не виденных кадров перехода и предсказания на основе наблюдаемых условных изображений или видео, SEINE включает модуль случайной маскировки. Исходя из видеодатасета, авторы извлекают N-кадров из исходных видео, закодированных предварительно обученным вариационным автоэнкодером, в латентные векторы. Кроме того, модель принимает текстовое описание как входные данные для повышения управляемости видео и использования возможностей генерации видео из краткого текста.

Во время этапа обучения латентный вектор подвергается коррупции шумом, и накладывается условие случайной маски, чтобы захватить промежуточное представление движения между кадрами. Механизм маскировки выборочно сохраняет или подавляет информацию из исходного латентного кода. SEINE принимает маскированный латентный код и саму маску в качестве условного входа, чтобы определить, какие кадры являются маскированными, а какие остаются видимыми. Модель обучена предсказывать шум, влияющий на весь скомпрометированный латентный код. Это предполагает изучение базового распределения шума, влияющего на как видимые, так и немаскированные кадры, и текстовое описание. Модель стремится генерировать переходные кадры, которые реалистичны и визуально согласованы, плавно сочетая видимые кадры с немаскированными.

Ниже приведены некоторые последовательности, взятые из исследования.

Это было краткое изложение SEINE, модели краткого-длинного видео с использованием рассеивания для создания высококачественных расширенных видео с плавными и креативными переходами между сценами. Если вас заинтересовало и вы хотите узнать больше об этом, пожалуйста, обратитесь к указанным ссылкам ниже.