Монтаж видео больше не является проблемой INVE – это метод искусственного интеллекта, который позволяет интерактивное редактирование видео с помощью нейронных сетей.

INVE - метод искусственного интеллекта, позволяющий интерактивное редактирование видео.

Можете представить Интернет без редактирования изображений? Все эти смешные мемы, модные фото в Instagram, ошеломляющие пейзажи и многое другое – все было бы потеряно. Это был бы скучный Интернет, не так ли?

С самых ранних дней цифровых камер редактирование изображений стало страстью для многих людей. В начале у нас были инструменты, которые могли делать простые правки, но сейчас вы буквально можете превратить что угодно во что угодно на изображении без особых усилий. Инструменты для редактирования изображений значительно продвинулись, особенно в последние годы, благодаря всем этим мощным методам искусственного интеллекта.

Однако, когда дело доходит до редактирования видео, оно отстает. Редактирование видео – это то, что часто требует технических навыков и сложного программного обеспечения. Вам нужно погрузиться в сложные инструменты, такие как Premier и FinalCut Pro, и пытаться настроить каждую мелочь самостоятельно. Неудивительно, что редактирование видео сейчас является высокооплачиваемым навыком. С другой стороны, редактирование изображений можно сделать даже с помощью мобильных приложений, и результаты достаточны для обычных пользователей.

Представьте себе возможности, если интерактивное редактирование видео станет таким же удобным для пользователей, как его аналог для редактирования изображений. Представьте, что вы можете попрощаться с техническими сложностями и поприветствовать новый уровень свободы! Пора познакомиться с INVE.

INVE (Интерактивный нейронный видео редактор) – это модель искусственного интеллекта, которая решает проблему редактирования видео, как подразумевает название. Она предлагает способ для непрофессиональных пользователей выполнять сложные редактирования видео без усилий.

Основная цель INVE – позволить пользователям делать сложные редактирования видео простым и интуитивно понятным способом. Подход строится на многослойных нейронных атласных представлениях, которые состоят из 2D атласов (изображений) для каждого объекта и фона на видео. Эти атласы позволяют делать локализованные и последовательные редактирования.

Редактирование видео затруднено несколькими внутренними проблемами. Например, разные объекты на видео могут двигаться независимо, что требует точной локализации и внимательной композиции, чтобы избежать неестественных артефактов. Кроме того, редактирование отдельных кадров может привести к несоответствиям и видимым дефектам. Для решения этих проблем INVE предлагает новый подход, используя многослойные нейронные атласные представления.

Идея состоит в том, чтобы представить видео в виде набора 2D атласов, одного для каждого движущегося объекта и другого для фона. Это представление позволяет делать локализованные редактирования, поддерживая последовательность на всем видео. Однако, предыдущие методы сталкивались с проблемой двустороннего отображения, что затрудняло предсказание результата конкретных редактирований. Кроме того, вычислительная сложность мешала редактированию в режиме реального времени.

INVE может последовательно применять редактирования на одном кадре. Источник: https://arxiv.org/pdf/2307.07663.pdf

INVE изучает двустороннее отображение между атласами и видеоизображением. Это позволяет пользователям вносить изменения как в атласы, так и в само видео, предоставляя больше вариантов редактирования и лучшее понимание того, как изменения будут восприниматься в конечном видео.

Более того, INVE использует хэширование с множественным разрешением, что значительно улучшает скорость обучения и вывода. Это позволяет пользователям наслаждаться действительно интерактивным процессом редактирования.

Обзор процесса прямого отображения INVE. Источник: https://arxiv.org/pdf/2307.07663.pdf

INVE предлагает богатый словарь операций по редактированию, включая жесткую текстурную трекинг и векторизованное эскизирование; он дает пользователям возможность без труда воплотить свои редакторские задумки. Новички теперь могут использовать мощь интерактивного видеоредактирования, не утруждая себя техническими сложностями. Это делает видеоредактирование, такое как добавление внешней графики к движущейся машине, корректировку оттенков фона леса или эскизирование на дороге, легким распространением этих изменений на всем протяжении видео.