Получение звука из статических изображений, беззвучных видео

Извлечение звука из статических изображений и беззвучных видео

Идея для Side Eye была вдохновлена эпизодом научно-фантастического шоу «За гранью» (Fringe), в котором главные герои, команда исследователей фриндж-науки, работающих на ФБР, извлекли звук из расплавленного стекла. ¶ Автор: Мэтью Модуну/Университет Норт-Истерн

Машинное обучение, разработанное в Университете Норт-Истерн, может извлекать звук из статических изображений и беззвучных видео.

С помощью инструмента Side Eye, который использует технологию стабилизации изображения, стандартную для большинства камер смартфонов, можно определить пол человека, говорящего за кадром, и точные слова, которые он произнес.

Кевин Фу из Университета Норт-Истерн объяснил, что небольшие пружины, удерживающие объектив камеры подвешенным в жидкости, испытывают микроскопические вибрации, и свет изгибается почти незаметно, когда кто-то говорит около объектива камеры.

Используя метод считывания кадра с прокруткой, используемый в большинстве камер смартфонов, исследователи могут извлекать звуковые частоты из этих вибраций.

Side Eye выдаёт приглушенный звук, но использование машинного обучения и обучение определенным словам и звукам позволяет извлечь значительное количество информации, пояснил Фу. Источник: Northeastern Global News Просмотреть полную статью

Авторские права на аннотации © 2023 SmithBucklin, Вашингтон, США