Искусственный интеллект и разделение источников музыки как это работает и почему это так сложно

AI and music source separation how it works and why it's so difficult

Искусственный интеллект разделения источника, объяснение

Изображение от автора.

Разделение источника

Что такое разделение источника?

В области обработки сигналов разделение источника описывает задачу разложения аудиосигнала на несколько исходных аудиосигналов. Этот концепт актуален не только для музыки, но и для речи или звуков машин. Например, вы можете захотеть отделить голоса двух дикторов в подкасте, чтобы редактировать голоса отдельно.

Почему разделение источника так сложно?

Не все являются музыкантами. Еще меньше людей являются музыкантами с уклоном в область данных и искусственного интеллекта. Часто, когда я разговариваю с немузыкантами, у меня сложилось впечатление, что они думают, что можно просто “взять голос и удалить его из аудио”. Это имеет смысл, потому что почему бы на B-стороне альбомов не было инструментальных версий или почему бы не было тысячи караоке-версий популярных песен в каждом пабе? На самом деле, разделение вокала от инструментальной части действительно просто – когда у вас есть доступ к отдельным дорожкам микса…

Однако, в реальном мире, у нас есть только волны. Волна – это ближайшее компьютерное представление реального аудио события. Волна также является предпосылкой для преобразования цифрового аудио обратно в реальный звук, например, через динамики. Это означает, что если вы хотите разделить музыку на два источника (вокал и инструментальную часть), вам нужно найти способ разделить комбинированную волну на две отдельные волны, каждая из которых точно и исключительно записывает один из источников.

Чтобы это продемонстрировать, ниже приведены три волны. Первая представляет собой гитару, вторая – вокал, исполняемый поверх гитарной дорожки. Третья волна представляет собой комбинацию гитары и вокала, то есть полную песню.

Волны гитары и вокала. Изображение от автора.

Для меня, в качестве продюсера этой композиции, предоставление вам вокала и инструментальной части – это тривиальная задача, так как я могу просто отправить вам оригинальные записи обоих частей. Однако, в качестве потребителей музыки…