Нейросеть для отделения музыки: минусовка, вокал и дорожки трека

Короткий ответ: разделение на дорожки превращает один готовый трек в отдельные файлы — вокал, барабаны, бас и остальные инструменты. Бесплатно это делают Demucs и программа Ultimate Vocal Remover на своём компьютере, платные облачные сервисы дают больше типов дорожек и работают из браузера. Трек обрабатывается за 20 секунд на видеокарте и за 3-8 минут на обычном процессоре.

Что делает разделение дорожек: один файл превращается в два, четыре или шесть

Модель обучена на тысячах записей, где известно, как звучит каждая партия отдельно и как они звучат вместе. Получив смешанный трек, она восстанавливает исходные слои. Разбивка бывает разной глубины.

Чем глубже разбор, тем больше артефактов в каждой дорожке. Практическое правило: брать ровно ту глубину, которая нужна задаче. Для минусовки хватает двух дорожек, и она будет чище, чем инструментал, собранный обратно из четырёх.

Чем разделяют дорожки: Demucs, Ultimate Vocal Remover, облачные сервисы

Выбор простой. Разово и с телефона — облачный сервис. Регулярно и пачками — локальная программа: она бесплатна, ничего не отправляет в сеть и не считает минуты. Порог входа у локального варианта — установка, полчаса один раз.

Зачем минусовка и отдельные дорожки нужны на практике: шесть задач

1. Минусовка для выступления или репетиции. Вокалисту нужен трек без голоса в нужной тональности, а официальной минусовки у песни часто просто не существует.
2. А капелла для ремикса или кавера. Чистый вокал кладётся на новую аранжировку.
3. Разбор партии для обучения. Гитарист слушает только гитару, барабанщик — только барабаны, в отдельных сервисах партия ещё и замедляется без изменения высоты.
4. Чистка речи в интервью. Записали в кафе с музыкой на фоне — голос вытаскивается отдельной дорожкой, и запись становится пригодной для подкаста.
5. Замена музыки в готовом ролике. Клиент прислал видео с чужим треком фоном — речь отделяется, музыка ставится лицензионная, ролик не переснимается.
6. Понижение вокала в фоновой музыке. Для подложки под речь диктора вокал в треке мешает всегда, и вместо поиска другого трека его просто убирают.

Где результат чистый, а где слышны артефакты: разбор по типу материала

Два приёма, которые заметно улучшают результат. Первый — брать исходник максимального качества: разделение записи, скачанной из соцсети со сжатием, изначально работает хуже. Второй — пробовать разные модели: в бесплатных программах их несколько, и на одном треке лучше отработает одна, на другом другая. Разница слышна сразу, перебор трёх моделей занимает 10 минут.

Сколько занимает разделение трека и что нужно от компьютера

• С видеокартой трёхминутный трек разбирается на четыре дорожки за 15-40 секунд.
• На обычном процессоре тот же трек — 3-8 минут. Работать в это время параллельно тяжело.
• В облачном сервисе — 1-3 минуты вместе с загрузкой файла и очередью.
• Пачка из 20 треков локально ставится на ночь одной командой и к утру готова.
• Место на диске. Четыре дорожки в несжатом виде занимают примерно в четыре раза больше исходника, для пачки это гигабайты.

Для разовой задачи разница между 40 секундами и 5 минутами не имеет значения. Она становится важной, когда треков десятки: тогда локальный запуск с видеокартой экономит уже не минуты, а вечера.

Как убрать музыку из речи в интервью и видео: соседняя задача

Разделение музыкального трека и чистка речи — разные инструменты, хотя задача выглядит одинаково. Для речи берут режим, где дорожки называются «голос» и «фон», либо отдельные сервисы восстановления речи: они не только убирают музыку, но и давят эхо комнаты, гул кондиционера и шум улицы.

Порядок работы такой. Сначала звук вытаскивается из видео отдельным файлом. Потом прогоняется через чистку. Потом обязательно слушается целиком: восстановление речи иногда съедает согласные и делает голос неестественно гладким, и на длинной записи это утомляет сильнее, чем исходный шум. Если результат хуже оригинала, честнее оставить оригинал и добавить субтитры.

Права: что можно делать с минусовкой чужого трека в Беларуси

• Дома и на репетиции — ограничений нет. Слушать, разбирать партии, петь под минусовку для себя можно.
• Публикация минусовки или а капеллы — нельзя без разрешения правообладателя. Разделение на дорожки является переработкой произведения, и выкладка результата в сеть или его продажа затрагивают чужие права.
• Публичное исполнение под минусовку в заведении, на празднике, на мероприятии требует, чтобы у площадки был договор с организацией по коллективному управлению правами. В Беларуси эти отношения регулирует законодательство об авторском праве и смежных правах.
• Ремикс и кавер — тоже переработка. Публиковать их без разрешения правообладателя нельзя, даже с указанием автора.
• Свои треки и материал заказчика — без ограничений, если заказчик действительно владеет правами. Это стоит спросить письменно.
• Стоковая музыка — смотреть лицензию: часть лицензий разрешает использование, но запрещает переработку.

Практический вывод для работы на заказ: разделение дорожек безопасно как техническая услуга по материалу клиента и опасно как готовый продукт из чужой песни. Клиент, который приносит трек и просит минусовку, отвечает за права на него сам, и это стоит зафиксировать в переписке одной строкой.

Сколько стоит разделение дорожек и минусовка на заказ в Беларуси

Отдельной услугой это продаётся редко и дёшево: сама операция занимает минуты, и клиент это чувствует. Деньги начинаются там, где разделение дорожек встроено в работу побольше — чистка звука подкаста целиком, подготовка минусовок для вокальной студии пачкой, приведение архива роликов к лицензионной музыке.

Куда навык разбора звука встраивается в оплачиваемую работу с видео

Разделение дорожек редко бывает самостоятельной услугой, зато оно входит почти в любую работу со звуком: подкаст, ролик, курс в записи, архив старых видео. Как собрать из этого пакет с ценой и сроком и какие ещё задачи по звуку и видео закрываются нейросетями, разбирается на странице курса для дизайнеров и видеомейкеров, а как оформить работу самозанятым или ИП по белорусскому праву и искать заказчиков — на странице для фрилансеров. Если непонятно, есть ли на такую услугу спрос и с чего начать, для этого есть бесплатный разбор на 20-30 минут.

Частые вопросы

Как отделить музыку от голоса нейросетьюЗагрузить файл в сервис разделения дорожек или запустить модель на своём компьютере. На выходе получаются два файла - вокал и инструментал, либо четыре: вокал, барабаны, бас и остальное. Обработка трека занимает от нескольких секунд до трёх минут.

Можно ли разделить трек на дорожки бесплатноДа. Demucs и программа Ultimate Vocal Remover бесплатны полностью и работают на своём компьютере без ограничений по числу треков. Облачные сервисы дают бесплатно пробные минуты или несколько треков в месяц, дальше берут деньги за минуты обработки.

Насколько чистой получается минусовкаНа современной поп-записи и электронике инструментал получается почти чистым, слышны только следы вокального эха. На плотном рок-миксе, старых моно-записях и концертных версиях остаются призвуки голоса и «водянистые» тарелки. Полностью чистого результата не даёт ни один сервис.

Зачем разделять трек на дорожки на практикеМинусовка для выступления и репетиции, а капелла для ремикса, разбор партии для обучения игре, чистка речи в интервью, где фоном играла музыка, и замена музыки в чужом ролике на лицензионную с сохранением речи.

Можно ли выкладывать минусовку чужой песниНет. Разделение чужого трека на дорожки - это переработка произведения, и её публикация или продажа требует разрешения правообладателя. Для домашнего прослушивания и репетиции ограничений нет, для публичного исполнения и коммерции нужны права.