Нейросеть для улучшения видео: апскейл, шум, стабилизация, реставрация

Короткий ответ: «улучшить видео» — это четыре разные задачи. Поднять разрешение, убрать шум, убрать тряску и восстановить старую запись делаются разными инструментами и в определённом порядке. Нейросети вытягивают шум, тряску и разрешение, но расфокус и пересвет не лечат: чего в кадре не снято, то будет дорисовано, а не восстановлено.

Четыре разные задачи, которые прячутся за словом «улучшить»

К этому обычно добавляются ещё две операции: интерполяция кадров, когда из 24 кадров в секунду делают 60 для плавного замедления, и деинтерлейсинг — удаление гребёнки у записей со старых камер и кассет.

Что апскейл вытягивает, а что дорисовывает

Нейросетевой апскейл не увеличивает картинку, а достраивает её по обученным примерам. На нормальном исходнике это выглядит честно: 720p из телефона пятилетней давности превращается в приличный 1080p, кожа и ткань получают фактуру, буквы на вывеске становятся читаемыми.

Дальше начинается предел. Из 480p в 4K скачок в девять раз по площади, и большая часть деталей будет придумана. Лицо на общем плане после такого апскейла становится похожим на человека, но не на конкретного человека: черты выравниваются, морщины исчезают, глаза стекленеют. Для семейного архива это спорный результат, для документа — неприемлемый.

• Вытягивается: лёгкая мыльность, компрессионные квадраты, шум, гребёнка, дрожание, недостаток резкости на 20-30 процентов.
• Не вытягивается: расфокус, смаз от движения, пересвеченное небо, полностью чёрные тени, детали за пределами разрешения носителя.
• Дорисовывается и потому проверяется: черты лица, текст на вывесках и документах, узор ткани, номера машин.

Чем делают апскейл: Topaz, Krea, DaVinci Resolve и бесплатные инструменты

Разовая лицензия против подписки решается объёмом. Если видео обрабатывается раз в месяц, дешевле подписка на облачный сервис. Если это поток заказов, разовая программа на своём компьютере окупается за первые несколько работ и не зависит от интернета и лимитов.

В каком порядке обрабатывать: шумодав, стабилизация, апскейл, кадры, зерно

1. Деинтерлейсинг. Первым делом убирается гребёнка, иначе все следующие шаги будут её усиливать.
2. Шумодав. До апскейла, а не после: иначе алгоритм примет шум за детали и увеличит его.
3. Стабилизация. После шумодава, до увеличения разрешения, чтобы не считать лишние пиксели.
4. Апскейл. Один проход до целевого разрешения. Два прохода подряд дают пластиковую картинку.
5. Интерполяция кадров. Только если нужно замедление или плавность, и только последним шагом обработки.
6. Цвет и зерно. Цветокоррекция и лёгкое зерно возвращают материалу живой вид после машинной чистки.

Нарушение порядка — самая частая причина плохого результата. Апскейл поверх нечищеного шума выглядит хуже исходника, а стабилизация после увеличения разрешения обрезает кадр сильнее.

Сколько времени и железа съедает обработка минуты видео

Обработка видео считается не секундами, а часами. На домашней видеокарте среднего уровня минута из 1080p в 4K обрабатывается 30-60 минут. С интерполяцией кадров время удваивается. Час семейного архива — это ночь работы компьютера, и планировать такое на день сдачи нельзя.

Практическая схема: сначала обрабатывается тестовый кусок в 10-15 секунд, на нём подбираются настройки, и только потом запускается весь материал. Пять минут теста экономят ночь пересчёта с неудачными параметрами.

Реставрация плёнки и кассет: что чинится, а что нет

Со старыми носителями порядок другой. Сначала запись оцифровывают: с VHS, mini DV или 8 мм плёнки. Качество оцифровки задаёт потолок всему остальному, и пережимать её нельзя — файл сохраняют максимально возможного качества, даже если он весит десятки гигабайт.

Дальше чинится по частям. Гребёнка, дрожание кадра по вертикали, цветовые полосы и общий шум лечатся хорошо. Выцветший цвет тянется цветокоррекцией. Царапины и выпадения кадров чистятся полуавтоматически, местами покадрово. Звук с кассеты чистится отдельно шумодавом.

Не чинится то, чего на носителе нет: размытые лица, засвеченные окна, оборванные куски записи. Ещё один честный момент — лица родственников после агрессивного апскейла перестают быть похожими на себя. В семейной реставрации это причина держать увеличение умеренным: 480p лучше поднять до 1080p, чем до 4K.

Сколько стоит реставрация видео в Беларуси и как это продаётся

Ориентиры белорусского рынка: оцифровка одной видеокассеты — примерно от 15-25 BYN, покадровая реставрация с шумодавом и апскейлом считается по минутам готового материала, ориентир 20-60 BYN за минуту. Сборка семейного фильма на 10-15 минут из архива с монтажом и музыкой — от 200 BYN. Цена зависит от состояния носителя и объёма ручной чистки, поэтому её называют после просмотра пробной минуты, а не по телефону.

Заказчики делятся на две группы. Частные — семейный архив к юбилею или к памятной дате. Бизнес — старые рекламные ролики, записи выступлений и обучающие материалы, которые надо привести к современному разрешению вместо повторной съёмки. Второй группе продавать проще: там считают не сентименты, а стоимость пересъёмки.

Зачем улучшать видео, которое сделала другая нейросеть

Отдельный сценарий — доводка сгенерированных клипов. Генераторы часто отдают материал в 720p и на 24 кадрах, а лента и экраны требуют 1080p и выше. Апскейл поверх генерации работает лучше, чем поверх старой съёмки: исходник чистый, шума нет, дорисовывать модель почти ничего не должна.

Порядок такой же: клип генерируется, из него режется устойчивый кусок на 3-4 секунды, дальше идёт апскейл и лёгкое зерно, чтобы убрать пластиковую гладкость. Апскейл и доводка в Krea разбираются на уроке 44 курса, генерация роликов — на уроках 46-49. Как это складывается в рабочий процесс дизайнера, разобрано на странице курса для дизайнеров, а как оформить обработку видео в услугу с прайсом и сроком — на странице для фрилансеров. Оценить, есть ли на это спрос в вашем городе, помогут на бесплатном разборе 20-30 минут.

Частые вопросы

Можно ли нейросетью улучшить качество старого видеоЧастично. Шум, тряску, гребёнку от старого формата и низкое разрешение алгоритмы вытягивают заметно. Расфокус, пересвеченные участки и детали, которых на плёнке не было, не восстанавливаются: модель их дорисовывает, и результат может не совпадать с реальностью.

Есть ли бесплатная нейросеть для улучшения видеоДа. DaVinci Resolve в бесплатной версии даёт стабилизацию и цветокоррекцию, FFmpeg - шумодав и деинтерлейсинг, Flowframes на моделях RIFE - интерполяцию кадров. Апскейл до 4K с нейросетевой моделью в бесплатных инструментах слабее платных, но для домашнего архива годится.

Сколько стоит программа для апскейла видеоРазовая лицензия Topaz Video AI - около 299 долларов, примерно 900 BYN, работает на своём компьютере. DaVinci Resolve Studio - около 295 долларов, примерно 890 BYN, тоже разово. Облачные сервисы вроде Krea берут подписку от 10 долларов в месяц, около 30 BYN.

Сколько времени занимает апскейл минуты видеоНа домашней видеокарте среднего уровня минута из 1080p в 4K обрабатывается 30-60 минут, а с интерполяцией кадров и шумодавом дольше. Час материала считают ночью, поэтому обработку планируют заранее, а не в день сдачи.

Сколько стоит оцифровка и реставрация видео в БеларусиОцифровка одной видеокассеты в Минске начинается примерно от 15-25 BYN, покадровая реставрация с шумодавом и апскейлом считается по минутам готового материала - ориентир 20-60 BYN за минуту. Точная цена зависит от состояния носителя и объёма ручной работы.