Нейросеть для видео из фото: как из снимка получить ролик на 5-10 секунд

Короткий ответ: фотография загружается как первый кадр, и модель достраивает 5-10 секунд движения — наезд камеры, поворот головы, пар над чашкой, качание ткани. Надписи на упаковке при этом плывут, руки ломаются, звука нет. На один пригодный ролик уходит 3-8 попыток, на партию из десяти роликов — рабочий день с ожиданием очереди.

Чем видео из фото отличается от видео по текстовому описанию

Разница в том, откуда берётся первый кадр. При генерации по тексту его придумывает модель: вы получаете чужую комнату, чужой товар, чужого человека. При генерации из фото первый кадр ваш — тот самый снимок, который вы загрузили, с вашим товаром и вашей этикеткой.

Отсюда следствие. Видео из фото — единственный способ показать в движении реальную вещь, а не похожую на неё. Для карточки товара и сторис магазина это принципиально: покупатель должен получить то, что видел.

Плата за это — потеря контроля над тем, что будет дальше. Модель держит исходный кадр примерно секунду, а потом начинает додумывать: подрисовывает то, что было за краем кадра, меняет фактуру, шевелит буквы. Чем длиннее ролик, тем меньше в нём от вашего снимка.

Какие сервисы делают видео из фото: Kling, Runway, Luma, Hailuo и Шедеврум

Выбирать по названиям бессмысленно: набор моделей меняется каждые несколько месяцев. Проверяется за вечер — один снимок и один запрос прогоняются через три сервиса, дальше видно, кто держит ваш тип кадра.

Как описать движение в кадре: камера отдельно, объект отдельно

Запрос к видео — это не описание картинки. Картинка уже есть, описывать нужно только то, что меняется. Работает разделение на две строки.

1. Движение камеры. «Медленный наезд на предмет», «отъезд назад», «облёт слева направо», «камера неподвижна». Это самая надёжная часть: модель почти всегда выполняет её без искажений.
2. Движение в кадре. Одно действие, а не три: «поднимается пар», «ткань слегка колышется», «человек поворачивает голову к камере». Три действия сразу дают кашу.
3. Скорость. Слово «медленно» стоит ставить почти всегда. Быстрое движение модель отрабатывает рывками и сильнее ломает детали.
4. Запрет. Отдельной фразой: «камера не приближается вплотную», «предмет не меняет форму», «в кадр никто не входит».

Если нужен ролик длиннее базовых секунд, его собирают отрезками: берут последний кадр готового куска, загружают как исходник для следующего и задают продолжение движения. К четвёртому отрезку картинка обычно уходит от оригинала настолько, что дальше склеивать нет смысла.

Три готовых промта на видео из фото: товар, помещение, портрет

Промты пишутся в поле запроса поверх загруженного снимка. Всё, что не относится к движению, убрано намеренно.

Камера: очень медленный наезд на предмет, без смены ракурса. В кадре: лёгкое движение бликов на поверхности, предмет остаётся неподвижным. Скорость медленная. Не менять: форму, цвет и пропорции предмета, надписи на упаковке. В кадр никто не входит, фон не меняется.

Камера: плавная проводка слева направо на уровне глаз, без наклона. В кадре: неподвижная обстановка, только свет из окна слегка меняется. Скорость медленная. Не менять: планировку, мебель и её положение. Людей в кадре не появляется, двери не открываются.

Камера: неподвижна. В кадре: человек медленно поворачивает голову к камере и один раз моргает. Скорость медленная, движение короткое. Не менять: черты лица, причёску, одежду. Руки в кадр не поднимаются, губы не двигаются.

Общее у всех трёх — структура «камера, действие, скорость, запрет» и ровно одно действие. Запрет на движение губ стоит не случайно: без него модель имитирует речь, и получается человек, беззвучно шевелящий ртом, — самый заметный признак сгенерированного ролика.

Как подготовить исходный снимок и какие фото рассыпаются за две секунды

Половина брака закладывается до генерации — в самом исходнике. Что стоит сделать со снимком заранее:

• Кадрировать под нужный формат. Модель работает с тем соотношением сторон, которое вы дали. Вертикальный ролик из горизонтального фото она сделает, дорисовав края, — и дорисует не то, что было в реальности.
• Поднять разрешение до 1080 пикселей по короткой стороне. Мелкий исходник модель достраивает грубо, и мыло в статике превращается в дрожание в движении.
• Убрать лишнее заранее. Провод, чужой логотип, отражение фотографа в стекле. В движении любой лишний предмет живёт своей жизнью.
• Оставить воздух по краям. Наезд съедает 10-15 процентов кадра: товар, упёртый в границу, обрежется.

Дальше вопрос содержания. Один предмет на спокойном фоне держит все пять секунд, крупный портрет анфас тоже: поворот головы и моргание выходят естественно. Разваливаются первыми лица на среднем и дальнем плане, крупные надписи и логотипы, толпа и животные в движении, отражения в стекле и воде. Чем меньше в кадре объектов и текста, тем дольше живёт ролик.

Что в ролике из фото надёжно, а что проверять покадрово

Проверка покадрово звучит страшнее, чем есть: пятисекундный ролик проматывается стрелками за минуту, и смотреть надо не весь кадр, а две-три проблемные зоны из таблицы.

Частая ошибка: три действия в одном запросе и ролик на 10 секунд вместо двух по 5

Выглядит она так. Человек пишет: «камера наезжает, девушка поворачивается, поднимает чашку и улыбается, за окном идёт снег». Модель получает четыре задачи на пять секунд и решает их одновременно: рука появляется из ниоткуда, чашка меняет форму, лицо перестраивается на середине движения.

Лечится это разбиением: одно действие на отрезок, а склейка — в монтаже. Два ролика по пять секунд с одним действием каждый выходят с третьей-четвёртой попытки, а один десятисекундный с четырьмя действиями не выходит вообще.

Сколько попыток уходит на один рабочий ролик и сколько времени это занимает

Генерация одного отрезка занимает от одной до восьми минут машинного времени, на бесплатных тарифах к этому добавляется очередь. Поэтому запускать варианты нужно пачкой: три-четыре запроса подряд, потом отбор, а не «сгенерировал — посмотрел — сгенерировал».

Сколько стоит генерация видео из фото и с чем это сравнивать в Беларуси

Подписки на видеосервисы в пересчёте на белорусские деньги идут примерно от 35 до 100 BYN в месяц, оплата считается кредитами: один ролик на 5 секунд забирает от 20 до 100 кредитов в зависимости от разрешения. Месячного пакета среднего тарифа хватает на 30-80 роликов. Десятисекундный ролик списывает вдвое больше пятисекундного — ещё один довод за короткие куски.

Ориентиры по белорусскому рынку для сравнения: съёмка короткого рекламного ролика в студии — от 400 BYN, монтаж готового материала у фрилансера — от 40 BYN за ролик, пакет сторис для магазина на месяц — от 250 BYN. Выгода появляется не на одном видео, а там, где ролики нужны каждую неделю и по одному на позицию.

Отдельная строка расходов из Беларуси — сама оплата: зарубежная подписка картой белорусского банка чаще всего не проходит, и сверху ложится 10-20 процентов комиссии посредника или виртуальной карты. Бесплатные лимиты Kling, Hailuo и Шедеврума этот вопрос снимают, но упираются в очередь и водяной знак.

Где ролики из фото используют в Беларуси: карточка, сторис, экран в зале

Три применения окупаются быстрее остальных: видео в карточке товара на маркетплейсе, где позиций десятки и снимать каждую отдельно дорого; сторис магазина или мастера с ежедневным визуалом из тех же фотографий; экраны в торговом зале и на выставке, где хватает пятисекундной петли.

Границы применимости честнее обозначить сразу. Показывать в ролике то, чего у товара нет, нельзя: если модель дорисовала блеск, которого не будет в реальности, это уже не обработка, а обещание, за которое отвечать вам, вплоть до возврата и претензии покупателя. Чужие лица со стоковых снимков в движении — отдельный риск: лицензия на фотографию не всегда покрывает производное видео. Фото людей, которые не давали согласия, не анимируют вовсе, и здесь неважно, чем сделан ролик.

Как встроить генерацию видео в поток вместе с монтажом, звуком и обложками, разобрано на странице курса для дизайнеров. Требования площадок к видео в карточке и то, что можно показывать покупателю, — на странице для селлеров. Окупится ли это на вашем объёме позиций, разбирают на бесплатном созвоне 20-30 минут: там расспрашивают про ассортимент и называют инструменты и уроки.

Частые вопросы

Можно ли сделать видео из фото бесплатноДа. Kling, Hailuo и Шедеврум дают суточный запас бесплатных генераций, обычно два-четыре ролика в день с ожиданием в очереди. Разрешение и длина при этом урезаны, водяной знак чаще всего остаётся.

Сколько секунд длится ролик из фотоБазовая длина у большинства сервисов - 5 секунд, на платных тарифах 8-10. Более длинный ролик собирают из кусков: последний кадр предыдущего отрезка загружают как исходник для следующего.

Почему на видео из фото плывут надписи на упаковкеМодель не читает текст, а достраивает похожий узор в каждом следующем кадре. Буквы начинают шевелиться уже на второй секунде, на кириллице сильнее. Кадры с крупной надписью либо не анимируют, либо надпись возвращают поверх готового ролика в монтаже.

Есть ли звук в видео, сгенерированном из фотоУ большинства сервисов нет, ролик выходит немым. Звук добавляют отдельно: музыку из генератора или из библиотеки, озвучку - синтезом речи, шумы - в монтажной программе.

Сколько попыток нужно на один рабочий роликОт трёх до восьми на пятисекундный кадр с простым движением. На сцену с человеком в кадре - до пятнадцати: лицо и руки ломаются чаще всего.