Нейросеть для поиска видео: найти нужную минуту в часовой записи

Короткий ответ: видео ищут не по картинке, а по тексту. Запись расшифровывают в текст с тайм-кодами, и дальше нужный момент находится обычным поиском по словам за пару секунд. У роликов на YouTube расшифровка открывается прямо под плеером, свои записи распознают отдельными инструментами. Часовой эфир так разбирается за 15-20 минут вместо часа перемотки, а архив из сотни записей превращается в базу, по которой можно искать.

Два разных запроса за одними словами: найти ролик в сети и найти момент в записи

Дальше разговор про последние три задачи: именно они съедают время. Найти ролик в интернете умеет любой поисковик, а вот вспомнить, на какой минуте трёхчасовой планёрки договорились про сроки, без расшифровки нельзя.

Как расшифровка с тайм-кодами превращает запись в поисковый индекс

Механика простая. Модель распознавания речи слушает дорожку и отдаёт текст, разбитый на реплики, у каждой из которых стоит время начала. Получается документ вида «00:14:32 — а по срокам давайте так». По этому документу работает обычный поиск.

1. Вытащите звук или загрузите видео целиком — большинство инструментов принимают и то, и другое.
2. Запустите распознавание. Час чистой записи одного человека распознаётся за 3-8 минут с точностью 95-98%, планёрка на шесть голосов — с 88-93%.
3. Сохраните текст с тайм-кодами рядом с видеофайлом, имя файла — то же самое.
4. Ищите по словам. Поиск в текстовом редакторе, поиск по содержимому файлов в системе, поиск в облачном диске — подойдёт любой.
5. Откройте видео на найденной секунде. В плеере это переход по времени, на YouTube — клик по строке расшифровки.

Три способа найти нужный момент в часовом эфире

Третий способ самый удобный и самый рискованный. Модель может уверенно ответить про то, чего в записи не было, поэтому просите её вместе с ответом называть тайм-код и цитату. Проверить цитату по записи — 20 секунд, и это дешевле, чем сослаться на несуществующую договорённость.

Чем это делают: расшифровка YouTube, браузерный пересказ, локальные модели

• Расшифровка под роликом YouTube. Открывается в описании кнопкой показа текста видео. Работает на большинстве роликов с речью, включая чужие. Бесплатно и без установки.
• Пересказ видео в браузере. Яндекс Браузер пересказывает ролики и выдаёт содержание с тайм-кодами. Удобно, чтобы за минуту понять, стоит ли смотреть часовую запись целиком.
• Модели распознавания речи локально. Whisper и его сборки ставятся на компьютер и работают без интернета. Единственный вариант для записей, которые нельзя отдавать в облако.
• Встроенные расшифровки в сервисах созвонов. Запись планёрки часто уже лежит с текстом и разделением по говорящим, отдельный инструмент не нужен.
• Текстовые модели с большим контекстом. Принимают расшифровку целиком и отвечают на вопросы по содержанию. Часть из них принимает и ссылку на ролик.
• Голосовые сообщения в мессенджерах. Расшифровка встроена и решает ту же задачу на коротких записях.

Как разобрать часовой эфир за 20 минут: порядок из шести шагов

1. Расшифровка. Запускаете распознавание и параллельно занимаетесь другим делом: 3-8 минут.
2. Беглый просмотр текста. Читаете по диагонали, отмечаете места, где меняется тема: 5 минут.
3. Пять вопросов к тексту. Просите модель вытащить главные тезисы, названные цифры, обещания и вопросы зрителей — с тайм-кодами.
4. Проверка по записи. Открываете три-четыре ключевых тайм-кода и слушаете. Цитаты, которые пойдут в публикацию, проверяются все без исключения.
5. Отбор кусков под клипы. Законченная мысль на 30-50 секунд, начинается с утверждения, заканчивается точкой.
6. Сохранение в архив. Текст, тайм-коды и отобранные куски складываются рядом с файлом записи.

На выходе за 20 минут получается то, ради чего обычно смотрят час: тезисы, цитаты, список вопросов и заготовки под короткие ролики.

Чего поиск по словам не находит: показ экрана, жесты и неназванные вещи

• То, что показали, но не назвали. «Вот тут смотрите» в расшифровке есть, а что именно на экране — нет.
• Текст на слайдах и таблицы. Речь распознаётся, картинка нет. Цифры со слайда в тексте не появятся.
• Реакции и паузы. Молчание после вопроса иногда важнее ответа, но в тексте это пустое место.
• Наложение реплик. Когда двое говорят одновременно, распознавание отдаёт кашу и часть слов теряет.
• Имена, термины и названия. Ошибаются чаще всего именно на них, поэтому ищите по нескольким вариантам написания.
• Музыка, шумы, действия без слов. Для них нужен просмотр или отдельные инструменты разбора картинки.

Обходной приём для слайдов: снять с записи несколько стоп-кадров и распознать текст на них отдельно. Пять кадров с ключевыми слайдами закрывают большую часть пробела.

Как устроить архив записей, в котором вообще можно искать

Расшифровка делается один раз и живёт годами. Сто записей по часу — это примерно 15-20 часов разовой работы инструментами и терабайт видео, который после этого перестаёт быть свалкой.

Какие записи нельзя загружать в облачный сервис

• Переговоры, где вторая сторона не знает о записи. Это вопрос не только сервиса, но и законности самой записи.
• Персональные данные клиентов: фамилии, телефоны, адреса, номера договоров, названные вслух.
• Коммерческая тайна и внутренние цифры. Условия договоров, себестоимость, планы, зарплаты.
• Медицинские и любые чувствительные сведения о людях.
• Записи под договором о неразглашении. Загрузка в чужой сервис — это передача третьему лицу.

Для всего перечисленного распознавание ставится локально: модель работает на своём компьютере, файл никуда не уходит. Час записи считается дольше, чем в облаке, но вопрос закрывается полностью.

Где умение разбирать записи превращается в оплачиваемую работу

Разбор эфиров редко продают отдельной строкой, но он лежит в основе целого пакета: из одного часового вебинара получаются тезисы, статья, десяток коротких клипов, письмо в рассылку и список возражений для отдела продаж. Тому, кто умеет вытащить это за вечер, платят не за расшифровку, а за то, что записи перестают лежать мёртвым грузом. Как собирается такой пакет и что в нём автоматизируется, разобрано на странице курса для специалистов по соцсетям, а как встроить разбор созвонов и планёрок во внутренние процессы компании — на странице для бизнеса. Если непонятно, с чего начать разбор своего архива записей, для этого есть бесплатный разбор на 20-30 минут.

Частые вопросы

Как найти нужный момент в часовом видеоПолучите расшифровку с тайм-кодами и ищите по ней обычным поиском по словам. У роликов на YouTube расшифровка открывается прямо под плеером, для своих записей её делают инструментами распознавания речи. Найденный тайм-код переводит плеер на нужную секунду.

Есть ли нейросеть, которая ищет видео по описаниюПоисковые сервисы с ИИ находят ролики по смыслу запроса и отдают ссылки, а не сами видео. Внутри чужого ролика поиск идёт по расшифровке и названиям глав. Найти кадр по картинке помогает поиск по изображению: загружаете стоп-кадр и ищете источник.

Можно ли задать вопрос по содержанию длинного видеоДа. Ссылку на ролик или файл расшифровки дают текстовой модели и спрашивают своими словами: где говорили про цену, какие сроки назвали, какие были возражения. Ответ проверяйте по тайм-коду: модели иногда приписывают записи то, чего в ней не было.

Как искать по архиву из сотни записейКаждую запись расшифровывают один раз и складывают текст рядом с видео в одну папку с одинаковыми именами файлов. Дальше поиск идёт по текстам обычным поиском по содержимому файлов, а видео открывается на нужной секунде по тайм-коду из расшифровки.

Какие записи нельзя загружать в облачный сервисЗаписи с персональными данными, коммерческой тайной, медицинскими сведениями и переговоры, где вторая сторона не знает о записи. Для таких файлов распознавание ставят локально на свой компьютер: модели распознавания речи работают без интернета.