Whisper: распознавание речи, русский язык и запуск на своём компьютере

Короткий ответ: Whisper — это открытая модель распознавания речи от OpenAI, а не сайт и не программа. Она превращает аудио в текст с отметками времени и работает почти на сотне языков, включая русский. Веса модели выложены открыто, поэтому её можно запустить на своём компьютере бесплатно и не отправлять записи в чужое облако вовсе.

Чем Whisper отличается от сервиса расшифровки, в котором он же и стоит

Путаница возникает потому, что человек ищет «Whisper» и попадает на десяток разных сайтов. Объяснение простое: модель одна, а обёрток к ней много. Часть популярных сервисов расшифровки — это интерфейс, оплата и хранение файлов поверх той же самой модели.

Вывод из таблицы практический: если расшифровка нужна раз в месяц, ставить ничего не надо, сервис быстрее. Своя установка окупается там, где записей много или где их нельзя выносить наружу.

Размеры модели Whisper: от лёгкой до крупной и что меняется между ними

Whisper существует в нескольких версиях по объёму, от самой маленькой до самой большой, плюс отдельно есть ускоренный вариант крупной модели. Чем крупнее версия, тем меньше ошибок и тем больше требований к железу.

На русском языке разница между размерами заметнее, чем на английском: маленькие версии обучены в основном на английской речи и на кириллице ошибаются заметно чаще. Практическое правило простое — для русского берут среднюю версию как минимум, а если позволяет видеокарта, то крупную.

Что Whisper на русском путает чаще всего: имена, термины и цифры

• Имена и фамилии. Особенно белорусские, редкие и иностранные. Их проще собрать списком и пройти автозаменой после расшифровки.
• Названия компаний и продуктов. Превращаются в похожие по звучанию обычные слова, и в тексте это выглядит нелепо.
• Английские слова в русской речи. Модель переключается между языками внутри фразы неровно: часть терминов запишет латиницей, часть — на слух кириллицей.
• Цифры и суммы. В одной расшифровке встретятся и «двести», и «200». Для отчёта и субтитров формат приводят к одному.
• Наложение реплик. Когда двое говорят одновременно, кусок теряется или превращается в бессмыслицу.
• Тишина и музыка. Самая неприятная особенность: на длинной паузе модель может выдать фразу, которой в записи не было. Проверять такие места нужно обязательно, особенно в начале и в конце файла.

Ключевой вывод: Whisper не даёт готового текста, он даёт черновик, который вычитывают. Но соотношение времени меняется радикально — вместо трёх-четырёх часов ручного набора часа записи получается 30-50 минут правки.

Сколько языков понимает Whisper и как работает перевод на английский

Модель обучена на многоязычном материале и работает примерно с сотней языков, хотя качество между ними распределено неравномерно: английский и крупные европейские языки распознаются лучше всего, русский — уверенно, редкие языки — хуже. Белорусская речь распознаётся заметно слабее русской, и на смешанной трасянке модель регулярно сваливается в русский вариант написания.

Отдельно у Whisper есть режим перевода: он переводит распознанную речь на английский язык. Обратного направления в самой модели нет — перевести русскую запись на польский или английскую на русский средствами одного Whisper не получится, для этого расшифровку прогоняют через отдельный переводчик. Ещё одна деталь: язык записи модель определяет сама, но на коротких файлах и на смешанной речи ошибается, поэтому язык лучше указывать явно.

Как запустить Whisper на своём компьютере: три способа и что нужно из железа

1. Официальный пакет на Python. Самый прямой путь: ставится пакет, ставится распаковщик звука, дальше расшифровка запускается одной командой с указанием файла, языка и размера модели. Требует минимального знакомства с командной строкой.
2. Ускоренная сборка. Отдельные реализации той же модели работают в несколько раз быстрее и требуют меньше памяти при том же качестве. Это стандартный выбор для потока записей.
3. Сборка под обычный процессор. Версия, которая не требует видеокарты и работает даже на ноутбуке средней мощности, в том числе в виде готовой программы с окном и кнопкой. Скорость ниже, зато ставится проще всего.

Про железо честно: без видеокарты крупная модель считает час записи ощутимо дольше самого часа, и это нормально — расшифровку ставят на ночь. С подходящей видеокартой час записи обрабатывается за единицы минут. Средняя версия на обычном ноутбуке даёт разумный компромисс: примерно от четверти до половины длительности записи.

Форматы, которые отдаёт Whisper: текст, субтитры и отметки времени

Именно наличие отметок времени делает Whisper удобным внутри автоматизации: расшифровка становится не текстом «на почитать», а данными, по которым дальше режут видео, ищут нужный фрагмент разговора или собирают сводку встречи.

Когда своя установка Whisper дешевле сервиса: расчёт по часам записи

Считать проще всего в часах чужого труда. Ручная расшифровка часа записи в Беларуси стоит порядка 30-80 BYN в зависимости от качества звука и срочности, и делается она три-четыре часа. Whisper убирает набор текста целиком и оставляет вычитку — это 30-50 минут на час записи.

• Одна запись в месяц. Ставить ничего не нужно: онлайн-сервис или встроенная в мессенджер расшифровка закроют задачу быстрее.
• Три-пять записей в неделю. Своя установка начинает окупаться временем: нет очередей, нет лимитов, нет загрузки файлов.
• Записи с персональными данными. Разговоры с клиентами, приёмы, внутренние совещания. Здесь вопрос не в деньгах: запись просто не должна покидать компьютер.
• Поток на заказ. Расшифровка чужих записей как услуга. Тут собственная установка обязательна, иначе оплата сервиса съедает маржу.

Чего Whisper не делает и что придётся добавлять отдельно

1. Не помечает говорящих. Разделение по голосам ставится отдельным инструментом поверх расшифровки.
2. Не расставляет смысловые абзацы. Текст приходит сплошной массой, структуру наводит человек или текстовая модель следующим шагом.
3. Не делает сводку. Whisper — это распознавание, а не понимание: краткий пересказ и список задач получают, отправив расшифровку в текстовую модель.
4. Не спасает плохую запись. Микрофон в кармане, эхо зала и разговор через стол он не вытянет — вопрос решается на съёмке, а не после.
5. Не гарантирует отсутствие выдумок. На тишине и музыке появляются фразы, которых не было. Начало и конец файла проверяют всегда.

Обычный рабочий порядок выглядит как цепочка: Whisper распознаёт речь, отдельный инструмент помечает говорящих, текстовая модель приводит расшифровку в читаемый вид и собирает список решений. Собрать такую цепочку один раз и запускать её на каждой записи — это и есть переход от разовых кнопок к рабочему процессу.

Как этот процесс устроен и чем его автоматизируют, разбирается на курсе: применение в компании — на странице курса для бизнеса, а маршрут для тех, кто берёт расшифровки и обработку записей как услугу, — на странице для фрилансеров. Обучение рассчитано на 12 месяцев, уроки по 30 минут, их более 150 и становится больше, доступ индивидуальный. Если непонятно, нужна ли вам своя установка или хватит сервиса, есть бесплатный разбор на 20-30 минут: там расспросят про вашу ситуацию, покажут, что закрывается уже сегодня, и назовут инструменты и уроки.

Частые вопросы

Что такое WhisperWhisper - модель распознавания речи от OpenAI с открытыми весами: её можно скачать и запустить на своём компьютере бесплатно. Она превращает аудио в текст, расставляет отметки времени и умеет переводить речь на английский. Это именно модель, а не сайт: интерфейс к ней дают сторонние программы и сервисы.

Насколько точно Whisper распознаёт русскую речьНа чистой записи одного говорящего результат близок к готовому тексту: править приходится имена, названия, термины и цифры. Точность заметно падает на шумной записи, эхе помещения, сильном акценте и разговоре нескольких человек разом. Крупные версии модели на русском ошибаются заметно реже маленьких.

Можно ли запустить Whisper бесплатно на своём компьютереДа, веса модели открыты, и запуск на своей машине не стоит ничего, кроме электричества и времени. Понадобится установить программу-обёртку и распаковщик звука, а для быстрой работы крупной версии - видеокарта с достаточным объёмом видеопамяти. На процессоре тоже работает, только медленнее.

Умеет ли Whisper разделять говорящихСам по себе нет: он отдаёт сплошной текст с отметками времени, но не помечает, кто именно говорит. Разделение по голосам добавляется отдельными инструментами поверх Whisper, и в готовых сервисах расшифровки эта функция чаще всего именно так и устроена.

Что лучше: Whisper на своём компьютере или онлайн-сервис расшифровкиСвоя установка выигрывает там, где записи нельзя выносить наружу и где их много: разговоры с клиентами, врачебные приёмы, внутренние совещания. Онлайн-сервис выигрывает удобством: не нужно ничего ставить, сразу есть разделение говорящих и редактор текста. При редких расшифровках сервис почти всегда практичнее.