Создать субтитры для видео, не загружая его
Большинство людей смотрят видео в соцсетях без звука, а записи встреч удобнее просматривать по расшифровке. Раньше автоматические субтитры означали загрузку записи в онлайн-сервис. Сегодня модель распознавания речи может работать прямо в браузере.
Обновлено:
Как это работает
Генератор субтитров запускает на вашем устройстве модель Whisper tiny от OpenAI. Он сам определяет язык речи, поддерживает 99 языков и при желании переводит речь в английские субтитры.
Модель загружается один раз, около 41 МБ, и затем хранится в браузере. После этого субтитры можно создавать без интернета, а ни видео, ни звук не покидают устройство.
Пошагово
Подходят и видео, и аудиофайлы, например запись с телефона, выпуск подкаста или экспортированная встреча.
- Откройте генератор субтитров и выберите видео- или аудиофайл.
- Оставьте автоматическое определение языка или выберите язык вручную, если запись начинается с музыки или тишины.
- Запустите распознавание. На современном ноутбуке оно обычно занимает меньше времени, чем длится запись; телефоны работают медленнее.
- Просмотрите строки и исправьте в редакторе имена, термины и тайминги.
- Скачайте SRT, VTT или обычный текст либо создайте новое видео с впечатанными субтитрами.
SRT, VTT или впечатанные?
SRT — самый распространённый формат субтитров. Его принимают видеоплееры, программы монтажа и большинство форм загрузки на видеоплатформах. VTT — формат для веб-плееров. Обычный текст пригодится для протокола, заметок или поиска по сказанному.
Отдельные файлы субтитров можно включать, выключать и редактировать позже. Впечатанные субтитры становятся частью изображения — это нужно для площадок, которые не принимают файлы субтитров. UseTool записывает такое видео в новый файл WebM и не трогает оригинал.
Как улучшить результат
Модель tiny достаточно мала, чтобы работать в браузере, и у этого есть пределы. Чёткая речь рядом с микрофоном распознаётся хорошо. Фоновая музыка, одновременная речь нескольких людей, сильный акцент и эхо приводят к большему числу ошибок.
Чаще всего ошибки встречаются в именах и специальных терминах, поэтому текст стоит один раз прочитать перед публикацией. Ручной выбор языка помогает, если в записи смешаны языки или она начинается с длинного вступления.
Поддерживаются записи продолжительностью до часа. На телефонах при очень длинных записях может не хватить памяти, поэтому там надёжнее обрабатывать запись по частям.
Почему здесь важна локальная обработка
Записи встреч, интервью, занятий или сеансов терапии часто содержат личные сведения о людях, которые никогда не соглашались передавать их сервису расшифровки. Обработка на собственном устройстве полностью снимает этот вопрос, и никакие минуты не списываются с тарифа.