Словарь терминов транскрибации и создания субтитров простыми словами

Какие термины описывают превращение речи в текст?

Автоматическое распознавание речи (Automatic Speech Recognition, или ASR) переводит устную речь с записи в печатный текст. В разговорной речи этот процесс обычно называют Speech-to-Text (речь в текст). Транскрибация решает более широкую задачу: в готовом транскрипте к распознанным словам часто добавляют имена спикеров, таймкоды и знаки препинания.

Саму работу выполняет обученная система, или модель, а массив аудиозаписей и текстов, на которых она училась, называют обучающими данными (training data). Акустическая модель сопоставляет звуки с элементами речи. Языковая модель оценивает, насколько вероятны те или иные словосочетания, и помогает выбрать осмысленную фразу вместо странного набора слов. В современных системах обе эти роли часто объединены в одной модели.

Декодированием называют подбор самой вероятной цепочки слов для конкретного отрывка записи. При этом система выставляет своей догадке оценку уверенности (confidence score). Это число служит подсказкой, но правильность не гарантирует. Бывают и галлюцинации, когда алгоритм выдает складный текст, которого в записи не было. Такое случается на паузах или при плохом звуке, и в том числе поэтому черновик после авторасшифровки нужно вычитывать.

Какие термины описывают точность распознавания?

Показатель Word Error Rate (WER, коэффициент ошибок в словах) сравнивает полученный транскрипт с эталонным. Для расчета складывают все замененные, удаленные и вставленные слова, а затем делят сумму на общее число слов в эталоне. Замена (substitution) означает неверное слово вместо правильного, удаление (deletion) означает пропуск слова, а вставка (insertion) означает добавление лишнего слова. Посимвольный коэффициент ошибок (Character Error Rate, или CER) считается так же, но по отдельным символам. Его применяют для языков и систем письма, где границы между словами выражены нечетко.

Эталонным транскриптом (reference transcript) называют проверенный и точный текст, с которым сверяют результат работы программы. Чтобы сравнение было честным, перед подсчетом оба текста приводят к общему виду: убирают пунктуацию, одинаково записывают числа и выравнивают орфографию. Этот шаг называется нормализацией. Сам по себе показатель WER ничего не говорит, если неизвестны эталонный текст, правила нормализации и тестовая запись.

Для метрики WER все слова равны: пропущенный артикль «the» даст такую же ошибку, как перевранная фамилия. Поэтому многие отдельно проверяют имена собственные, цифры и узкие термины. Мы не приводим здесь конкретные проценты, так как результат всегда зависит от чистоты звука и конкретного языка.

Какие термины относятся к разделению спикеров?

Диаризация отвечает за определение того, кто и когда говорил, и разбивает запись на реплики отдельных участников. Сами слова на этом этапе не распознаются. Непрерывный отрезок речи одного человека называют репликой (turn), а привязанную к ней подпись, вроде «Спикер 1» или конкретного имени, называют меткой спикера (speaker label).

Когда два человека или больше говорят одновременно, возникает наложение речи (overlapping speech), которое сильно мешает и распознаванию, и диаризации. За поиск участков с голосом отвечает детектор речевой активности (Voice Activity Detection, или VAD), отсекающий тишину и фоновый шум. Качество разделения голосов оценивают через коэффициент ошибок диаризации (Diarization Error Rate, или DER). Он показывает долю времени, которую система приписала не тому человеку, пропустила или по ошибке приняла за речь.

Какие термины описывают работу с языками и переводом?

Системы идентификации языка (language identification) определяют, на каком языке говорят на записи. Если собеседник переходит с одного языка на другой прямо во время разговора или внутри одной фразы, например смешивает иврит с английским, это называют переключением кодов (code-switching). Диалектом считается региональный или социальный вариант языка. Скажем, в арабском мире на современном стандартном арабском пишут официальные тексты и ведут передачи, а в жизни говорят в основном на диалектах.

Транслитерация передает звучание слова буквами другого алфавита (например, когда арабское имя записывают на иврите), а перевод передает сам смысл на другом языке. В языках с письмом справа налево (Right-to-Left, или RTL), таких как иврит и арабский, направление строки влияет на то, как отображаются субтитры и документы, если внутри текста попадаются английские слова или цифры.

KolWrite расшифровывает речь более чем на 100 языках, справляется со смешанной речью вроде сочетания иврита и английского и переводит текст между поддерживаемыми языками.

Какие термины описывают тайминг и стиль оформления текста?

Временная метка (timestamp) показывает, в какой момент от начала файла прозвучала фраза. Таймкод (timecode) используется для разметки видеокадров и обычно записывается в виде часов, минут, секунд и кадров. Пословные временные метки (word-level timestamps) фиксируют начало и конец каждого отдельного слова. Чтобы получить такое точное время для уже готового текста, применяют принудительное выравнивание (forced alignment), сопоставляя текст со звуковой дорожкой.

Дословная транскрибация (verbatim) сохраняет в тексте абсолютно все, включая слова-паразиты, оговорки, обрывки фраз и повторы. При чистой, или литературной, транскрибации (clean verbatim или intelligent verbatim) эти заминки и лишние междометия убирают, но точные слова и мысль говорящего оставляют без изменений. Восстановление пунктуации отвечает за расстановку заглавных букв, точек и запятых, а форматирование чисел переводит произнесенные вслух числительные в цифры.

Какие термины описывают форматы файлов и субтитров?

SRT и VTT представляют собой текстовые форматы субтитров, где у каждой реплики указано время появления и исчезновения. Формат VTT (или WebVTT) принят как веб-стандарт и позволяет настраивать положение и оформление текста на экране. TXT хранит простой неформатированный текст, DOCX открывается в Word, а PDF жестко фиксирует верстку документа. Формат JSON нужен для обмена структурированными данными между программами и часто хранит внутри пословный тайминг вместе с метками спикеров.

В английском языке разделяют понятия captions и subtitles. Captions делают для глухих и слабослышащих зрителей, поэтому кроме речи в них описывают важные звуки. Subtitles помогают тем, кто слышит звук, но нуждается в тексте с расшифровкой или переводом. Аббревиатурой SDH (Subtitles for the Deaf and Hard of Hearing) называют формат субтитров, куда включены описания звуков и имена говорящих. Скрытые субтитры (closed captions) идут отдельной дорожкой, так что их можно включить или выключить, а открытые, или вшитые (open / burned-in captions), намертво впечатаны в саму картинку видео.

Какие термины описывают параметры звука и рабочий процесс?

Кодеком называют способ кодирования и сжатия звука. Форматы без потерь (lossless) вроде WAV сохраняют все детали исходной записи, а форматы с потерями (lossy), такие как MP3, жертвуют частью данных ради меньшего веса файла. Битрейт показывает, сколько данных уходит на одну секунду аудио; чем он выше, тем больше деталей обычно остается в звуке. Частота дискретизации (sample rate) отражает, сколько раз в секунду замеряется звуковой сигнал. В монозаписи (mono) задействован один аудиоканал, а в стерео (stereo) их два.

Отношение сигнал/шум (Signal-to-Noise Ratio, или SNR) сравнивает громкость голоса с громкостью фонового шума. Низкий SNR входит в число главных причин, из-за которых система распознавания ошибается. При пакетной обработке (batch processing) уже записанные файлы обрабатываются пачкой, а потоковое распознавание (streaming или real-time) разбирает звук по мере поступления для работы в реальном времени. KolWrite работает с загруженными записями и не выводит живые субтитры во время звонка.

Пользовательский словарь (custom vocabulary / glossary) содержит список имен и специальных терминов, которые передают системе, чтобы она надежнее их распознавала. Через программный интерфейс API другие программы могут сами отправлять аудио и забирать готовый текст. А вычитка, или проверка с участием человека (human-in-the-loop), означает этап работы, когда человек проверяет и правит автоматический транскрипт.