Краткие выводы
- Показатель пословных ошибок (WER) считает замены, пропуски и вставки в сравнении с эталонной расшифровкой, которую написал человек.
- Стоит поменять правила нормализации текста, договоренности о написании слов или сами тестовые файлы, как та же система получит другой балл.
- Разметку спикеров, таймкоды, пропавшие куски записи, имена и качество экспорта нужно проверять отдельно.
- Реальную пользу приносит неизменный набор ваших собственных записей, который каждый раз оценивают по одним и тем же правилам.
- Мы не публикуем единый процент точности для KolWrite, потому что ни одна общая цифра не выдержит встречи с вашим реальным звуком.
1. Что считает метрика WER
Показатель пословных ошибок, который обычно сокращают до WER (Word Error Rate), сопоставляет машинную расшифровку с написанным человеком эталоном и считает ошибки трех видов: неверное слово, пропущенное слово и лишнее слово. Общее число ошибок делят на количество слов в эталоне. Программы тестирования NIST прикладывают к своим планам стандартные инструменты подсчета, ведь даже такая простая метрика зависит от того, как подготовить и сопоставить оба текста.1
Эта метрика хороша в контролируемом тесте, когда есть одна и та же запись, один эталон и общие правила для обеих сторон. Но она мало что дает, если одна система удаляет слова-паразиты, а другая их оставляет, или если в одном эталоне заимствованное имя записали латиницей, а в другом дали в транслитерации. Сама цифра не врет, она просто отвечает на другой вопрос.
2. Набор записей влияет на оценку сильнее самой модели
Чтение вслух в хороший микрофон не заменит звонок в техподдержку, запись из лекционного зала или разговор четырех человек за одним ноутбуком. Авторы вышедшей в 2022 году работы об обучении со слабым контролем привели результаты отдельно по каждому датасету и каждому языку, отказавшись от одной общей цифры для заголовков. Так и выглядит честный отчет.2
На иврите и арабском поверхностные сравнения сыплются еще быстрее. Там от правил орфографии зависит, что вообще считать отдельным словом. На сложность файла прямо влияют диалекты, переход с языка на язык внутри беседы и доля живой неподготовленной речи. Опубликованный в 2024 году корпус иврита собирали отчасти ради того, чтобы пополнить скромную базу записями спонтанной речи, а исследователи арабского языка выделяют диалектную речь со смешением языков в отдельную задачу.345
3. Что скрывает общая оценка
По WER не понять, тому ли спикеру приписали верные слова. Он ничего не скажет о поползших таймкодах, о минуте записи, пропавшей после сбоя при повторной попытке, или о слишком длинной строке субтитров, которую зритель не успеет прочитать, пока она висит на экране. За пропущенный предлог и за ошибку в дозировке лекарства эта метрика штрафует одинаково.
Вместо одного показателя мы следим за шестью: пропавшим аудио, словами, разметкой спикеров, именами и числами, таймингом, а также минутами, которые уходят у человека на правку результата. Если на выходе нужен документ или файл субтитров, сюда же добавляется точность экспорта. В итоге характеристика «точный» перестает быть просто прилагательным и превращается в проверку, которую может повторить любой.
4. Как небольшой команде провести честный тест
Соберите постоянный набор записей, похожих на вашу реальную работу: чистых и шумных, коротких и длинных, с одним спикером и с пятью, с тем смешением языков, на котором ваши люди действительно говорят. Сохраните исходные файлы, эталонный текст от человека, настройки и дату каждого прогона. Если потихоньку заменять файлы в наборе на более простые, он перестанет что-либо измерять.
Если получится, не говорите редактору, чью именно расшифровку он проверяет. Посчитайте ошибки до того, как кто-то начнет причесывать текст. Запишите рядом оценку машины и минуты, потраченные человеком. Повторяйте прогон после каждого обновления модели или конвейера обработки и не убирайте из набора тяжелые записи, даже если результаты на них огорчают.
5. Что должно быть в честном заявлении о точности
Заявление, на которое можно опереться в деле, всегда называет язык, тематику, датасет, условия записи, выбранную метрику, правила нормализации текста, число файлов, версию продукта и дату теста. А еще в нем прямо сказано, что именно не проверяли. Без этих подробностей любой процент остается рекламным лозунгом.
Мы не публиковали показатель точности для KolWrite и не станем выдумывать его для такой страницы. Мы советуем проверку поскучнее, но полезнее. Прогоните одни и те же сложные записи через каждый инструмент, сверьте имена и спикеров со звуком, доделайте экспорт до вида, в котором вы бы его правда отправили, и посчитайте, сколько работы осталось.
Частые вопросы
Что означает заявленная точность 99%?
Сама по себе эта цифра не значит почти ничего. За ней может стоять одна ошибка на сто слов эталона при определенных правилах нормализации и на записях, которые отобрал сам продавец. Спросите, на каких файлах, какой метрикой, по каким правилам и когда именно проводили замер. Если ответов нет, относитесь к этому как к рекламе.
Могут ли два сервиса получить разные оценки на одном и том же аудио?
Да, запросто. Разные эталонные тексты, разный подход к пунктуации, числам, словам-паразитам и вариантам написания меняют результат. При честном сравнении обо всех этих правилах договариваются заранее, еще до подсчета баллов.
Что стоит измерять кроме пословной ошибки (WER)?
Пропавшие куски звука, разметку спикеров, имена и числа, таймкоды слов или реплик, разбивку строк в субтитрах, сохранность верстки при экспорте, долю технических сбоев и время, которое тратит человек, чтобы довести файл до готового вида.
Хватит ли открытых бенчмарков, чтобы выбрать сервис?
С этого можно начать. В публичных наборах редко встречаются ваши помещения, ваши акценты и ваш словарь. Десять ваших собственных записей, оцененных по единым правилам, для нас показательнее любого рейтинга, построенного на чужом аудио.
Источники и дополнительная литература
- 1NIST, Open Speech Analytic Technologies Pilot Evaluation Plan
- 2Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
- 3Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
- 4Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition
- 5Chi & Bell, Improving Code-switched ASR with Linguistic Information
