Распознавание спикеров: как программа понимает, кто говорит

Как устроено определение спикеров?

Распознавание речи переводит звук в слова. Определение спикеров, или диаризация, отвечает на другой вопрос: кто и в какой момент говорил. Программа режет запись на фрагменты речи, оценивает характеристики каждого голоса и собирает похожие по звучанию куски в общие группы. На выходе получаются безымянные роли, обычно «Спикер 1», «Спикер 2» и так далее.

Группы остаются безымянными намеренно. Программа слышит, что две реплики произнес один и тот же голос, но не знает, что это Ноа из финансового отдела. Дать имя каждому участнику нужно вручную, зато всего один раз. Дальше это имя автоматически встанет ко всем репликам этого голоса.

Поскольку распознавание слов и разделение голосов идут отдельно, то и ошибаются они независимо друг от друга. В расшифровке могут быть точно записаны все слова, но сама фраза окажется приписана другому человеку. Поэтому при проверке смотрите и на текст, и на то, кому отданы реплики.

Почему система иногда путает говорящих?

Чаще всего виноваты перебивания. Когда двое говорят одновременно, в одном куске аудио смешиваются два голоса. Системе нужно привязать каждую секунду к одному человеку, и ей приходится выбирать кого-то одного. Вторая проблема связана с короткими вставками вроде «да», «точно» или «хорошо». За полсекунды программа не успевает считать характеристики голоса, поэтому такие слова часто приклеиваются к реплике предыдущего спикера.

Похожие голоса разделять тоже трудно. Если двое коллег одного возраста и с похожим выговором говорят в один микрофон ноутбука, их не всегда различит даже внимательный слушатель. Еще сложнее с телефонными звонками в монорежиме, где оба голоса идут по одной дорожке и вдобавок сжимаются телефонной связью.

Сильно влияет и само помещение. Эхо смазывает голос, а если человек отвернулся или отошел от микрофона, он начинает звучать совсем иначе. На долгих записях голос тоже меняется: люди устают, волнуются или прокашливаются. Из-за этого программа может записать одного участника как двух разных спикеров или склеить двоих человек в одну группу.

Как организовать запись, чтобы голоса разделились чисто?

Поставьте микрофон поближе к каждому участнику. Положить один диктофон в центр стола проще всего, но голоса так разделяются хуже некуда. Если же придвинуть к каждому свой микрофон или телефон, а удаленных коллег попросить надеть гарнитуры, программа разберет спикеров гораздо точнее. На интервью с одним собеседником кладите диктофон между вами, чуть ближе к тому, кто говорит тише.

Договоритесь говорить по очереди. Если в самом начале встречи попросить всех дослушивать фразы до конца, разметка сразу станет точнее. В живом споре люди все равно будут перебивать друг друга, полностью от этого не уйти, но даже пара сэкономленных перебиваний сократит время на вычитку.

Начните запись со знакомства. Пусть каждый назовет свое имя и скажет одно полное предложение. Так программа получит чистый образец каждого голоса, а вам при разметке достаточно будет включить первую минуту записи, чтобы вспомнить, кто есть кто.

Как подписать спикеров и сохранить их имена?

Откройте расшифровку, включите первую реплику каждой группы и впишите настоящее имя человека. В KolWrite переименовывать спикеров можно прямо во время чтения. Новые имена сразу попадут во все файлы при экспорте, так что документ Word и субтитры будут в точности совпадать с текстом на экране. Само разделение голосов идет в облаке, но локальная база спикеров запоминает людей по именам и узнает их голоса прямо на вашем устройстве. Загружать аудио заново, чтобы опознать уже знакомый системе голос, не придется.

Подписывайте участников так, как принято у ваших читателей: полные имена с должностями для официальных протоколов или просто имена для рабочих заметок. Главное, не меняйте выбранный формат от встречи к встрече, чтобы по имени человека легко находились все его реплики в разных документах.

Если кто-то на записи остался неопознанным, подпишите группу тем, что точно известно, например «Гость» или «Звонящий», и оставьте как есть. Чужое имя в протоколе принесет больше вреда, чем общая метка.

Как быстро проверить правильность разметки?

Перечитывать всю расшифровку ради проверки меток не нужно. В важных кусках разговора смотрите на места смены спикера и слушайте первую секунду после каждого перехода. Ошибки обычно собираются там, где собеседники перебивают друг друга, бросают короткие реплики или вступают сразу после паузы.

Отдельно проверяйте каждую прямую цитату и каждое обязательство. Если в сводке написано, что Омар пообещал прислать файл, включите и переслушайте именно эту строчку. Ошибка в авторе проходной реплики никому не навредит, но чужое имя рядом с обещанием, цифрой или жалобой исказит запись того, что произошло.

Случайные ошибки в отдельных фразах правьте построчно, а раздвоившихся спикеров склеивайте целыми группами. Если система разбила одного человека на две роли, дайте обеим группам одно имя, и они объединятся. Любая автоматическая расшифровка ошибается и требует проверки, и имена спикеров тут ничем не отличаются от самого текста.

В каких случаях разметка по спикерам критически важна?

Метки спикеров нужны везде, где важно знать, кто именно произнес конкретные слова: в протоколах встреч, интервью, звонках клиентам, стенограммах слушаний и записях исследований. А вот для лекций или голосовых заметок, где говорит один человек, разметка почти не нужна, там хватит и сплошного текста.

Без имен не обойтись и тогда, когда запись нужно перевести на другой язык или пустить на субтитры. По субтитрам с именами зритель понимает, кто говорит за кадром. Поэтому сначала наведите порядок в именах спикеров и только потом выгружайте файл.