Resumo
- A taxa de erro por palavra conta substituições, omissões e inserções comparando o resultado com uma transcrição de referência feita por uma pessoa.
- Basta mudar as regras de normalização, a convenção ortográfica ou os arquivos de teste para o mesmo sistema receber outra nota.
- Identificação de locutores, marcações de tempo, trechos perdidos, nomes próprios e qualidade da exportação precisam ser verificados separadamente.
- O teste que realmente ajuda é usar um lote fixo das suas próprias gravações, avaliado sempre do mesmo jeito.
- Não divulgamos um número único de precisão para o KolWrite, porque nenhuma taxa isolada sobreviveria ao encontro com o seu áudio real.
1. O que a taxa de erro por palavra mede
A taxa de erro por palavra, geralmente chamada de WER (Word Error Rate), coloca o texto da máquina lado a lado com uma referência escrita por uma pessoa e conta três tipos de erro: palavra trocada, palavra omitida e palavra adicionada. A soma é dividida pelo total de palavras da referência. Os programas de avaliação do NIST já entregam ferramentas de pontuação padronizadas junto com os planos de teste, porque até uma métrica simples dessas depende de como os dois textos são preparados e cruzados.1
A métrica funciona bem em um teste controlado, com o mesmo áudio, a mesma referência e as mesmas regras dos dois lados. Ela perde o sentido quando um sistema limpa vícios de linguagem e o outro mantém, ou quando uma referência escreve um nome estrangeiro no alfabeto latino e a outra faz a transliteração. O número não está mentindo, só está respondendo a outra pergunta.
2. O conjunto de testes muda mais a nota do que o modelo
Um texto lido perto de um bom microfone não tem nada a ver com uma ligação de suporte, uma palestra em auditório ou quatro pessoas falando em volta de um notebook. O estudo de 2022 sobre treinamento com supervisão fraca publicou seus resultados separados por banco de dados e por idioma, sem cravar um número único de capa. Essa é a maneira honesta de apresentar os dados.2
Comparações malfeitas desmoronam ainda mais rápido em hebraico e árabe. A ortografia define o que conta como uma palavra só. O dialeto, a troca de idioma no meio da frase e a quantidade de fala espontânea mudam muito o peso de um arquivo. Um banco de dados em hebraico lançado em 2024 foi criado em parte para incluir fala sem roteiro em um acervo que era bem ralo, e a pesquisa em árabe já trata a fala dialetal e misturada com outros idiomas como um problema separado.345
3. O que uma nota única esconde
O WER não diz se as palavras certas foram atribuídas ao locutor certo. Não avisa se as marcações de tempo saíram de sincronia, se um minuto sumiu depois que uma nova tentativa falhou ou se uma linha de legenda ficou longa demais para dar tempo de ler antes de sumir da tela. Na conta dele, comer um artigo tem o mesmo peso que errar a dose de um medicamento.
Aqui nós acompanhamos seis pontos em vez de um só: cortes no áudio, palavras, identificação de quem fala, nomes e números, sincronia de tempo e quantos minutos uma pessoa leva para consertar o texto. Quando o trabalho final é um documento ou arquivo de legenda, entra também a fidelidade da exportação. Com isso, precisão deixa de ser um adjetivo vago e vira uma checagem que qualquer um consegue repetir.
4. Um teste honesto que qualquer equipe pequena consegue fazer
Separe um lote fixo de gravações que represente o seu trabalho real, com áudios limpos e com ruído, curtos e longos, de um e de cinco locutores, e com as misturas de idiomas que a sua equipe realmente fala. Guarde os arquivos originais, a referência feita por humanos, as configurações e a data de cada rodada. Um conjunto renovado sem aviso por arquivos mais fáceis deixa de medir qualquer coisa.
Quando der, esconda de quem vai revisar qual ferramenta gerou aquele texto. Conte os erros antes de qualquer limpeza. Anote a nota da máquina ao lado dos minutos gastos pela pessoa na revisão. Rode tudo de novo sempre que mudar o modelo ou o fluxo de processamento, e mantenha os arquivos difíceis no pacote mesmo quando o resultado passar vergonha.
5. O que precisa ter em uma declaração honesta de precisão
Para uma afirmação servir de base para alguma decisão, ela precisa informar o idioma, a área, o banco de dados, as condições de gravação, a métrica usada, as regras de normalização, a quantidade de arquivos, a versão do produto e a data. E também precisa dizer o que ficou de fora da conta. Sem isso, qualquer porcentagem é só propaganda.
Nós nunca publicamos uma taxa de precisão para o KolWrite e não vamos inventar um número para colocar nesta página. A comparação que a gente sugere tem menos brilho, mas funciona bem melhor. Passe as mesmas gravações difíceis em cada ferramenta, confira nomes e locutores ouvindo o áudio, exporte o arquivo no formato que você realmente entregaria e conte quanto trabalho sobrou para limpar.
Perguntas frequentes
O que significa 99% de precisão?
Sozinho, quase nada. Pode querer dizer um erro a cada cem palavras de referência usando um conjunto específico de regras de normalização, em arquivos que o próprio fornecedor escolheu. Pergunte quais foram as gravações, qual a métrica, quais as regras e a data do teste. Sem essas informações, encare o número como propaganda.
Duas ferramentas podem tirar notas diferentes no mesmo áudio?
Sim, facilmente. Transcrições de referência diferentes e jeitos distintos de lidar com pontuação, números, vícios de linguagem e ortografia mudam o resultado. Uma comparação justa trava todas essas regras antes de alguém começar a dar nota.
O que devemos medir além da taxa de erro por palavra?
Trechos que sumiram, identificação de quem fala, nomes e números, sincronia de tempo por palavra ou bloco, quebra das legendas, fidelidade na exportação, frequência com que uma tarefa trava e o tempo que uma pessoa gasta até deixar o arquivo pronto.
Um benchmark público basta para escolher uma ferramenta?
Serve como ponto de partida. Bancos de dados públicos raramente têm a acústica das suas salas, os sotaques do seu pessoal ou o vocabulário da sua área. Preferimos ver dez gravações suas avaliadas sempre pelo mesmo critério do que um ranking montado em cima do áudio dos outros.
Fontes e leituras complementares
- 1NIST, Open Speech Analytic Technologies Pilot Evaluation Plan
- 2Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
- 3Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
- 4Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition
- 5Chi & Bell, Improving Code-switched ASR with Linguistic Information
