Ir para o conteúdo
KolWrite Abrir o KolWrite

Reconhecimento de fala

Como uma gravação vira um texto pronto para o trabalho

Um sistema de transcrição não ouve palavras. Ele calcula probabilidades. Veja o caminho que vai da onda sonora ao texto sincronizado e onde esse processo costuma falhar.

KolWrite 6 min de leitura

Diagrama do fluxo de transcrição: a onda sonora é cortada em janelas curtas, um codificador converte essas janelas em uma representação da fala, um decodificador pontua sequências candidatas de palavras e etapas separadas incluem identificação de locutores e marcações de tempo para gerar a transcrição sincronizada.
O resultado no aplicativo: texto, falantes e marcação de tempo.

Resumo

  • O reconhecimento de fala calcula qual é o texto mais provável para um trecho de áudio. Não existe um roteiro escondido na gravação esperando para ser resgatado.
  • Treinar modelos com grandes volumes de áudio em várias línguas trouxe mais estabilidade. Mesmo assim, ter suporte a um idioma não é garantia de qualidade nele.
  • Identificação de locutores, marcações de tempo, pontuação e exportação rodam em peças separadas ao redor do reconhecedor. Cada uma pode falhar sozinha.
  • O microfone e a acústica da sala geralmente pesam mais no resultado do que a escolha do modelo.
  • Deixamos o áudio, o texto sincronizado e a correção humana na mesma tela, porque é ali que os erros aparecem.

1. O software recebe um sinal, não uma frase

Para o programa, uma gravação é uma fila enorme de números que registram a pressão do ar a cada instante. Antes de qualquer tentativa de adivinhar palavras, esse áudio é fatiado em janelas bem curtas, e cada fatia é descrita pelo modo como a energia se espalha pelas frequências. Contra a física não há argumento. Duas pessoas falando juntas, o eco da parede, a ventoinha do notebook e a compressão do arquivo entram misturados no mesmo sinal.

Por isso o microfone faz mais diferença do que muita gente espera na hora de contratar uma ferramenta. Perto da boca, ele capta as consoantes e as pequenas pausas entre uma palavra e outra. Já um celular largado no meio da mesa de reunião pega o eco e todo mundo falando junto. Se a sala engoliu uma consoante, nenhum modelo de linguagem consegue trazê-la de volta.

2. O codificador monta um mapa da fala

O papel do codificador é converter pedaços curtos de áudio em vetores. Esses vetores guardam pistas úteis para prever o texto, como detalhes fonéticos, ritmo e uma distinção parcial entre o que é voz, ruído ou silêncio. O pré-treinamento em grande escala mudou esse passo. Em 2022, um artigo descreveu um treino feito com 680.000 horas de áudio multilíngue com supervisão fraca. Pesquisas seguintes passaram de cem idiomas, e depois de mil, usando gravações que nunca tinham sido transcritas.123

Volume de treino traz repertório, mas não equilibra o jogo entre os idiomas. Um modelo que já passou por mais microfones, sotaques e assuntos estranha menos a sua gravação. Só que uma lista de idiomas suportados não diz como o sistema vai se sair numa ligação comercial em hebraico, numa entrevista em árabe palestino ou numa frase que começa numa língua e termina em outra.

3. A decodificação coloca frases plausíveis para competir

O reconhecedor não escolhe palavra por palavra. Ele dá nota para sequências inteiras, cruzando o som com o que aprendeu sobre a estrutura das frases. É por isso que ele dá preferência a uma expressão que faz sentido em vez de uma sequência de sons parecidos. Pelo mesmo motivo, quando o áudio está embolado, o sistema pode devolver uma frase super bem escrita que ninguém falou.

Esse problema fica claro em nomes próprios, números e trocas de idioma. Quem pesquisa reconhecimento de fala com alternância de código esbarra sempre na mesma falta de dados: sobra áudio em cada língua isolada, mas quase não há gravações de gente mudando de língua no meio da frase. No hebraico e no árabe, ainda entram na conta a grafia instável e a escassez de fala espontânea gravada. Bases de dados acadêmicas recentes até aumentaram esse acervo, mas ainda não taparam o buraco.456

4. A transcrição pronta vem de uma linha de montagem, não de uma peça só

O reconhecedor entrega as palavras e os tempos. Descobrir quem falou e quando já é trabalho para a separação de locutores. O alinhamento prende cada palavra ao relógio, enquanto a pontuação e a divisão de parágrafos deixam o texto legível. Na sequência entram o armazenamento, as novas tentativas de processamento, a edição, a busca e a exportação. Como cada etapa funciona como uma peça separada, qualquer uma delas pode dar defeito por conta própria.

Além disso, uma etapa pode desmentir a outra. O texto pode sair certinho, mas atribuído à pessoa errada. Um resumo automático pode parecer impecável, mesmo que um sobrenome tenha saído todo estropiado no meio da transcrição. Em vez de estampar uma nota de confiança no topo da página, preferimos mostrar a gravação original sincronizada e deixar que um revisor bata o martelo.

5. O que nós testamos antes de confiar num fluxo de trabalho

Faça o teste com o seu pior áudio. Pegue uma chamada de vídeo com três pessoas se atropelando, uma aula gravada lá do fundo da sala, um áudio de corredor barulhento ou um sobrenome repetido quarenta vezes. Depois, cronometre quanto tempo você leva para ter em mãos um arquivo corrigido que teria coragem de enviar, e não os segundos até o primeiro texto piscar na tela.

No KolWrite, o player de áudio, o texto, os locutores e as marcações de tempo ficam juntos na mesma tela, e essa estrutura vai inteira quando você exporta para documentos ou arquivos de legenda. Isso não acaba com a margem de erro do reconhecimento de fala, mas deixa os trechos duvidosos fáceis de achar e rápidos de consertar. Essa etapa final ainda depende de uma pessoa.

Perguntas frequentes

Transcrição por IA é a mesma coisa que reconhecimento de fala?

O reconhecimento de fala é só a parte que transforma o som em palavras. Um sistema de transcrição completo coloca várias camadas em volta disso: detecção de idioma, separação de locutores, marcação de tempo, pontuação, edição, busca e exportação. No dia a dia, a maior parte da dor de cabeça vem dessas camadas em volta, não do motor principal.

Por que uma transcrição errada tantas vezes parece tão bem escrita?

Porque o decodificador usa o contexto para escolher a sequência de palavras mais provável. Se o áudio está ruim, uma frase que faz sentido ganha do que foi dito de verdade e o texto final fica fluente. Sempre confira na gravação os nomes, os números e qualquer trecho que você pretenda citar.

Suportar mais idiomas significa ter a mesma qualidade em todos?

Não. A quantidade de horas de treino, a variedade de dialetos cobertos e o rigor dos testes mudam muito de uma língua para outra. Uma lista de idiomas mostra apenas que o recurso existe, mas não garante precisão na língua que você usa.

As marcações de tempo vêm do mesmo modelo que gera as palavras?

Nem sempre. Tempos, identificação de locutores e pontuação costumam ser gerados por etapas separadas. É assim que uma transcrição acaba com as palavras certas no momento errado. Verificamos cada um separadamente.

Fontes e leituras complementares

  1. 1Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
  2. 2Pratap et al., Scaling Speech Technology to 1,000+ Languages
  3. 3Zhang et al., Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages
  4. 4Chi & Bell, Improving Code-switched ASR with Linguistic Information
  5. 5Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
  6. 6Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition

Todos os guias e pesquisas

Continuar lendo

Exemplo prático de contagem de erros de transcrição, com uma linha de referência humana acima do texto da máquina, marcando uma palavra substituída, uma omitida e uma inserida, e dividindo as três pelo total de palavras de referência.

Avaliação

A precisão não é um número só

A taxa de erro por palavra é uma medida real, mas fácil de citar fora de contexto. Uma transcrição pode tirar nota boa e ainda assim não servir para o trabalho que você precisa. Veja o que esse número realmente conta e o que nós medimos no lugar dele.

6 min de leitura

Linha do tempo de legendas: cada bloco mostra o tempo na tela ao lado do tempo que o espectador leva para ler, apontando uma legenda longa demais ao lado de uma versão mais curta que cabe no seu espaço.

Acessibilidade

As legendas fazem parte do conteúdo

Uma transcrição, uma legenda traduzida e uma legenda descritiva podem ter exatamente as mesmas palavras, mas servem para três coisas diferentes. Veja a função de cada formato, o que a norma técnica pede e o que conferimos antes de publicar.

6 min de leitura

O painel de falantes ao lado de uma transcrição, mostrando os nomes e o número de trechos de fala.

Reuniões

Da transcrição às tarefas: responsáveis, prazos e acompanhamento

Reuniões terminam cheias de boas intenções, mas o que sobra uma semana depois são as tarefas combinadas. Veja como tirá-las da transcrição, escrevê-las para que sejam cumpridas e confirmar tudo antes que alguém conte com elas.

7 min de leitura

A janela de exportação com opções de formato, nomes dos falantes e marcações de tempo.

Gravação

Qual formato de arquivo de áudio usar para transcrição?

O formato do arquivo pesa menos do que você imagina. O jeito como o áudio é salvo faz mais diferença do que a extensão no fim do nome. Veja como os formatos mais comuns se saem, o que se perde na compressão e qual arquivo vale guardar.

7 min de leitura