En resumen
- La tasa de error por palabra compara el texto con una referencia hecha por una persona y suma las palabras cambiadas, omitidas y añadidas.
- Basta con cambiar las reglas de normalización, los criterios ortográficos o los archivos de prueba para que el mismo sistema obtenga otra nota.
- La identificación de hablantes, las marcas de tiempo, los fragmentos perdidos, los nombres propios y la calidad al exportar el archivo se deben revisar por separado.
- La prueba que le sirve consiste en evaluar un grupo fijo de sus propias grabaciones aplicando siempre el mismo criterio.
- No damos una cifra única de precisión para KolWrite porque ningún porcentaje aislado aguanta la prueba frente a su propio audio.
1. Qué cuenta la tasa de error por palabra
La tasa de error por palabra, que suele abreviarse WER, alinea la salida de la máquina con una referencia escrita por una persona y cuenta tres tipos de error: una palabra equivocada, una palabra que falta y una palabra de más. El total se divide entre el número de palabras de la referencia. Los programas de evaluación del NIST incluyen herramientas de puntuación estandarizadas junto con sus planes, porque incluso una métrica sencilla depende de cómo se preparan y se emparejan los dos textos.1
Este cálculo tiene sentido en una prueba controlada, donde se usa el mismo audio, la misma referencia y las mismas reglas en ambos lados. Pierde valor cuando un sistema limpia las muletillas y otro las deja, o cuando una referencia escribe un nombre extranjero con letras latinas y otra lo transcribe fonéticamente. La cifra no miente; simplemente responde a otra pregunta.
2. Los archivos de prueba pesan más en la nota que el modelo
Alguien leyendo un texto frente a un buen micrófono no tiene nada que ver con una llamada de soporte técnico, una clase en un aula grande o cuatro personas hablando alrededor de una laptop. Cuando en 2022 se publicó el estudio sobre entrenamiento con supervisión débil, los autores desglosaron los resultados por base de datos y por idioma, en lugar de dar un solo porcentaje para el titular. Así es como se presentan los datos con honestidad.2
En idiomas como el hebreo y el árabe, cualquier comparación descuidada hace agua mucho antes. La propia ortografía determina qué se considera una palabra. Además, el dialecto, el cambio constante de idioma y la cantidad de habla espontánea cambian por completo la dificultad de un archivo. De hecho, en 2024 se armó una base de datos en hebreo en parte para compensar la falta de grabaciones sin guion, y quienes investigan en árabe tratan el habla dialectal y con mezcla de idiomas como un problema aparte.345
3. Lo que esconde una nota única
El cálculo de WER no distingue si cada frase se le asignó a quien realmente la dijo. Tampoco avisa si las marcas de tiempo se van desfasando, si se perdió un minuto entero tras un fallo al reintentar el proceso o si un subtítulo quedó tan largo que desaparece de la pantalla antes de que dé tiempo a leerlo. Para esta métrica, comerse un artículo pesa exactamente lo mismo que equivocarse en la dosis de un medicamento.
En lugar de quedarnos con un solo dato, nosotros medimos seis: fragmentos de audio perdidos, palabras, asignación de hablantes, nombres y cifras, sincronización y cuántos minutos tarda una persona en dejar el texto listo. Si el trabajo final es un documento o un archivo de subtítulos, sumamos qué tan bien se conserva todo al exportar. Con esto, la precisión deja de ser una promesa abstracta y pasa a ser una revisión concreta que cualquiera puede repetir.
4. Cómo hacer una prueba rigurosa en un equipo pequeño
Deje fijo un grupo de grabaciones que se parezca a su trabajo real: audios limpios y con ruido, cortos y largos, de un hablante y de cinco, y con las mezclas de idiomas que su gente usa de verdad. Conserve los archivos originales, la transcripción humana de referencia, la configuración y la fecha de cada prueba. Si se van cambiando en silencio los archivos por otros más fáciles, la prueba deja de medir.
Siempre que sea posible, no le diga a quien revisa el texto de qué programa salió. Cuente los errores sobre el resultado en bruto, antes de que alguien lo edite. Anote a la par la puntuación que sacó la máquina y los minutos que tomó corregirlo a mano. Vuelva a pasar la prueba cada vez que cambie de modelo o de proceso, y no saque los audios difíciles de la carpeta por más que los resultados den vergüenza.
5. Qué datos debe dar quien promete precisión
Para que un dato de precisión sirva de algo, tiene que detallar el idioma, el sector, la base de datos, las condiciones de grabación, la métrica usada, las reglas de normalización, la cantidad de archivos, la versión del producto y la fecha. Y también tiene que aclarar qué cosas quedaron fuera de la medición. Sin todo eso, un porcentaje no pasa de ser un eslogan.
Nosotros nunca hemos publicado un porcentaje de precisión para KolWrite, ni nos vamos a inventar uno para poner en esta página. Le proponemos una prueba menos vistosa pero mucho más práctica: pase las mismas grabaciones difíciles por cada herramienta, escuche el audio para comprobar si acertó con los nombres y los hablantes, exporte el archivo tal como lo entregaría y calcule cuánto trabajo le queda por hacer.
Preguntas frecuentes
¿Qué significa que una herramienta tenga un 99 % de precisión?
Suelto, casi nada. Puede querer decir que hubo un error por cada cien palabras de referencia aplicando ciertas reglas de normalización y en archivos que eligió el propio vendedor. Pregunte con qué grabaciones se midió, con qué métrica, bajo qué reglas y en qué fecha. Si no le dan esos datos, tómelo como publicidad.
¿Pueden dos herramientas sacar distinta nota con el mismo audio?
Sí, es muy fácil que pase. Basta con usar otra transcripción de referencia o tratar de forma distinta la puntuación, los números, las muletillas y la ortografía para que cambie el resultado. Para hacer una comparación justa hay que dejar cerrados todos esos criterios antes de puntuar nada.
¿Qué conviene medir además de la tasa de error por palabra?
Los tramos de audio omitidos, la asignación de hablantes, los nombres propios y los números, la sincronización por palabra o por bloque, el formato de los subtítulos, la calidad del archivo exportado, la frecuencia con la que falla un proceso y el tiempo que tarda una persona en dejar el trabajo listo para entregar.
¿Alcanza con ver una comparativa pública para elegir una herramienta?
Sirve como referencia inicial, nada más. Las bases de datos públicas rara vez suenan como sus salas de reuniones, ni tienen los acentos o la jerga de su sector. Dice mucho más evaluar diez grabaciones propias usando siempre el mismo criterio que mirar un ranking armado con el audio de otros.
Fuentes y lecturas complementarias
- 1NIST, Open Speech Analytic Technologies Pilot Evaluation Plan
- 2Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
- 3Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
- 4Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition
- 5Chi & Bell, Improving Code-switched ASR with Linguistic Information
