Ir al contenido
KolWrite Abrir KolWrite

Reconocimiento de voz

Cómo pasa una grabación a ser un texto con el que se puede trabajar

Un sistema de transcripción no oye palabras, las calcula. Este es el recorrido desde la onda de sonido hasta el texto con marcas de tiempo, y los puntos donde suele fallar.

KolWrite 6 min de lectura

Diagrama del proceso de transcripción: una onda sonora se corta en tramos breves, un codificador los convierte en una representación del habla, un decodificador puntúa las secuencias de palabras posibles y otras etapas añaden etiquetas de hablante y marcas de tiempo para generar una transcripción con tiempos.
El resultado en la aplicación, con el texto, los hablantes y las marcas de tiempo.

En resumen

  • El reconocimiento de voz calcula qué texto es el más probable para un tramo de audio. En la grabación no hay ningún guion oculto que rescatar.
  • Entrenar los modelos con volúmenes enormes de audio en varios idiomas los volvió más estables. Aun así, que un idioma aparezca en la lista no asegura que funcione bien.
  • Las etiquetas de hablante, los tiempos, la puntuación y la exportación son piezas separadas que rodean al motor de reconocimiento. Cada una puede fallar por su lado.
  • El micrófono y la sala suelen influir más en el resultado que el modelo que elija.
  • Reunimos el audio, el texto con tiempos y la corrección humana en el mismo sitio, porque ahí es donde saltan los errores.

1. Al programa le llega una señal, no una frase

Para el software, una grabación es una fila larga de números donde cada uno mide la presión del aire en un instante. Antes de sugerir una sola palabra, el sistema corta el audio en tramos muy breves y mide cómo se reparte la energía entre las frecuencias en cada tramo. Contra la física no se puede: dos personas hablando, el eco del cuarto, el ventilador de una laptop y la compresión del archivo entran revueltos en la misma señal.

Por eso el micrófono pesa más de lo que suele pensarse al comprar una herramienta. Uno puesto cerca de la boca guarda las consonantes y las pausas mínimas entre palabras. En cambio, un teléfono en el centro de una mesa de juntas recoge el eco y a todos hablando a la vez. Si el cuarto se come una consonante, ningún modelo de lenguaje la va a recuperar.

2. El codificador arma un mapa del habla

El codificador toma tramos cortos de audio y los pasa a vectores. Esos vectores guardan lo que sirve para predecir: rasgos fonéticos, ritmo y una idea parcial de qué es voz, qué es ruido y qué es silencio. El preentrenamiento a gran escala cambió este paso. Un artículo de 2022 describió un entrenamiento con 680,000 horas de audio multilingüe con supervisión débil. Otros trabajos posteriores pasaron de cien idiomas, y después de mil, apoyándose en grabaciones que nadie había transcrito.123

El volumen da rodaje, pero no empareja la calidad. Un modelo que ya pasó por más micrófonos, acentos y temas se desconcierta menos con el suyo. Pero una lista de idiomas disponibles no le dice cómo va a responder el sistema ante una llamada comercial en hebreo, una entrevista en árabe palestino o una frase que arranca en un idioma y termina en otro.

3. Decodificar es poner a competir frases posibles

El motor de reconocimiento no va eligiendo palabra por palabra. Compara secuencias enteras contra el audio y contra lo que sabe sobre cómo se arman las oraciones. Por eso prefiere una frase con sentido antes que una fila de sonidos parecidos. Y por eso mismo, cuando el audio suena pastoso, es capaz de entregar una oración impecable que nadie dijo.

Esto salta a la vista con los nombres propios, los números y los cambios de idioma. Quienes investigan el reconocimiento con cambio de código chocan siempre con la misma falta de material: sobra audio en cada idioma por separado, pero casi no hay grabaciones de gente cambiando de idioma a mitad de una frase. El hebreo y el árabe suman otro problema: una ortografía poco uniforme y pocas grabaciones de habla espontánea. Las bases de datos académicas más recientes aportan más muestras, aunque todavía no alcanzan para cubrir ese vacío.456

4. Una transcripción terminada es una cadena de pasos, no un solo resultado

El motor de reconocimiento saca palabras y tiempos. Separar a los hablantes es otro problema distinto: saber quién habló y cuándo. La alineación ajusta cada palabra al reloj, mientras que la puntuación y los párrafos hacen que el texto se pueda leer. Luego entran el guardado, los reintentos, la edición, el buscador y la exportación. Cada paso es una pieza aparte y puede fallar sin que fallen los demás.

También pasa que un paso contradiga al otro. El texto puede estar bien transcrito pero atribuido a la persona equivocada. Un resumen puede quedar muy prolijo mientras en la transcripción hay un apellido irreconocible. En vez de ponerle encima un porcentaje de confianza, preferimos mostrar el original con sus tiempos para que lo resuelva quien revisa.

5. Qué revisamos antes de fiarnos de un flujo de trabajo

Haga la prueba con sus peores grabaciones: una videollamada con tres personas pisándose al hablar, una clase grabada desde el fondo del aula, un audio mandado desde un pasillo ruidoso o un apellido repetido cuarenta veces. Después mida cuánto tarda en dejar listo un archivo corregido que se animaría a mandar, no cuánto tarda en aparecer el primer borrador en pantalla.

KolWrite junta en una sola pantalla el reproductor, el texto, los hablantes y los tiempos, y mantiene esa estructura al exportar a documentos o archivos de subtítulos. Eso no le quita las dudas al reconocimiento de voz, pero permite ubicar rápido las partes dudosas y corregirlas al momento. Ese último tramo sigue siendo trabajo de una persona.

Preguntas frecuentes

¿Es lo mismo la transcripción con IA que el reconocimiento de voz?

El reconocimiento de voz es solo el paso que pasa el audio a palabras. Una herramienta de transcripción lo envuelve con otras funciones: detectar el idioma, separar hablantes, poner marcas de tiempo, puntuar, editar, buscar y exportar. En el trabajo diario, casi todos los dolores de cabeza vienen de ese envoltorio, no del motor.

¿Por qué una transcripción con errores suele leerse tan bien?

Porque el decodificador busca secuencias de palabras que tengan sentido según el contexto. Si el audio se oye mal, gana una frase que suena lógica aunque no sea lo que se dijo, y al leerla pasa desapercibida. Conviene revisar contra el audio los nombres, las cifras y cualquier frase que vaya a citar.

¿Que un sistema admita más idiomas quiere decir que funciona igual de bien en todos?

No. Entre un idioma y otro hay grandes diferencias en las horas de entrenamiento, los dialectos cubiertos y la calidad de la evaluación. Que un idioma aparezca en la lista solo indica que el sistema puede procesarlo, pero no garantiza qué tan preciso será en su idioma.

¿Las marcas de tiempo salen del mismo modelo que escribe las palabras?

No siempre. Muchas veces los tiempos, las etiquetas de hablante y la puntuación salen de procesos distintos. Por eso una transcripción puede traer las palabras exactas pero desfasadas en el tiempo. Nosotros revisamos cada cosa por separado.

Fuentes y lecturas complementarias

  1. 1Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
  2. 2Pratap et al., Scaling Speech Technology to 1,000+ Languages
  3. 3Zhang et al., Google USM: Scaling Automatic Speech Recognition Beyond 100 Languages
  4. 4Chi & Bell, Improving Code-switched ASR with Linguistic Information
  5. 5Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
  6. 6Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition

Todas las guías e investigaciones

Seguir leyendo

Ejemplo de cómo se cuentan los errores de transcripción: una línea de referencia escrita por una persona sobre el texto generado por la máquina, donde se marcan una palabra sustituida, una omitida y una añadida, y se divide la suma de las tres entre el total de palabras de la referencia.

Evaluación

La precisión no cabe en una sola cifra

La tasa de error por palabra es una medida real, pero es fácil citarla sin explicar en qué condiciones se obtuvo. Una transcripción puede sacar muy buena nota y aun así no servir para el trabajo que usted necesita. Aquí le contamos qué mide esa cifra y qué preferimos medir nosotros.

7 min de lectura

Línea de tiempo de subtítulos donde cada bloque muestra cuánto dura en pantalla frente al tiempo que tarda el espectador en leerlo, con un subtítulo demasiado largo marcado junto a una versión acortada que sí entra en su hueco.

Accesibilidad

Los subtítulos son parte del contenido

Una transcripción, una pista de subtítulos traducidos y un archivo de subtítulos descriptivos pueden llevar exactamente las mismas palabras y servir para tres cosas distintas. Aquí contamos para qué está hecho cada uno, qué pide el estándar y qué comprobamos antes de publicar.

7 min de lectura

Ventana de exportación con las opciones de formato, nombres de los hablantes y marcas de tiempo.

Grabación

¿Qué formato de archivo de audio conviene usar para transcribir?

El formato del archivo importa menos de lo que parece. Pesa mucho más cómo se guarda una grabación que la extensión que lleva. Aquí vemos cómo se comparan los formatos habituales, qué se pierde al comprimir y qué archivo conviene guardar.

7 min de lectura