Glossario pratico dei termini di trascrizione e sottotitolazione

Quali termini descrivono il passaggio dalla voce al testo?

Il riconoscimento vocale automatico (ASR, Automatic Speech Recognition) è la tecnologia che trasforma l'audio parlato in testo scritto. Nel linguaggio di tutti i giorni questo processo si chiama spesso speech-to-text. La trascrizione è invece il lavoro completo: il testo trascritto è il documento finale, in cui alle parole riconosciute si aggiungono spesso i nomi di chi parla, i tempi e la punteggiatura.

Il modello è il sistema addestrato che riconosce il parlato, mentre i dati di addestramento (training data) sono le registrazioni e i testi su cui ha imparato. Un modello acustico abbina i suoni alle singole unità del parlato. Un modello linguistico calcola quanto è probabile una certa sequenza di parole, aiutando il sistema a preferire una frase sensata a una strana. Oggi molti sistemi riuniscono questi due compiti in un modello unico.

La decodifica (decoding) è la ricerca della sequenza di parole più probabile per un determinato spezzone audio. Il punteggio di confidenza (confidence score) è un numero che il sistema assegna alla propria ipotesi: dà un'indicazione, ma non garantisce che la parola sia giusta. Si parla di allucinazione (hallucination) quando il sistema produce frasi scorrevoli che però nell'audio non ci sono, cosa che può capitare durante i silenzi o quando l'audio si sente male. Anche per questo un testo generato in automatico va sempre riletto.

Quali termini descrivono l'accuratezza?

Il tasso di errore per parola (WER, Word Error Rate) confronta una trascrizione con una trascrizione di riferimento. Conta le parole sostituite, omesse o inserite e divide il totale per il numero di parole del testo di riferimento. Una sostituzione è una parola sbagliata al posto di quella giusta, un'omissione (deletion) è una parola saltata e un inserimento (insertion) è una parola aggiunta in più. Il tasso di errore per carattere (CER, Character Error Rate) fa lo stesso calcolo sui singoli caratteri e si usa per le lingue e gli alfabeti in cui non c'è una separazione netta tra le parole.

La trascrizione di riferimento è il testo corretto e verificato con cui si confronta il risultato. Prima del conteggio, la normalizzazione uniforma i due testi per renderli confrontabili alla pari: per esempio toglie la punteggiatura, scrive i numeri nello stesso formato e allinea l'ortografia. Un valore WER ha senso solo se si conoscono la trascrizione di riferimento, le regole di normalizzazione applicate e l'audio usato per la prova.

Nel calcolo del WER ogni parola pesa uguale: un articolo saltato conta quanto un cognome sbagliato. Per questo motivo chi usa questi strumenti controlla spesso a parte i nomi propri, le cifre e i termini specifici. Qui non indichiamo percentuali, perché i risultati cambiano in base alla qualità dell'audio e alla lingua.

Quali termini riguardano chi parla?

La diarizzazione (diarization) stabilisce chi ha parlato e quando, dividendo la registrazione nei vari turni di parola. Non riconosce però le parole dette. L'etichetta del parlante (speaker label) è il nome o la sigla associata a ogni intervento, come 'Interlocutore 1' o un nome assegnato. Un turno (turn) è il tratto continuo in cui parla una sola persona senza interruzioni.

La sovrapposizione vocale (overlapping speech) si ha quando due o più persone parlano insieme, una situazione difficile da gestire sia per il riconoscimento delle parole sia per la diarizzazione. Il rilevamento dell'attività vocale (VAD, Voice Activity Detection) trova i punti della registrazione in cui c'è una voce, saltando i silenzi e i rumori. Il tasso di errore di diarizzazione (DER, Diarization Error Rate) misura quanto tempo è stato assegnato alla persona sbagliata, non è stato rilevato o è stato rilevato per errore.

Quali termini riguardano le lingue e la traduzione?

L'identificazione della lingua riconosce in quale lingua si sta parlando. Il code-switching (commutazione di codice) avviene quando chi parla passa da una lingua all'altra nella stessa conversazione o dentro la stessa frase, per esempio mescolando ebraico e inglese. Un dialetto è una varietà regionale o sociale di una lingua. L'arabo standard moderno, per esempio, è la forma usata nello scritto formale e nei media, mentre l'arabo parlato tutti i giorni è quasi sempre un dialetto.

La traslitterazione riporta i suoni di una parola da un alfabeto a un altro, come quando si scrive un nome arabo con lettere ebraiche. La traduzione invece porta il significato da una lingua all'altra. Una lingua scritta da destra a sinistra (RTL, right-to-left), come l'ebraico o l'arabo, segue il verso opposto rispetto all'alfabeto latino, e questo incide su come appaiono i sottotitoli e i documenti quando il testo contiene anche parole in inglese o numeri.

KolWrite trascrive in più di 100 lingue, gestisce il parlato misto come ebraico e inglese insieme, e traduce tra le lingue supportate.

Quali termini descrivono i tempi e lo stile di scrittura?

Un timestamp (marca temporale) segna il punto preciso in cui è stata detta una frase, calcolato dall'inizio del file. Un timecode è un codice standard che identifica un fotogramma video, di solito nel formato ore, minuti, secondi e fotogrammi. I timestamp a livello di parola indicano l'inizio e la fine di ogni singola parola. L'allineamento forzato (forced alignment) è il procedimento che abbina un testo già pronto all'audio per ricavare questi tempi esatti.

La trascrizione integrale (verbatim) riporta tutto quello che viene detto, compresi intercalari, frasi lasciate a metà e ripetizioni. La trascrizione pulita (clean verbatim, chiamata a volte intelligent verbatim) toglie intercalari e false partenze, ma conserva le parole esatte e il senso di ciò che ha detto chi parla. Il ripristino della punteggiatura aggiunge maiuscole, virgole e punti alle parole riconosciute, mentre la formattazione dei numeri trasforma in cifre i numeri detti a voce.

Quali termini descrivono i formati dei file e i sottotitoli?

SRT e VTT sono formati di sottotitoli in testo semplice che affiancano a ogni battuta il tempo di inizio e di fine. Il formato VTT (o WebVTT) è lo standard usato sul web e permette di scegliere la posizione e lo stile del testo. TXT è un file di solo testo, DOCX è un documento Word, PDF è un documento a impaginazione fissa e JSON è un formato di dati strutturati per i software, usato spesso per salvare i tempi delle singole parole e le etichette di chi parla.

In inglese si distingue tra captions e subtitles: le captions mostrano i dialoghi e i suoni importanti per chi non può sentire; i subtitles trascrivono o traducono il parlato per chi sente l'audio ma ha bisogno del testo scritto. I sottotitoli per sordi e ipoudenti (SDH, Subtitles for the Deaf and Hard of Hearing) sono uno stile di sottotitoli che include anche la descrizione dei rumori e indica chi sta parlando. I sottotitoli chiusi (closed captions) sono salvati su una traccia separata che si può attivare o disattivare, mentre i sottotitoli aperti (open captions o burned-in) sono impressi in modo permanente nei fotogrammi del video.

Quali termini descrivono l'audio e il flusso di lavoro?

Un codec è il metodo usato per codificare e comprimere l'audio. I formati senza perdita di dati (lossless), come il WAV, conservano tutti i dettagli dell'audio originale, mentre i formati con perdita (lossy), come l'MP3, scartano una parte dei dati per ridurre il peso del file. Il bitrate indica la quantità di dati elaborata per ogni secondo di audio: in genere, più è alto e più dettagli conserva. La frequenza di campionamento (sample rate) indica quante volte al secondo viene misurato il suono. Un file mono usa un solo canale audio, uno stereo ne usa due.

Il rapporto segnale/rumore (SNR, Signal-to-Noise Ratio) confronta il volume della voce con quello del rumore di fondo. Un SNR basso è uno dei motivi principali per cui il riconoscimento automatico commette errori. L'elaborazione in batch lavora su gruppi di file già registrati, mentre il riconoscimento in streaming (o in tempo reale) elabora l'audio man mano che arriva, per l'uso dal vivo. KolWrite lavora su registrazioni caricate dall'utente e non genera sottotitoli in tempo reale durante le chiamate.

Un vocabolario personalizzato, o glossario, è un elenco di nomi e termini fornito al sistema perché li riconosca con meno errori. Un'API è un'interfaccia che permette ai programmi informatici di inviare audio e ricevere il testo. La revisione, chiamata a volte human-in-the-loop, è il passaggio in cui una persona controlla e corregge la trascrizione automatica.