In sintesi
- Il tasso di errore per parola (WER) confronta il testo con una trascrizione di riferimento scritta da una persona e conta sostituzioni, omissioni e aggiunte.
- Basta cambiare le regole di normalizzazione, le convenzioni ortografiche o i file di prova perché lo stesso identico sistema ottenga un punteggio diverso.
- Riconoscimento dei parlanti, timestamp, brani saltati, nomi propri e qualità del file esportato vanno verificati ciascuno per conto proprio.
- Un benchmark che ti serve davvero si basa su un blocco fisso di tue registrazioni, valutato ogni volta nello stesso modo.
- Non dichiariamo una percentuale unica di precisione per KolWrite, perché un dato del genere non reggerebbe alla prova del tuo audio reale.
1. Cosa misura il tasso di errore per parola
Il tasso di errore per parola, abbreviato di solito in WER (Word Error Rate), mette a confronto il testo prodotto dalla macchina con una trascrizione di riferimento fatta da una persona. Conta tre tipi di sbaglio: una parola sbagliata, una saltata e una aggiunta di troppo. La somma viene poi divisa per il totale delle parole del testo di riferimento. I programmi di valutazione del NIST forniscono direttamente i propri strumenti di calcolo standardizzati, proprio perché anche una misura così semplice cambia parecchio in base a come si preparano e si confrontano i due testi.1
È un parametro che funziona bene nei test controllati, dove audio, testo di riferimento e regole sono identici per tutti. Perde invece quasi tutto il suo senso se un sistema taglia via gli intercalari mentre un altro li tiene, oppure se un testo di riferimento lascia un nome straniero in caratteri latini e l'altro lo traslittera. Il numero dice il vero. Sta solo rispondendo a un'altra domanda.
2. Il set di test fa cambiare il punteggio più del modello
Un brano letto davanti a un buon microfono non ha nulla a che vedere con una chiamata al servizio clienti, una lezione in aula magna o quattro colleghi che parlano intorno a un portatile. Lo studio del 2022 sull'addestramento a supervisione debole ha pubblicato i risultati separando ogni singolo dataset e ogni lingua, senza dare un'unica cifra da titolo di giornale. È così che si presentano i dati in modo serio.2
I confronti fatti con leggerezza reggono ancora meno con l'ebraico e l'arabo, dove già l'ortografia decide cosa conta come parola singola. Il dialetto, il passaggio continuo da una lingua all'altra e la quantità di parlato spontaneo cambiano del tutto la difficoltà di una traccia. Un dataset in ebraico uscito nel 2024 è nato anche per portare del parlato non recitato in un archivio fin lì molto povero, mentre chi fa ricerca sull'arabo tratta il parlato dialettale e misto come un problema a parte.345
3. Cosa nasconde un singolo punteggio
Il WER non ti dice se le parole giuste sono state messe in bocca alla persona giusta. Non segnala se i timestamp perdono il sincrono, se è sparito un minuto intero di audio dopo un tentativo di elaborazione andato a vuoto o se una riga di sottotitoli è troppo lunga per riuscire a leggerla prima che cambi. Per questo indice, perdersi un articolo per strada o sbagliare il dosaggio di un farmaco pesa esattamente uguale.
Invece di guardare un dato solo, noi ne controlliamo sei: pezzi di audio saltati, parole, assegnazione dei parlanti, nomi e numeri, sincronizzazione dei tempi e minuti spesi da una persona per rimettere a posto il testo. Se poi il lavoro finito deve essere un documento o un file di sottotitoli, valutiamo anche la tenuta dell'esportazione. In questo modo la precisione smette di essere uno slogan e diventa una verifica pratica che chiunque può rifare.
4. Un test onesto che anche un piccolo team può fare
Mettete da parte un gruppo fisso di registrazioni che rispecchi il vostro lavoro di tutti i giorni: tracce pulite e tracce rumorose, file brevi e lunghi, con una voce sola o con cinque, e con gli incroci di lingue che i vostri colleghi usano davvero. Conservate i file originali, la trascrizione fatta a mano come riferimento, le impostazioni usate e la data di ogni test. Se iniziate a sostituire senza dirlo i vecchi file con altri più facili, quel test smette di misurare alcunché.
Quando è possibile, non fate sapere a chi corregge quale programma ha generato il testo. Contate gli errori a freddo, prima che qualcuno dia una ripulita alla bozza, e segnate il punteggio automatico di fianco ai minuti impiegati dal revisore. Ripetete il giro a ogni modifica del modello o del flusso di lavoro, tenendo dentro i file più ostici anche quando fanno fare brutta figura.
5. Cosa c'è in una dichiarazione di precisione onesta
Per avere un valore pratico, un dato sulla precisione deve indicare lingua, settore, dataset, condizioni di registrazione, metrica adottata, regole di normalizzazione, numero di file, versione del prodotto e data del test. Deve anche dire chiaramente che cosa non è stato misurato. Senza queste informazioni, una percentuale è solo pubblicità.
Noi non abbiamo mai pubblicato una percentuale di precisione per KolWrite e di certo non ne inventeremo una per questa pagina. Preferiamo suggerire una prova meno d'effetto ma molto più concreta: date in pasto le stesse registrazioni difficili a ogni programma, controllate nomi e cambi di parlante riascoltando l'audio, esportate il file nel formato che dovreste effettivamente consegnare e contate quanto lavoro di correzione vi resta da fare.
Domande frequenti
Cosa significa una precisione del 99%?
Presa da sola, quasi niente. Può voler dire che c'è un errore ogni cento parole del testo di riferimento, calcolato però con una determinata serie di regole di normalizzazione e su file scelti da chi vende il prodotto. Chiedete sempre su quali registrazioni, con quale metrica, con quali regole e in che data è stato fatto il calcolo. Se mancano questi elementi, prendetela per quella che è: pubblicità.
Due strumenti possono ottenere punteggi diversi sullo stesso audio?
Sì, ci vuole pochissimo. Basta cambiare la trascrizione di riferimento o il modo in cui si trattano punteggiatura, numeri, intercalari e ortografia per veder cambiare il risultato. Per fare un confronto alla pari bisogna fissare tutte queste regole prima ancora di far partire il calcolo.
Cosa dovremmo misurare oltre al tasso di errore per parola?
Conviene controllare i brani saltati, l'attribuzione dei parlanti, i nomi propri e i numeri, il sincrono di parole o segmenti, la resa a schermo dei sottotitoli, la qualità del file esportato, quante volte si blocca un'elaborazione e quanto tempo serve a una persona per arrivare a un file pronto da consegnare.
Un benchmark pubblico basta per scegliere uno strumento?
Serve come punto di partenza. Nei dataset pubblici però non ci sono quasi mai l'acustica delle tue stanze, i tuoi accenti o i termini del tuo settore. Preferiamo vedere dieci tue registrazioni valutate tutte con lo stesso metro, piuttosto che una classifica fatta sull'audio di altri.
Fonti e approfondimenti
- 1NIST, Open Speech Analytic Technologies Pilot Evaluation Plan
- 2Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
- 3Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
- 4Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition
- 5Chi & Bell, Improving Code-switched ASR with Linguistic Information
