En bref
- Le taux d'erreur par mot compare le texte à une référence écrite par une personne et additionne les mots remplacés, oubliés ou ajoutés.
- Il suffit de changer les règles de normalisation, les conventions d'orthographe ou les fichiers de test pour que le même outil obtienne une autre note.
- Il faut vérifier séparément l'identification des locuteurs, les codes temporels, les passages sautés, les noms propres et la qualité du fichier exporté.
- Pour bien comparer, gardez un lot fixe de vos propres enregistrements et notez-les toujours selon les mêmes règles.
- Nous n'affichons aucun pourcentage de précision global pour KolWrite, car un chiffre unique volerait en éclats dès vos premiers fichiers audio.
1. Ce que compte le taux d'erreur par mot
Le taux d'erreur par mot (souvent appelé WER) compare le texte de la machine à une transcription de référence écrite par une personne. Il relève trois types de fautes : un mot remplacé par un autre, un mot oublié et un mot ajouté en trop. On divise ensuite le total de ces fautes par le nombre de mots du texte de référence. Si les programmes d'évaluation du NIST fournissent leurs propres outils de notation avec leurs protocoles, c'est que même un calcul aussi simple dépend de la manière dont on prépare et aligne les deux textes.1
Dans un cadre strict, cet indicateur est utile : on prend le même fichier audio, la même référence et les mêmes règles pour tout le monde. Mais il perd son intérêt dès qu'un outil supprime les hésitations alors qu'un autre les conserve, ou quand une référence écrit un nom étranger en alphabet latin tandis qu'une autre le translittère. Le chiffre ne ment pas, il répond simplement à une autre question.
2. Les fichiers de test changent plus la note que le modèle
Lire un texte devant un bon micro n'équivaut pas à un appel au service client, un cours en amphi ou quatre personnes autour d'un ordinateur portable. En 2022, les travaux sur l'entraînement faiblement supervisé ont publié leurs résultats jeu de données par jeu de données et langue par langue, sans mettre en avant un chiffre unique. C'est la façon honnête de présenter les résultats.2
En hébreu et en arabe, une comparaison approximative tourne vite au fiasco. Les choix d'orthographe changent déjà ce qui compte comme un seul mot. Ajoutez le dialecte, le passage d'une langue à l'autre et la part d'improvisation, et la difficulté du fichier change du tout au tout. Un jeu de données en hébreu sorti en 2024 a d'ailleurs été créé en partie pour ajouter de la parole spontanée à des ressources qui en manquaient. Du côté de l'arabe, les chercheurs traitent les dialectes et le mélange des langues comme un sujet à part entière.345
3. Ce qu'un score global ne montre pas
Le WER ne vous dira jamais si la bonne phrase a été attribuée à la bonne personne. Il ignore les codes temporels qui se décalent, la minute d'audio qui saute après une reprise ratée, ou le sous-titre trop long qui disparaît de l'écran avant qu'on ait pu le lire. Pour lui, oublier un simple article ou se tromper sur la dose d'un médicament, c'est exactement la même faute.
Au lieu d'un seul chiffre, nous suivons six critères : les coupures audio, les mots eux-mêmes, l'attribution des locuteurs, les noms et les nombres, le minutage, ainsi que les minutes passées par un humain pour corriger le texte. Si le travail doit aboutir à un document mis en page ou à un fichier de sous-titres, nous vérifions aussi la qualité de l'export. La précision n'est plus une vague promesse, cela devient une vérification concrète que tout le monde peut refaire.
4. Un test fiable qu'une petite équipe peut mettre en place
Mettez de côté un lot d'enregistrements représentatif de votre quotidien : du son propre et du bruit, des fichiers courts et longs, un seul intervenant ou cinq, avec les mélanges de langues que vos collègues utilisent vraiment. Conservez précieusement les fichiers bruts, la transcription de référence faite à la main, les réglages utilisés et la date de chaque essai. Si vous remplacez discrètement les fichiers du lot par des enregistrements plus faciles, votre test ne mesure plus rien.
Si possible, ne dites pas au relecteur quel outil a généré le texte. Comptez les erreurs de traitement avant même que quelqu'un ne commence à corriger. Notez sur la même ligne le score automatique et le nombre de minutes passées à la relecture. Refaites le test à chaque changement de modèle ou de chaîne de traitement, et gardez les fichiers difficiles dans votre lot, même si les résultats font grincer des dents.
5. Que contient une promesse de précision honnête ?
Pour qu'une déclaration de précision vous aide à décider, elle doit indiquer la langue, le domaine, le jeu de données, les conditions d'enregistrement, la mesure choisie, les règles de normalisation, le nombre de fichiers, la version du produit et la date. Elle précise aussi ce qui n'a pas été mesuré. Sans ces éléments, un pourcentage reste un slogan.
Nous n'avons jamais publié de taux de précision pour KolWrite, et nous n'allons pas en inventer un pour cette page. Nous vous conseillons une méthode moins spectaculaire, mais bien plus instructive : passez les mêmes enregistrements difficiles dans chaque outil, vérifiez les noms propres et les changements de locuteurs en réécoutant le son, générez le fichier final tel que vous l'enverriez, puis comptez le temps de retouche qu'il vous reste.
Questions fréquentes
Que veut dire « 99 % de précision » en pratique ?
Seul, il ne veut presque rien dire. Cela peut signifier une erreur tous les cent mots du texte de référence selon un jeu de règles de normalisation précis, sur des fichiers choisis par le vendeur. Demandez de quels enregistrements il s'agit, quelle mesure et quelles règles ont servi, et à quelle date. Sans ces précisions, prenez cela pour de la publicité.
Deux outils peuvent-ils avoir des notes différentes sur le même fichier audio ?
Oui, très facilement. Il suffit que la transcription de référence change, ou que la ponctuation, les nombres, les mots d'hésitation et l'orthographe soient traités autrement pour faire bouger la note. Pour comparer équitablement, il faut figer toutes ces règles avant de lancer le moindre calcul.
Que faut-il vérifier en plus du taux d'erreur par mot ?
Regardez les passages sautés, l'attribution des locuteurs, les noms propres et les chiffres, le minutage des mots ou des phrases, le découpage des sous-titres, la qualité du fichier exporté, la fréquence des plantages et le temps qu'une personne doit passer pour obtenir un document prêt à l'emploi.
Peut-on se fier aux classements publics pour choisir un outil ?
C'est une base, sans plus. Les bases de données publiques reflètent rarement l'acoustique de vos salles, les accents de vos interlocuteurs ou votre jargon métier. Dix de vos propres enregistrements, évalués toujours de la même façon, vous en apprendront bien plus qu'un palmarès établi sur les fichiers des autres.
Sources et lectures complémentaires
- 1NIST, Open Speech Analytic Technologies Pilot Evaluation Plan
- 2Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
- 3Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
- 4Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition
- 5Chi & Bell, Improving Code-switched ASR with Linguistic Information
