Das Wichtigste in Kürze
- Die Wortfehlerrate vergleicht das Ergebnis mit einer menschlichen Vorlage und zählt ersetzte, ausgelassene sowie falsch eingefügte Wörter.
- Sobald man die Normalisierungsregeln, die Schreibweise oder die Testdateien ändert, bekommt dasselbe System einen anderen Wert.
- Sprecherzuordnung, Zeitstempel, verschluckte Passagen, Eigennamen und die Qualität beim Export muss man jeweils separat prüfen.
- Wirklich weiter hilft nur ein festes Set aus Ihren eigenen Aufnahmen, das Sie jedes Mal nach denselben Kriterien auswerten.
- Für KolWrite veröffentlichen wir keine pauschale Genauigkeitszahl, weil ein einzelner Wert dem Praxistest mit Ihrem Audio nicht standhalten würde.
1. Was die Wortfehlerrate eigentlich zählt
Für die Wortfehlerrate (meist kurz WER) legt man den maschinellen Text neben eine von Menschen geschriebene Vorlage. Gezählt werden drei Fehlerarten: falsche Wörter, fehlende Wörter und überflüssige Wörter. Die Summe teilt man durch die Gesamtwortzahl der Vorlage. Dass die Evaluierungsprogramme des NIST eigene, standardisierte Auswertungswerkzeuge mitliefern, hat einen Grund: Selbst eine so simple Rechnung hängt stark davon ab, wie man die beiden Texte vorab aufbereitet und abgleicht.1
In einem streng kontrollierten Test ist der Wert sinnvoll, solange Audio, Referenztext und Regeln auf beiden Seiten identisch sind. Der Vergleich hinkt aber sofort, wenn ein Tool Füllwörter herausfiltert und das andere sie mitschreibt. Das Gleiche passiert, wenn ein fremder Name in einer Vorlage mit lateinischen Buchstaben geschrieben und in der anderen transliteriert wird. Die Zahl lügt dann nicht, sie beantwortet einfach eine andere Frage.
2. Die Testdaten beeinflussen den Wert stärker als das Modell
Ein über ein gutes Mikrofon vorgelesener Text ist kein Ersatz für einen Support-Anruf, einen Hörsaal oder vier Leute vor einem Laptop. In der Arbeit zum schwach überwachten Training aus dem Jahr 2022 wurden die Ergebnisse einzeln nach Datensatz und Sprache veröffentlicht, statt nur eine einzige Schlagzeilenzahl zu nennen. Das ist der ehrliche Weg, Ergebnisse darzustellen.2
Im Hebräischen und Arabischen scheitern oberflächliche Vergleiche noch schneller. Schon die Schreibweise entscheidet darüber, was überhaupt als ein Wort zählt. Dialekte, Wechsel zwischen Sprachen und der Anteil an spontaner Rede bestimmen, wie schwierig eine Datei ist. Ein hebräischer Datensatz aus dem Jahr 2024 wurde unter anderem deshalb aufgebaut, um den knappen Bestand an ungeskripteter Sprache zu ergänzen. Und die Forschung zum Arabischen behandelt dialektale, sprachgemischte Rede als eigenes Problem.345
3. Was ein einzelner Messwert verschweigt
Die WER verrät nicht, ob die richtigen Wörter auch dem richtigen Sprecher zugeordnet wurden. Sie merkt nicht, ob Zeitstempel langsam weglaufen, ob nach einem fehlgeschlagenen Neuversuch eine ganze Minute Audio fehlt oder ob ein Untertitel so lang ist, dass kein Zuschauer ihn rechtzeitig lesen kann. Ein verschluckter Artikel kostet in dieser Rechnung genauso viel wie eine falsch transkribierte Medikamentendosis.
Wir schauen auf sechs Punkte statt auf einen: fehlendes Audio, Wörter, Sprecherzuordnung, Namen und Zahlen, das Timing sowie die Minuten, die ein Mensch für die Korrektur braucht. Wenn am Ende ein Dokument oder eine Untertiteldatei stehen soll, prüfen wir zusätzlich die Exporttreue. So wird Genauigkeit vom bloßen Eigenschaftswort zu einem Test, den jeder wiederholen kann.
4. Ein Praxistest, den auch kleine Teams sauber durchführen können
Stellen Sie sich ein festes Paket aus Aufnahmen zusammen, das Ihren Arbeitsalltag abbildet: saubere und verrauschte Dateien, kurze und lange Clips, mal ein Sprecher, mal fünf, dazu genau der Sprachenmix, den Ihre Leute wirklich sprechen. Dieses Set ändern Sie nicht mehr. Heben Sie die Originaldateien, die menschliche Musterlösung, die Einstellungen und das Datum jedes Durchlaufs gut auf. Wer sein Testset heimlich mit leichteren Dateien auffrischt, misst am Ende gar nichts mehr.
Wenn es geht, sollten die Prüfer nicht sehen, von welchem Tool der jeweilige Text stammt. Zählen Sie die Fehler, bevor jemand den Text sprachlich glättet, und notieren Sie den Messwert der Maschine direkt neben der Korrekturzeit in Minuten. Wiederholen Sie diesen Test nach jedem Update am Modell oder an der Pipeline. Und lassen Sie die schwierigen Aufnahmen im Paket, auch wenn die Ergebnisse manchmal wehtun.
5. Was zu einer ehrlichen Genauigkeitsangabe gehört
Eine belastbare Angabe nennt die Sprache, das Fachgebiet, den Datensatz, die Aufnahmebedingungen, die Messmethode, die Normalisierungsregeln, die Anzahl der Dateien, die Produktversion und das Datum. Außerdem gehört dazu, was nicht gemessen wurde. Fehlt dieser Kontext, ist ein Prozentwert nur ein Werbespruch.
Wir haben für KolWrite noch nie eine pauschale Genauigkeitszahl veröffentlicht und werden uns auch für diesen Artikel keine ausdenken. Unser Vorschlag für einen Vergleich ist unspektakulär, bringt aber mehr: Jagen Sie dieselben schwierigen Aufnahmen durch jedes Tool, gleichen Sie Namen und Sprecher mit dem Audio ab, erstellen Sie genau den Export, den Sie im Alltag verschicken würden, und messen Sie, wie viel Nacharbeit Ihnen bleibt.
Häufige Fragen
Was bedeutet „99 % Genauigkeit“?
Für sich genommen fast nichts. Es kann heißen, dass auf hundert Referenzwörter ein Fehler kommt, allerdings nach ganz bestimmten Normalisierungsregeln und auf Dateien, die der Anbieter selbst ausgesucht hat. Fragen Sie nach den Aufnahmen, der Metrik, den Regeln und dem Datum. Ohne diese Angaben sollten Sie den Wert als Werbung betrachten.
Können zwei Tools bei derselben Audiodatei unterschiedlich bewertet werden?
Ja, sehr leicht sogar. Andere Referenztranskripte oder ein anderer Umgang mit Satzzeichen, Zahlen, Füllwörtern und Schreibweisen verschieben das Ergebnis sofort. Für einen fairen Vergleich müssen diese Regeln feststehen, bevor die erste Datei ausgewertet wird.
Was sollten wir neben der Wortfehlerrate noch messen?
Fehlende Textpassagen, die Sprecherzuordnung, Namen und Zahlen, das Timing auf Wort- oder Segmentebene, den Zeilenumbruch bei Untertiteln, die Qualität beim Export, wie oft ein Auftrag komplett abbricht und wie lange ein Mensch braucht, bis die Datei wirklich fertig ist.
Reicht ein öffentlicher Benchmark für die Auswahl eines Tools aus?
Er ist ein erster Anhaltspunkt. Öffentliche Datensätze bilden aber selten Ihre Räume, Ihre Akzente oder Ihr Fachvokabular ab. Zehn Ihrer eigenen Aufnahmen, die nach festen Regeln ausgewertet werden, sagen mehr aus als jede Bestenliste mit fremdem Audio.
Quellen und weiterführende Literatur
- 1NIST, Open Speech Analytic Technologies Pilot Evaluation Plan
- 2Radford et al., Robust Speech Recognition via Large-Scale Weak Supervision
- 3Turetzky et al., HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
- 4Hamed et al., Dialectal Arabic-English Code-Switching Speech Recognition
- 5Chi & Bell, Improving Code-switched ASR with Linguistic Information
