So testen Sie ein Transkriptionstool mit Ihren schwierigsten Aufnahmen

Warum reichen Demos und veröffentlichte Kennzahlen nicht aus?

In einer Demo hören Sie sauberen Ton, eine klare Stimme und ein geläufiges Thema. Auf Ihren eigenen Aufnahmen rauscht im Hintergrund ein Lüfter, jemand verschluckt das Satzende, ein Nachname ist kaum zu buchstabieren und plötzlich wechselt das Gespräch in eine andere Sprache. Programme, die bei gutem Ton gleich aussehen, schlagen sich bei Ihrem Material oft völlig unterschiedlich.

Mit veröffentlichten Prozentwerten ist es ähnlich. Sie stammen aus einem bestimmten Testdatensatz, der nach einer festen Methode ausgewertet wurde und mit Ihrem Alltag vielleicht wenig zu tun hat. Außerdem verdeckt ein Gesamtwert, welche Wörter falsch sind. Ein Tool kann alle gängigen Wörter treffen, aber jeden einzelnen Namen verhauen: Auf dem Papier steht dann ein guter Wert, und trotzdem können Sie den Text nicht gebrauchen.

Welche Aufnahmen eignen sich für den Test?

Suchen Sie sich drei Ausschnitte von je etwa fünf Minuten heraus. Der erste sollte einer typischen Aufnahme aus Ihrem Alltag entsprechen. Der zweite sollte Ihr Härtetest sein: Hintergrundgeräusche, großer Abstand zum Mikrofon, Leute, die gleichzeitig sprechen, oder ein starker Akzent. Mit dem dritten prüfen Sie, was speziell bei Ihrer Arbeit vorkommt, zum Beispiel gemischte Sprachen, Fachbegriffe oder mehrere Sprecher.

Nehmen Sie echte Aufnahmen, für die Sie das Einverständnis der Beteiligten haben, und geben Sie diese nicht weiter. Am besten wählen Sie Stellen, deren Inhalt Sie schon genau kennen, oder hören sie vorher einmal selbst durch. So haben Sie eine verlässliche Vorlage für den Vergleich.

Was sollten Sie messen?

Schreiben Sie sich vor dem ersten Testlauf für jeden Clip eine kurze Liste mit heiklen Stellen heraus: zehn Namen, zehn Zahlen oder Daten und zehn Fachbegriffe aus Ihrem Bereich. Zählen Sie dann einfach nach, wie viele davon jedes Tool richtig hat. Das bringt Ihnen mehr als eine allgemeine Note, weil Sie genau die Fehler erfassen, die Sie später bei der Arbeit aufhalten.

Schauen Sie danach auf die Dinge, die ein Transkript im Alltag überhaupt erst brauchbar machen. Stimmen die Sprecherzuordnungen, und was passiert, wenn jemand dazwischenredet? Passen die Zeitstempel zum Ton? Ergibt die Zeichensetzung Sinn? Und bleibt jede Passage in der gesprochenen Sprache, auch wenn Sprachen gemischt werden oder Schriften von rechts nach links laufen, wie bei Hebräisch und Arabisch?

Die Wortfehlerrate (Word Error Rate, kurz WER) zählt Wörter, die gegenüber einer Referenzvorlage ersetzt, ausgelassen oder eingefügt wurden, und teilt diese Zahl durch die Gesamtwortzahl der Vorlage. Für die Forschung ist dieser Wert nützlich, als alleiniges Urteil über ein Tool taugt er aber nicht. Ein fehlendes „der“ zählt in der Rechnung nämlich genauso viel wie ein falsch geschriebener Nachname.

Warum ist die Zeit bis zur fertigen Datei entscheidend?

Am Ende bezahlen Sie für ein fertiges Transkript. Starten Sie eine Stoppuhr, wenn Sie die Audiodatei hochladen, und halten Sie sie erst an, wenn der Text so weit ist, dass Sie ihn an einen Kunden schicken würden. Zur gemessenen Zeit gehört also das Warten auf den ersten Entwurf genauso wie das Durchgehen danach: Fehler finden, ausbessern, Sprecher prüfen und die Datei exportieren.

Ein Programm, das zwar ein paar Fehler mehr macht, Ihnen aber einen flotten Editor und direkten Zugriff auf den Ton bietet, bringt Sie manchmal schneller ans Ziel als ein genaueres Tool mit sperriger Bedienung. Bei KolWrite liegen Wiedergabe, Text, Sprecherzuordnungen und Zeitstempel in einer gemeinsamen Ansicht, und den fertigen Text exportieren Sie als TXT, DOCX, PDF, JSON, SRT oder VTT. Stoppen Sie diese Zeit vom Upload bis zum Export bei jedem Tool auf dieselbe Weise.

Was sollten Sie neben dem Text noch prüfen?

Spielen Sie den kompletten Ablauf einmal durch. Laden Sie eine lange Datei hoch, um zu sehen, wie das System damit klarkommt. Exportieren Sie jedes Format, das Sie brauchen, und öffnen Sie die Dateien in den Programmen, mit denen Sie tatsächlich arbeiten, also etwa in Word, einem Untertitel-Player oder einem Schnittprogramm. Wenn Sie auf Hebräisch oder Arabisch arbeiten, prüfen Sie, ob der exportierte Text richtig von rechts nach links läuft und Satzzeichen neben englischen Wörtern an der richtigen Stelle bleiben.

Probieren Sie auch die Plattformen aus, die Sie im Alltag nutzen, egal ob Webbrowser, iPhone, Android, Mac oder eine API. Falls Sie keinen Bot in Ihren Gesprächen haben wollen, schauen Sie nach, ob Sie stattdessen vorhandene Aufnahmen hochladen können. KolWrite arbeitet direkt mit hochgeladenen Dateien; Sie können es im Browser unter web.kolwrite.com öffnen und gleich mit einem kurzen Clip ausprobieren.

Wie vergleichen Sie Datenschutz und Konditionen?

Lesen Sie die Seiten zu Sicherheit und Datenschutz, bevor Sie vertrauliche Aufnahmen hochladen. Klären Sie, wo die Daten liegen, ob Übertragung und Speicherung verschlüsselt sind, welche KI-Anbieter den Ton verarbeiten, ob Ihre Inhalte zum Trainieren von Modellen genutzt werden und wie Sie Ihre Dateien wieder löschen.

Schauen Sie sich danach die Tarife und ihre Grenzen an, etwa bei der Dateilänge, den unterstützten Sprachen und den Exportformaten. Weil sich Preise und Kontingente ändern, lohnt sich am Tag der Entscheidung ein Blick auf die aktuelle Website des Anbieters. Rechnen Sie dabei aus, was Sie ein komplett fertiges Transkript insgesamt kostet, statt nur auf den Preis pro Audiostunde zu achten.

Wie werten Sie die Ergebnisse für Ihre Entscheidung aus?

Tragen Sie Ihre Ergebnisse in eine einfache Tabelle ein: richtig erkannte Schlüsselbegriffe, Fehler bei den Sprechern, Zeit bis zur fertigen Datei, Qualität beim Export und ob der Datenschutz zu Ihren Vorgaben passt. Gewichten Sie die Zeilen danach, was bei Ihrer Arbeit am meisten zählt. Liegen zwei Programme nah beieinander, nehmen Sie das, in dem Ihnen das Prüfen und Korrigieren leichter gefallen ist.

Wiederholen Sie den Test, wenn sich Ihre Arbeit ändert oder ein Anbieter ein größeres Update herausbringt. Sie müssen sich nicht für immer festlegen, und so ein kurzer Test kostet weit weniger Zeit, als sich einen Monat lang mit einem Tool herumzuärgern, das mit Ihren Aufnahmen nicht zurechtkommt.