Wortfehlerrate (WER)
Die Wortfehlerrate ist die Standardbewertung für Spracherkennung: der Anteil der Wörter in einem Transkript, die gegenüber einer korrekten Referenz falsch, fehlend oder überzählig sind.
Die WER zählt drei Arten von Fehlern gegen eine menschlich geschriebene Referenz: ersetzte Wörter, gelöschte Wörter und eingefügte Wörter. Sie addiert sie und teilt durch die Wortzahl der Referenz; 5 % bedeutet also, dass etwa eines von zwanzig Wörtern falsch ist. Niedriger ist besser, und der Wert kann über 100 % steigen, wenn ein Modell viele überflüssige Wörter einfügt.
Modellkarten geben die WER auf öffentlichen Testsets an, etwa sauber vorgelesener Sprache, die meist einfacher sind als echte Aufnahmen. Dasselbe Modell kann bei Meetings, Telefonaten, Akzenten oder Rauschen sehr unterschiedlich abschneiden, und wie der Text vor der Bewertung normalisiert wird, verändert die Ergebnisse; Zahlen aus verschiedenen Quellen passen also nicht immer zusammen. Testen Sie an einer Stichprobe Ihres eigenen Audios. Für Chinesisch und andere Sprachen ohne Leerzeichen wird stattdessen die Zeichenfehlerrate verwendet.
Verwandte Begriffe
- Spracherkennung (ASR, Speech-to-Text) Spracherkennung, auch ASR oder Speech-to-Text genannt, wandelt gesprochenes Audio in geschriebenen Text um.
- Benchmark Ein Benchmark ist ein standardisierter Test zum Vergleich von Modellen, etwa ein Satz Mathe-, Coding- oder Wissensfragen; die Scores sind nützlich, aber leicht überzuinterpretieren.