Text-to-Speech (TTS)
Text-to-Speech-Modelle verwandeln geschriebenen Text in gesprochenes Audio, und viele können eine Stimme aus einer kurzen Stichprobe kopieren.
Ein TTS-Modell nimmt Text und manchmal eine kurze Referenzaufnahme und erzeugt Audio. Offene Modelle decken heute Dutzende oder sogar Hunderte von Sprachen ab, können Audio streamen, während es noch erzeugt wird, und manche entwerfen eine neue Stimme aus einer schriftlichen Beschreibung. Die Streaming-Latenz, die Zeit bis zum ersten Audio, zählt für Sprachassistenten.
Prüfen Sie die Lizenz der Gewichte, nicht nur die des Codes: mehrere der bekanntesten offenen TTS-Modelle sind nur nicht-kommerziell, und manche Projekte beschränken die Nutzung auf Forschung. Realistische Stimmen können missbraucht werden, deshalb fügen manche Modelle ihrer Ausgabe ein unhörbares Wasserzeichen hinzu.
Verwandte Begriffe
- Voice Cloning Beim Voice Cloning spricht ein Text-to-Speech-Modell mit der Stimme einer bestimmten Person, oft auf Basis von nur wenigen Sekunden Aufnahme.
- Spracherkennung (ASR, Speech-to-Text) Spracherkennung, auch ASR oder Speech-to-Text genannt, wandelt gesprochenes Audio in geschriebenen Text um.
- Nicht-kommerzielle Lizenz Eine nicht-kommerzielle Lizenz erlaubt die Nutzung eines Modells für Forschung, Studium und private Projekte, aber nicht, damit Geld zu verdienen.