Синтез речи (TTS)
Модели синтеза речи превращают письменный текст в звучащую речь, и многие умеют копировать голос по короткому образцу.
Модель TTS берёт текст, а иногда короткую референсную запись, и создаёт аудио. Открытые модели сегодня покрывают десятки и даже сотни языков, умеют стримить звук ещё во время генерации, а некоторые создают новый голос по письменному описанию. Для голосовых ассистентов важна задержка стриминга — время до появления первого звука.
Проверяйте лицензию весов, а не только кода: несколько самых известных открытых TTS-моделей доступны только для некоммерческого использования, а некоторые проекты ограничивают применение исследованиями. Реалистичные голоса можно использовать во вред, поэтому некоторые модели добавляют в вывод неслышимый водяной знак.
Связанные термины
- Клонирование голоса Клонирование голоса заставляет модель синтеза речи говорить голосом конкретного человека, часто по нескольким секундам записи.
- Распознавание речи (ASR, speech-to-text) Распознавание речи, также называемое ASR или speech-to-text, превращает звуковую речь в письменный текст.
- Некоммерческая лицензия Некоммерческая лицензия позволяет использовать модель для исследований, учёбы и личных проектов, но не для извлечения из неё прибыли.