Parakeet TDT 0.6B v3
NVIDIA 的紧凑多语言语音转文字模型:0.6B 参数覆盖 25 种欧洲语言,带时间戳,采用 CC BY 4.0 许可证。
一句话概括. Parakeet TDT 0.6B v3 能把录音转成带标点的文字,支持 25 种欧洲语言。它自己判断说的是哪种语言,给每个词标出时间戳,小到一张普通显卡或一个本地 C++ 应用就能运行。只要署名 NVIDIA,就可以免费商用。
概述
Parakeet TDT 0.6B v3 是 NVIDIA 的语音转文字模型,参数量约 6.27 亿(模型卡写的是 6 亿)。它把只支持英语的 v2 模型扩展到 25 种欧洲语言:保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、德语、希腊语、匈牙利语、意大利语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语和乌克兰语。它能自动识别语言,自动加标点和大小写,并给出词级和句段级的时间戳。架构是 FastConformer 编码器加上 token-and-duration 转导器(TDT)解码器,解码器除了预测 token,还预测每个 token 持续多久,因此解码时可以跳过部分音频帧。模型卡给出的 Hugging Face 发布日期是 2025 年 8 月 14 日,技术报告于 2025 年 9 月发表。
NVIDIA 用约 66 万小时来自 Granary 语料库的伪标注语音,加上约 1 万小时人工转写数据来训练,再用约 7500 小时高质量人工转写数据做了微调。音频必须是 16 kHz 单声道的 .wav 或 .flac。使用完整注意力时,一次最多能处理 24 分钟的录音(在 80 GB 的 A100 上),改用局部注意力可以延长到约 3 小时。它可以在 NVIDIA 的 NeMo 工具包和 Hugging Face Transformers 中运行,模型卡给出了 NeMo 的分块流式脚本,还有一个叫 NeMo-Speech.cpp 的轻量 C++ 运行时,可以使用同一仓库里 0.71 GB 的 8 位 GGUF 文件。
这些数字都是 NVIDIA 自己报告的。在英语 Open ASR Leaderboard 数据集上平均词错误率为 6.34%。多语言数据集上的平均值是 FLEURS 11.97%、MLS 7.83%、CoVoST 11.98%,采用贪心解码、不使用外部语言模型,并在计算前去掉了标点和大小写。意大利语(FLEURS 上 3.00%)、西班牙语(3.45%)和葡萄牙语(4.76%)是最好的几项,而拉脱维亚语(22.84%)、斯洛文尼亚语(24.03%)和希腊语(20.70%)是最弱的几项。模型卡指出,它的训练数据用的是欧洲葡萄牙语,而大多数基准用的是巴西葡萄牙语。在加入音乐和背景声、信噪比为 0 dB 的噪声测试中,英语平均错误率从 6.34% 升到 11.66%。
许可证是 CC BY 4.0,只要署名 NVIDIA、提供许可证链接并说明是否做了修改,就允许商用。NVIDIA 列出的受支持平台是 Linux 和它自己的 Ampere、Blackwell、Hopper 和 Volta GPU。模型卡称加载模型至少需要 2 GB 内存,内存越大能处理的音频越长。它首先是面向录音的模型;做实时语音助手时,NVIDIA 另有缓存感知的流式模型,例如 Nemotron 3.5 ASR。
适合做什么
- 快速、准确地转写 25 种欧洲语言的录音,语言自动识别
- 制作字幕和可搜索的文字稿,因为每个词都带时间戳
- 长录音,80 GB 显卡上一次最多 24 分钟,改用局部注意力可到约 3 小时
- 商业产品,只要按 CC BY 4.0 署名 NVIDIA
需要注意
- 只覆盖列出的 25 种欧洲语言,不支持中文、日语、韩语和阿拉伯语
- 各语言的准确率差别很大,在 FLEURS 上从意大利语约 3% 的词错误率,到拉脱维亚语、斯洛文尼亚语和希腊语的 20% 以上
- 噪声影响明显,NVIDIA 自己的测试显示,信噪比 0 dB 时英语错误率几乎翻倍
- NVIDIA 支持的是自家 GPU 上的 Linux,模型卡还提醒,训练词表之外的词不太可能被识别
- 所有词错误率都是 NVIDIA 自己报告的
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Parakeet TDT 0.6B v3 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| Parakeet TDT 0.6B v3 FP32 | 627M | 2.51 GB | 2.89 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
一种知识共享许可证,只要署名,任何人都可以出于任何目的(包括商业用途)复制、分享和改编作品。它是为创作和数据类作品设计的,不是为软件设计的,但一些语音和数据发布也把它用在模型权重上。
- 需要署名或标明模型名称
延伸阅读
常见问题
- Parakeet TDT 0.6B v3 是什么?
- Parakeet TDT 0.6B v3 能把录音转成带标点的文字,支持 25 种欧洲语言。它自己判断说的是哪种语言,给每个词标出时间戳,小到一张普通显卡或一个本地 C++ 应用就能运行。只要署名 NVIDIA,就可以免费商用。
- Parakeet TDT 0.6B v3 可以商用吗?
- 可以。Parakeet TDT 0.6B v3 采用 CC BY 4.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Parakeet TDT 0.6B v3 是开源的吗?
- Parakeet TDT 0.6B v3 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY 4.0 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Parakeet TDT 0.6B v3 吗?
- 可以。最小版本 Parakeet TDT 0.6B v3 在 4 位精度下约需 2.89 GB 内存,现代笔记本或中端显卡即可胜任。
- Parakeet TDT 0.6B v3 是什么时候发布的?
- Parakeet TDT 0.6B v3 由 NVIDIA 于 2025年8月14日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- parakeet-tdt-0.6b-v3 model card (Hugging Face) huggingface.co
- Canary-1B-v2 and Parakeet-TDT-0.6B-v3: Efficient and High-Performance Models for Multilingual ASR and AST (arXiv 2509.14128) arxiv.org
- Granary: Speech Recognition and Translation Dataset in 25 European Languages (arXiv 2505.13404) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3.5 ASR NVIDIA | 638M | – | OpenMDW-1.1 (宽松) | 2.93 GB 笔记本或手机 | |
| Granite Speech 5.0 IBM | 470M – 2.31B | – | Apache 2.0 (宽松) | 1.09 GB 笔记本或手机 | |
| Cohere Transcribe Cohere | 2.07B | – | Apache 2.0 (宽松) | 4.75 GB 笔记本或手机 | |
| Whisper large-v3-turbo OpenAI | 810M – 1.54B | – | MIT (宽松) | 6 GB 笔记本或手机 |