Parakeet TDT 0.6B v3

NVIDIA 的紧凑多语言语音转文字模型:0.6B 参数覆盖 25 种欧洲语言,带时间戳,采用 CC BY 4.0 许可证。

一句话概括. Parakeet TDT 0.6B v3 能把录音转成带标点的文字,支持 25 种欧洲语言。它自己判断说的是哪种语言,给每个词标出时间戳,小到一张普通显卡或一个本地 C++ 应用就能运行。只要署名 NVIDIA,就可以免费商用。

概述

Parakeet TDT 0.6B v3 是 NVIDIA 的语音转文字模型,参数量约 6.27 亿(模型卡写的是 6 亿)。它把只支持英语的 v2 模型扩展到 25 种欧洲语言:保加利亚语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、爱沙尼亚语、芬兰语、法语、德语、希腊语、匈牙利语、意大利语、拉脱维亚语、立陶宛语、马耳他语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语和乌克兰语。它能自动识别语言,自动加标点和大小写,并给出词级和句段级的时间戳。架构是 FastConformer 编码器加上 token-and-duration 转导器(TDT)解码器,解码器除了预测 token,还预测每个 token 持续多久,因此解码时可以跳过部分音频帧。模型卡给出的 Hugging Face 发布日期是 2025 年 8 月 14 日,技术报告于 2025 年 9 月发表。

NVIDIA 用约 66 万小时来自 Granary 语料库的伪标注语音,加上约 1 万小时人工转写数据来训练,再用约 7500 小时高质量人工转写数据做了微调。音频必须是 16 kHz 单声道的 .wav 或 .flac。使用完整注意力时,一次最多能处理 24 分钟的录音(在 80 GB 的 A100 上),改用局部注意力可以延长到约 3 小时。它可以在 NVIDIA 的 NeMo 工具包和 Hugging Face Transformers 中运行,模型卡给出了 NeMo 的分块流式脚本,还有一个叫 NeMo-Speech.cpp 的轻量 C++ 运行时,可以使用同一仓库里 0.71 GB 的 8 位 GGUF 文件。

这些数字都是 NVIDIA 自己报告的。在英语 Open ASR Leaderboard 数据集上平均词错误率为 6.34%。多语言数据集上的平均值是 FLEURS 11.97%、MLS 7.83%、CoVoST 11.98%,采用贪心解码、不使用外部语言模型,并在计算前去掉了标点和大小写。意大利语(FLEURS 上 3.00%)、西班牙语(3.45%)和葡萄牙语(4.76%)是最好的几项,而拉脱维亚语(22.84%)、斯洛文尼亚语(24.03%)和希腊语(20.70%)是最弱的几项。模型卡指出,它的训练数据用的是欧洲葡萄牙语,而大多数基准用的是巴西葡萄牙语。在加入音乐和背景声、信噪比为 0 dB 的噪声测试中,英语平均错误率从 6.34% 升到 11.66%。

许可证是 CC BY 4.0,只要署名 NVIDIA、提供许可证链接并说明是否做了修改,就允许商用。NVIDIA 列出的受支持平台是 Linux 和它自己的 Ampere、Blackwell、Hopper 和 Volta GPU。模型卡称加载模型至少需要 2 GB 内存,内存越大能处理的音频越长。它首先是面向录音的模型;做实时语音助手时,NVIDIA 另有缓存感知的流式模型,例如 Nemotron 3.5 ASR。

适合做什么

  • 快速、准确地转写 25 种欧洲语言的录音,语言自动识别
  • 制作字幕和可搜索的文字稿,因为每个词都带时间戳
  • 长录音,80 GB 显卡上一次最多 24 分钟,改用局部注意力可到约 3 小时
  • 商业产品,只要按 CC BY 4.0 署名 NVIDIA

需要注意

  • 只覆盖列出的 25 种欧洲语言,不支持中文、日语、韩语和阿拉伯语
  • 各语言的准确率差别很大,在 FLEURS 上从意大利语约 3% 的词错误率,到拉脱维亚语、斯洛文尼亚语和希腊语的 20% 以上
  • 噪声影响明显,NVIDIA 自己的测试显示,信噪比 0 dB 时英语错误率几乎翻倍
  • NVIDIA 支持的是自家 GPU 上的 Linux,模型卡还提醒,训练词表之外的词不太可能被识别
  • 所有词错误率都是 NVIDIA 自己报告的

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Parakeet TDT 0.6B v3 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Parakeet TDT 0.6B v3 FP32 627M 2.51 GB 2.89 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

一种知识共享许可证,只要署名,任何人都可以出于任何目的(包括商业用途)复制、分享和改编作品。它是为创作和数据类作品设计的,不是为软件设计的,但一些语音和数据发布也把它用在模型权重上。

  • 需要署名或标明模型名称

进一步了解 CC BY 4.0

延伸阅读

常见问题

Parakeet TDT 0.6B v3 是什么?
Parakeet TDT 0.6B v3 能把录音转成带标点的文字,支持 25 种欧洲语言。它自己判断说的是哪种语言,给每个词标出时间戳,小到一张普通显卡或一个本地 C++ 应用就能运行。只要署名 NVIDIA,就可以免费商用。
Parakeet TDT 0.6B v3 可以商用吗?
可以。Parakeet TDT 0.6B v3 采用 CC BY 4.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Parakeet TDT 0.6B v3 是开源的吗?
Parakeet TDT 0.6B v3 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY 4.0 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Parakeet TDT 0.6B v3 吗?
可以。最小版本 Parakeet TDT 0.6B v3 在 4 位精度下约需 2.89 GB 内存,现代笔记本或中端显卡即可胜任。
Parakeet TDT 0.6B v3 是什么时候发布的?
Parakeet TDT 0.6B v3 由 NVIDIA 于 2025年8月14日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Nemotron 3.5 ASR NVIDIA 638M – OpenMDW-1.1 (宽松) 2.93 GB 笔记本或手机
Granite Speech 5.0 IBM 470M – 2.31B – Apache 2.0 (宽松) 1.09 GB 笔记本或手机
Cohere Transcribe Cohere 2.07B – Apache 2.0 (宽松) 4.75 GB 笔记本或手机
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机