Granite Speech 5.0

IBM 的 Apache 2.0 语音转文字组合:能转写和翻译的 2B 模型,以及为速度和端侧设备打造的 470M CTC 模型。

一句话概括. Granite Speech 5.0 是 IBM 的一对语音转文字模型。2B 模型能转写六种语言,并做英语和其他语言之间的语音翻译。小得多的 470M 模型为速度而设计,笔记本或手机上就能运行。两个模型都可以商用。

概述

IBM 以 Granite Speech 5.0 的名字发布了两个开放语音模型,宣布它们的博客文章日期是 2026 年 10 月 21 日。10 月 20 日发布的 granite-speech-5.0-2b 是约 23 亿参数的语音语言模型,由 16 个 conformer 块的语音编码器、语音投影层和 Granite 4.0 1B 语言模型组成。它能转写英语、法语、德语、西班牙语、葡萄牙语和日语,能在这些语言和英语之间互译(另外支持英语到意大利语和普通话),可以用提示词指定输入语言,还可以让转写偏向最多 2000 个关键词。IBM 用 39 万小时的公开音频加上合成数据训练了它。granite-speech-5.0-470m-turboctc 是 4.7 亿参数的 conformer,输出层是 CTC,因此解码时不需要一个 token 一个 token 地生成。它的纯英语初版发布于 8 月 25 日,10 月 21 日 IBM 把它更新为七种语言(上述六种加意大利语),并原生支持标点和大小写。

IBM 称 2B 模型在 Open ASR Leaderboard 的英语短音频平均词错误率上排名开放权重模型第二,截至 2026 年 10 月 21 日的官方结果是 5.06%。它还称 TurboCTC 的英语平均词错误率为 5.51%,在同一排行榜上达到 19,870 RTFx,比发布时快约 1.6 倍。这些都是 IBM 自己的数字,来自一个经常变动的公开排行榜。对于 2B 模型,模型卡建议把长于约两分钟的录音先切分再解码。

两个模型都采用 Apache 2.0。BF16 权重 2B 模型约 5.0 GB,TurboCTC 约 0.95 GB。Transformers 从 4.52.1 起支持 2B 模型,从 5.16.0 起支持 TurboCTC;博客还列出了 2B 模型对 vLLM、llama.cpp 和 mlx-audio 的支持,以及使用 WebGPU 的浏览器演示。另有两个相关模型不在此列:granite-speech-5.0-470m-turboctc-nc 只支持英语,采用 CC-BY-NC-SA 4.0,仅限研究和非商业用途;granite-speech-4.1-2b-plus 是 IBM 推荐用于多人会议的模型。本条目只涵盖这两个采用 Apache 2.0 的 Granite Speech 5.0 模型。

适合做什么

  • 英语、法语、德语、西班牙语、葡萄牙语和日语的高准确度转写,以及 2B 模型提供的与英语之间的互译
  • 用 470M TurboCTC 模型做端侧或大批量转写,IBM 称它达到 19,870 RTFx
  • 必须写对产品名和缩写的转写,因为 2B 模型支持最多 2000 个词的关键词列表
  • 商用产品,因为两个模型都采用 Apache 2.0

需要注意

  • 不覆盖中文、韩语、阿拉伯语和印地语的转写,2B 模型也只能做英语到普通话的翻译
  • 多人会议场景,IBM 推荐 Granite Speech 4.1 2B Plus,而不是这两个模型
  • 2B 模型最适合约两分钟以内的片段,长录音必须先切分
  • granite-speech-5.0-470m-turboctc-nc 是非商业模型,使用前请确认仓库名称
  • 词错误率是 IBM 自己的数字,且来自一个会变动的排行榜

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Granite Speech 5.0 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
Granite Speech 5.0 470M TurboCTC BF16 470M 0.95 GB 1.09 GB 笔记本或手机
Granite Speech 5.0 2B BF16 2.31B 5.04 GB 5.8 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Granite Speech 5.0 是什么?
Granite Speech 5.0 是 IBM 的一对语音转文字模型。2B 模型能转写六种语言,并做英语和其他语言之间的语音翻译。小得多的 470M 模型为速度而设计,笔记本或手机上就能运行。两个模型都可以商用。
Granite Speech 5.0 可以商用吗?
可以。Granite Speech 5.0 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Granite Speech 5.0 是开源的吗?
Granite Speech 5.0 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Granite Speech 5.0 吗?
可以。最小版本 Granite Speech 5.0 470M TurboCTC 在 4 位精度下约需 1.09 GB 内存,现代笔记本或中端显卡即可胜任。
Granite Speech 5.0 是什么时候发布的?
Granite Speech 5.0 由 IBM 于 2026年10月20日 发布。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Voxtral Realtime Mistral AI 4.43B 128K Apache 2.0 (宽松) 10 GB 笔记本或手机
Qwen3-ASR Alibaba Qwen 918M – 2.35B – Apache 2.0 (宽松) 2.12 GB 笔记本或手机
Nemotron 3.5 Transcribe NVIDIA 34B 激活 4.3B 64K OpenMDW-1.1 (宽松) 25 GB 游戏显卡
Whisper large-v3-turbo OpenAI 810M – 1.54B – MIT (宽松) 6 GB 笔记本或手机