Smaug-Decisions
Abacus.AI 面向音频、图像和文本的决策模型,基于 Gemma 4 E4B 微调,另有 3.45 GB 的手机版本。Apache 2.0。
一句话概括. Smaug-Decisions 回答关于一段声音、一张图片或一段文字的带类型问题,比如说话人是否已经说完,或者正在播放什么曲风。它给每个可能的答案返回一个概率,而不是写出回复。一个很小的同系列模型能在约 10 毫秒内回答音频问题,手机版本则可以完全离线运行。
概述
Abacus.AI 于 2026 年 10 月 26 日在 Hugging Face 发布了 Smaug-Decisions。它是决策模型,所以对每个问题都在一次前向计算里给出每个选项的概率,而不是写出文字。它是对 Google Gemma 4 E4B-it 的全量微调,有效参数 4B,存储参数 8.6B,输入可以是最长 30 秒的音频、一张图像或文本,外加一个有 2 到 20 个选项的问题。较小的同系列模型 Smaug-Audio-Decisions-0.7B 基于 EmbeddingGemma 2 微调,主要面向音频问题,Smaug-Decisions-LiteRT 则把主模型打包成 3.45 GB 的版本,供手机上的 Google LiteRT-LM 使用。
Abacus.AI 报告在它自己的 6,671 条音频基准 Earshot 上,音频技能分为 60.1,通过 API 测试的 Gemini 4 Argon 为 59.4,Gemini 3.8 Flash 为 50.5,校准误差为 0.069,对方为 0.123 和 0.204。在公开的 Jev Decision Index 上,它报告图像 57.9、文本 56.6,是两个榜单上最好的 Gemma 4 E4B 微调模型,不过它自己的表格显示 Perplexity 的 4B pplx-decider Flash 在文本上以 61.8 领先。0.7B 模型在 Earshot 上得 53.0,H100 上每次决策 9.7 毫秒;把它作为第一层,把没把握的情况交给主模型,可以在 130 毫秒而不是 210 毫秒内达到 60.1。手机版本在 Earshot 上保持 59.4,在 iPhone 14 Pro Max 上一次文本决策约 0.6 秒,文本指数降到 53.9。
模型附带一个小的 Python 封装,需要 Transformers 5.20 或更高。主模型权重是 bf16,17.2 GB,0.7B 模型约 3 GB,配置文件设置了 131,072 token 的位置上限,模型卡没有提到这一点。模型卡规定每次请求最多一段 30 秒的音频(更长的音频只保留最后 30 秒)、一张 560 个图像 token 的图像和最多 20 个选项。许可证是 Apache 2.0,据模型卡说与 Gemma 4 E4B-it 底座相同。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计主仓库只有 95 次下载,0.7B 模型 190 次,LiteRT 版本 96 次。
适合做什么
- 音频决策,比如说话人是否说完、下一个说话的是谁、正在播放什么声音或曲风,并得到可以设阈值的概率
- 手机应用和其他离线场景,可用 3.45 GB 的 LiteRT 版本或 0.7B 模型
- 两层方案:0.7B 模型用约 10 毫秒回答有把握的音频问题,其余交给较大的模型
- 一个 Apache 2.0 的模型同时做音频、图像和文本决策
需要注意
- Earshot 是 Abacus.AI 自己的基准,指数各行是它自己的测试,API 竞品是收到音频后返回 JSON 概率,所以对 Gemini 的领先只是开发方的说法
- 在文本上,模型卡自己的表格显示 Perplexity 的 4B 决策模型领先,61.8 对 56.6,而且各模型卡使用的指数版本和设置不同,所以不要跨模型卡比较分数
- 它只对带类型的问题返回概率,不能写文字,模型卡建议在高风险场景下用你自己的数据设置决策阈值
- 目前采用度很低,每个仓库 30 天内只有 95 到 190 次下载,手机版本在图像指数上损失 2.1 到 3.0 分,在文本上损失 2.7 分
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Smaug-Audio-Decisions-0.7B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Smaug-Audio-Decisions-0.7B FP32 | 740M | 1.7 GB | 0.851 GB | 0.511 GB | 笔记本或手机 |
| Smaug-Decisions BF16 | 8.61B | 20 GB | 9.9 GB | 5.94 GB | 笔记本或手机 |
| Smaug-Decisions-LiteRT | 8.61B | 20 GB | 9.9 GB | 5.94 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Smaug-Decisions 是什么?
- Smaug-Decisions 回答关于一段声音、一张图片或一段文字的带类型问题,比如说话人是否已经说完,或者正在播放什么曲风。它给每个可能的答案返回一个概率,而不是写出回复。一个很小的同系列模型能在约 10 毫秒内回答音频问题,手机版本则可以完全离线运行。
- Smaug-Decisions 可以商用吗?
- 可以。Smaug-Decisions 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Smaug-Decisions 是开源的吗?
- Smaug-Decisions 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Smaug-Decisions 吗?
- 可以。最小版本 Smaug-Audio-Decisions-0.7B 在 4 位精度下约需 0.511 GB 内存,现代笔记本或中端显卡即可胜任。
- Smaug-Decisions 是什么时候发布的?
- Smaug-Decisions 由 Abacus.AI 于 2026年10月26日 发布。
- Smaug-Decisions 的上下文窗口有多长?
- Smaug-Decisions 支持最长 128K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Smaug-Decisions model card (Hugging Face) huggingface.co
- Smaug-Audio-Decisions-0.7B model card (Hugging Face) huggingface.co
- Smaug-Decisions-LiteRT (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Liquid d1 Liquid AI | 587M – 3.12B | 128K | LFM Open 1.0 (附条件) | 0.405 GB 笔记本或手机 | |
| pplx-decider Perplexity | 4.54B – 26.1B | 256K | Apache 2.0 (宽松) | 3.13 GB 笔记本或手机 | |
| AutoTrust Decider AutoTrust AI Lab | 8.95B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 6.18 GB 笔记本或手机 | |
| Clef Cloudflare | 9.41B – 27.4B | 64K | Apache 2.0 (宽松) | 6.49 GB 笔记本或手机 |