Smaug-Decisions

Abacus.AI 面向音频、图像和文本的决策模型,基于 Gemma 4 E4B 微调,另有 3.45 GB 的手机版本。Apache 2.0。

一句话概括. Smaug-Decisions 回答关于一段声音、一张图片或一段文字的带类型问题,比如说话人是否已经说完,或者正在播放什么曲风。它给每个可能的答案返回一个概率,而不是写出回复。一个很小的同系列模型能在约 10 毫秒内回答音频问题,手机版本则可以完全离线运行。

概述

Abacus.AI 于 2026 年 10 月 26 日在 Hugging Face 发布了 Smaug-Decisions。它是决策模型,所以对每个问题都在一次前向计算里给出每个选项的概率,而不是写出文字。它是对 Google Gemma 4 E4B-it 的全量微调,有效参数 4B,存储参数 8.6B,输入可以是最长 30 秒的音频、一张图像或文本,外加一个有 2 到 20 个选项的问题。较小的同系列模型 Smaug-Audio-Decisions-0.7B 基于 EmbeddingGemma 2 微调,主要面向音频问题,Smaug-Decisions-LiteRT 则把主模型打包成 3.45 GB 的版本,供手机上的 Google LiteRT-LM 使用。

Abacus.AI 报告在它自己的 6,671 条音频基准 Earshot 上,音频技能分为 60.1,通过 API 测试的 Gemini 4 Argon 为 59.4,Gemini 3.8 Flash 为 50.5,校准误差为 0.069,对方为 0.123 和 0.204。在公开的 Jev Decision Index 上,它报告图像 57.9、文本 56.6,是两个榜单上最好的 Gemma 4 E4B 微调模型,不过它自己的表格显示 Perplexity 的 4B pplx-decider Flash 在文本上以 61.8 领先。0.7B 模型在 Earshot 上得 53.0,H100 上每次决策 9.7 毫秒;把它作为第一层,把没把握的情况交给主模型,可以在 130 毫秒而不是 210 毫秒内达到 60.1。手机版本在 Earshot 上保持 59.4,在 iPhone 14 Pro Max 上一次文本决策约 0.6 秒,文本指数降到 53.9。

模型附带一个小的 Python 封装,需要 Transformers 5.20 或更高。主模型权重是 bf16,17.2 GB,0.7B 模型约 3 GB,配置文件设置了 131,072 token 的位置上限,模型卡没有提到这一点。模型卡规定每次请求最多一段 30 秒的音频(更长的音频只保留最后 30 秒)、一张 560 个图像 token 的图像和最多 20 个选项。许可证是 Apache 2.0,据模型卡说与 Gemma 4 E4B-it 底座相同。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计主仓库只有 95 次下载,0.7B 模型 190 次,LiteRT 版本 96 次。

适合做什么

  • 音频决策,比如说话人是否说完、下一个说话的是谁、正在播放什么声音或曲风,并得到可以设阈值的概率
  • 手机应用和其他离线场景,可用 3.45 GB 的 LiteRT 版本或 0.7B 模型
  • 两层方案:0.7B 模型用约 10 毫秒回答有把握的音频问题,其余交给较大的模型
  • 一个 Apache 2.0 的模型同时做音频、图像和文本决策

需要注意

  • Earshot 是 Abacus.AI 自己的基准,指数各行是它自己的测试,API 竞品是收到音频后返回 JSON 概率,所以对 Gemini 的领先只是开发方的说法
  • 在文本上,模型卡自己的表格显示 Perplexity 的 4B 决策模型领先,61.8 对 56.6,而且各模型卡使用的指数版本和设置不同,所以不要跨模型卡比较分数
  • 它只对带类型的问题返回概率,不能写文字,模型卡建议在高风险场景下用你自己的数据设置决策阈值
  • 目前采用度很低,每个仓库 30 天内只有 95 到 190 次下载,手机版本在图像指数上损失 2.1 到 3.0 分,在文本上损失 2.7 分

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Smaug-Audio-Decisions-0.7B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Smaug-Audio-Decisions-0.7B FP32 740M 1.7 GB 0.851 GB 0.511 GB 笔记本或手机
Smaug-Decisions BF16 8.61B 20 GB 9.9 GB 5.94 GB 笔记本或手机
Smaug-Decisions-LiteRT 8.61B 20 GB 9.9 GB 5.94 GB 笔记本或手机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Smaug-Decisions 是什么?
Smaug-Decisions 回答关于一段声音、一张图片或一段文字的带类型问题,比如说话人是否已经说完,或者正在播放什么曲风。它给每个可能的答案返回一个概率,而不是写出回复。一个很小的同系列模型能在约 10 毫秒内回答音频问题,手机版本则可以完全离线运行。
Smaug-Decisions 可以商用吗?
可以。Smaug-Decisions 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Smaug-Decisions 是开源的吗?
Smaug-Decisions 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Smaug-Decisions 吗?
可以。最小版本 Smaug-Audio-Decisions-0.7B 在 4 位精度下约需 0.511 GB 内存,现代笔记本或中端显卡即可胜任。
Smaug-Decisions 是什么时候发布的?
Smaug-Decisions 由 Abacus.AI 于 2026年10月26日 发布。
Smaug-Decisions 的上下文窗口有多长?
Smaug-Decisions 支持最长 128K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Liquid d1 Liquid AI 587M – 3.12B 128K LFM Open 1.0 (附条件) 0.405 GB 笔记本或手机
pplx-decider Perplexity 4.54B – 26.1B 256K Apache 2.0 (宽松) 3.13 GB 笔记本或手机
AutoTrust Decider AutoTrust AI Lab 8.95B – 36B 激活 3B 256K Apache 2.0 (宽松) 6.18 GB 笔记本或手机
Clef Cloudflare 9.41B – 27.4B 64K Apache 2.0 (宽松) 6.49 GB 笔记本或手机