Nanbeige4.2-3B
4.2B 的循环 Transformer 智能体模型,22 层会运行两遍。标注 Apache 2.0,256K 上下文,但需要南北阁自己的分支。
一句话概括. Nanbeige4.2-3B 是一个小型文本模型,用于工具调用、编程和办公任务,笔记本也能运行。它通过重复使用自己的层来加深思考,而不增加体积。它来自 BOSS 直聘的语言模型团队,但常用的本地工具暂时还不能加载它,需要用团队自己的版本。
概述
Nanbeige4.2-3B 是 BOSS 直聘语言模型团队南北阁(Nanbeige LLM Lab)推出的紧凑型智能体模型,于 2026 年 7 月 21 日出现在 Hugging Face,标注 Apache 2.0 许可证。截至 2026 年 11 月 11 日的 30 天里它约有 10.4 万次下载,是该团队下载量最高的模型。
它的核心思路是循环 Transformer:22 层会为每个 token 运行两遍,在不增加参数的前提下增加深度和容量。模型共 42 亿参数,其中 30 亿在词嵌入之外,隐藏维度 3072,48 个注意力头共享 8 个键值头,上下文窗口 262,144 token。技术报告称它从零开始在 28 万亿 token 上预训练。团队的实验显示,两遍是最佳折中,能保留标准 Transformer 约 75% 的 token 效率;让两遍共享键值缓存可以把缓存减半,但效果会变差,所以保留了完整缓存。在用真实和合成环境的轨迹做过监督微调之后,模型又经过了针对思考和非思考回答的两阶段人类反馈强化学习、控制回答长度的强化学习,以及带结果奖励和过程奖励的智能体强化学习。
在团队自己的表格里,以思考模式运行时,它在多数智能体和编程测试中胜过 Qwen3.5-9B 和 Gemma 4 12B,比如 SWE-Bench Verified 上 63.6 分,对比 53.1 和 44.2,Terminal-Bench 2.0 上 44.1 分,对比 29.2 和 21.1。它在 IFBench(54.6 对 73.5)和 SciCode(35.6 对 38.2)上落后于 Gemma 4 12B。这些是开发者的数字,部分办公任务测试还用了团队自己的评测框架。常见工具暂不支持这个结构:模型卡要求使用 Nanbeige 的 vLLM、SGLang、llama.cpp 和 Ollama 分支,或带远程代码的 Transformers,并说明 LM Studio 自带的 llama-server 还不支持它。官方还发布了 5.2 GB 的 FP8 和 GPTQ-Int8 版本、仅预训练的基础模型,以及用于加速解码的 DSpark 草稿模型。Nanbeige 说它的后续版本 Nanbeige4.5 正在训练,计划 2026 年晚些时候发布。
适合做什么
- 笔记本上的本地个人助手或小型智能体,BF16 权重 8.3 GB,FP8 版本 5.2 GB
- 30B 级模型太重的工具调用、编程和办公式任务
- 循环 Transformer 研究,因为代码、基础模型和技术报告都是公开的
- 在普通硬件上处理最长 256K token 的输入,受限于键值缓存的大小
需要注意
- 原版 llama.cpp、Ollama 和 LM Studio 无法加载它,需要 Nanbeige 的分支或带远程代码的 Transformers
- 循环结构会让每一层运行两遍并为两遍都保留缓存,比同样参数量的标准模型需要更多算力和缓存内存
- 仓库标注了 Apache 2.0,但没有 LICENSE 文件
- 基准数字是开发者自己的,部分使用了内部评测框架
- 在团队自己的表格里,它的指令遵循得分远低于 Gemma 4 12B
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Nanbeige4.2-3B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Nanbeige4.2-3B BF16 | 4.17B | 9.59 GB | 4.8 GB | 2.88 GB | 笔记本或手机 |
| Nanbeige4.2-3B-FP8 FP8 | 4.17B | 9.59 GB | 4.8 GB | 2.88 GB | 笔记本或手机 |
| Nanbeige4.2-3B-GPTQ-Int8 INT8 | 4.17B | 9.59 GB | 4.8 GB | 2.88 GB | 笔记本或手机 |
| Nanbeige4.2-3B-Base BF16 | 4.17B | 9.59 GB | 4.8 GB | 2.88 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Nanbeige4.2-3B 是什么?
- Nanbeige4.2-3B 是一个小型文本模型,用于工具调用、编程和办公任务,笔记本也能运行。它通过重复使用自己的层来加深思考,而不增加体积。它来自 BOSS 直聘的语言模型团队,但常用的本地工具暂时还不能加载它,需要用团队自己的版本。
- Nanbeige4.2-3B 可以商用吗?
- 可以。Nanbeige4.2-3B 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Nanbeige4.2-3B 是开源的吗?
- Nanbeige4.2-3B 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Nanbeige4.2-3B 吗?
- 可以。最小版本 Nanbeige4.2-3B 在 4 位精度下约需 2.88 GB 内存,现代笔记本或中端显卡即可胜任。
- Nanbeige4.2-3B 是什么时候发布的?
- Nanbeige4.2-3B 由 Nanbeige LLM Lab 于 2026年7月21日 发布。
- Nanbeige4.2-3B 的上下文窗口有多长?
- Nanbeige4.2-3B 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Nanbeige4.2-3B model card (Hugging Face) huggingface.co
- Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model (technical report, PDF) huggingface.co
- Nanbeige4.2-3B-Base model card (Hugging Face) huggingface.co
- Nanbeige4.2-3B-DSpark model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3.5 Alibaba Qwen | 873M – 403B 激活 17B | 256K | Apache 2.0 (宽松) | 0.602 GB 笔记本或手机 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| MiniCPM5-2B OpenBMB | 1.08B – 2.52B | 128K | Apache 2.0 (宽松) | 0.745 GB 笔记本或手机 | |
| SenseNova-Loop-9B-Preview SenseTime | 9.66B | 256K | Apache 2.0 (宽松) | 22 GB 游戏显卡 |