Nanbeige4.2-3B

4.2B 的循环 Transformer 智能体模型,22 层会运行两遍。标注 Apache 2.0,256K 上下文,但需要南北阁自己的分支。

一句话概括. Nanbeige4.2-3B 是一个小型文本模型,用于工具调用、编程和办公任务,笔记本也能运行。它通过重复使用自己的层来加深思考,而不增加体积。它来自 BOSS 直聘的语言模型团队,但常用的本地工具暂时还不能加载它,需要用团队自己的版本。

概述

Nanbeige4.2-3B 是 BOSS 直聘语言模型团队南北阁(Nanbeige LLM Lab)推出的紧凑型智能体模型,于 2026 年 7 月 21 日出现在 Hugging Face,标注 Apache 2.0 许可证。截至 2026 年 11 月 11 日的 30 天里它约有 10.4 万次下载,是该团队下载量最高的模型。

它的核心思路是循环 Transformer:22 层会为每个 token 运行两遍,在不增加参数的前提下增加深度和容量。模型共 42 亿参数,其中 30 亿在词嵌入之外,隐藏维度 3072,48 个注意力头共享 8 个键值头,上下文窗口 262,144 token。技术报告称它从零开始在 28 万亿 token 上预训练。团队的实验显示,两遍是最佳折中,能保留标准 Transformer 约 75% 的 token 效率;让两遍共享键值缓存可以把缓存减半,但效果会变差,所以保留了完整缓存。在用真实和合成环境的轨迹做过监督微调之后,模型又经过了针对思考和非思考回答的两阶段人类反馈强化学习、控制回答长度的强化学习,以及带结果奖励和过程奖励的智能体强化学习。

在团队自己的表格里,以思考模式运行时,它在多数智能体和编程测试中胜过 Qwen3.5-9B 和 Gemma 4 12B,比如 SWE-Bench Verified 上 63.6 分,对比 53.1 和 44.2,Terminal-Bench 2.0 上 44.1 分,对比 29.2 和 21.1。它在 IFBench(54.6 对 73.5)和 SciCode(35.6 对 38.2)上落后于 Gemma 4 12B。这些是开发者的数字,部分办公任务测试还用了团队自己的评测框架。常见工具暂不支持这个结构:模型卡要求使用 Nanbeige 的 vLLM、SGLang、llama.cpp 和 Ollama 分支,或带远程代码的 Transformers,并说明 LM Studio 自带的 llama-server 还不支持它。官方还发布了 5.2 GB 的 FP8 和 GPTQ-Int8 版本、仅预训练的基础模型,以及用于加速解码的 DSpark 草稿模型。Nanbeige 说它的后续版本 Nanbeige4.5 正在训练,计划 2026 年晚些时候发布。

适合做什么

  • 笔记本上的本地个人助手或小型智能体,BF16 权重 8.3 GB,FP8 版本 5.2 GB
  • 30B 级模型太重的工具调用、编程和办公式任务
  • 循环 Transformer 研究,因为代码、基础模型和技术报告都是公开的
  • 在普通硬件上处理最长 256K token 的输入,受限于键值缓存的大小

需要注意

  • 原版 llama.cpp、Ollama 和 LM Studio 无法加载它,需要 Nanbeige 的分支或带远程代码的 Transformers
  • 循环结构会让每一层运行两遍并为两遍都保留缓存,比同样参数量的标准模型需要更多算力和缓存内存
  • 仓库标注了 Apache 2.0,但没有 LICENSE 文件
  • 基准数字是开发者自己的,部分使用了内部评测框架
  • 在团队自己的表格里,它的指令遵循得分远低于 Gemma 4 12B

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Nanbeige4.2-3B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Nanbeige4.2-3B BF16 4.17B 9.59 GB 4.8 GB 2.88 GB 笔记本或手机
Nanbeige4.2-3B-FP8 FP8 4.17B 9.59 GB 4.8 GB 2.88 GB 笔记本或手机
Nanbeige4.2-3B-GPTQ-Int8 INT8 4.17B 9.59 GB 4.8 GB 2.88 GB 笔记本或手机
Nanbeige4.2-3B-Base BF16 4.17B 9.59 GB 4.8 GB 2.88 GB 笔记本或手机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Nanbeige4.2-3B 是什么?
Nanbeige4.2-3B 是一个小型文本模型,用于工具调用、编程和办公任务,笔记本也能运行。它通过重复使用自己的层来加深思考,而不增加体积。它来自 BOSS 直聘的语言模型团队,但常用的本地工具暂时还不能加载它,需要用团队自己的版本。
Nanbeige4.2-3B 可以商用吗?
可以。Nanbeige4.2-3B 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Nanbeige4.2-3B 是开源的吗?
Nanbeige4.2-3B 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Nanbeige4.2-3B 吗?
可以。最小版本 Nanbeige4.2-3B 在 4 位精度下约需 2.88 GB 内存,现代笔记本或中端显卡即可胜任。
Nanbeige4.2-3B 是什么时候发布的?
Nanbeige4.2-3B 由 Nanbeige LLM Lab 于 2026年7月21日 发布。
Nanbeige4.2-3B 的上下文窗口有多长?
Nanbeige4.2-3B 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3.5 Alibaba Qwen 873M – 403B 激活 17B 256K Apache 2.0 (宽松) 0.602 GB 笔记本或手机
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
MiniCPM5-2B OpenBMB 1.08B – 2.52B 128K Apache 2.0 (宽松) 0.745 GB 笔记本或手机
SenseNova-Loop-9B-Preview SenseTime 9.66B 256K Apache 2.0 (宽松) 22 GB 游戏显卡