Needle 3
只有 1.21 亿参数的开放模型,在小设备上只做一件事:把一句普通请求变成工具调用或结构化数据。
一句话概括. Needle 3 不聊天。你给它一份应用提供的函数清单,比如开灯或启动计时器,再给它用户的一句话,它会选出合适的函数并填好参数。它还能从杂乱的文本里提取带类型的字段。它小到手机、手表或树莓派都能运行。
概述
Needle 3 是 Cactus Compute 在 2026 年 9 月中旬以 Apache 2.0 发布的工具调用模型。它不是通用聊天机器人。给它应用提供的函数和用户的请求,它会返回一个 JSON 对象,写明要调用哪些函数、每个函数的参数,以及一个置信度。请求里有两件事,它按顺序返回两个调用;请求的事没有任何工具能做,它返回空列表,而不是瞎猜。Needle 3 还能做结构化提取:你声明一条记录的结构,交给它文本,解码语法会保证输出能按这个结构解析。
它的架构很特别。Cactus 称之为分层的 Simple Attention Network,共 20 层,宽度 768,上下文 8192 个 token。它不用前馈层,而是用基于 Hadamard 的通道混合和叫 engram 的哈希 n-gram 查找表,公司称 1.21 亿参数中约 7080 万在这些表里。训练数据是 3600 亿 token 的结构化样本,不公开。从 2 层到 20 层的每个深度都被当作独立模型训练,所以同一份权重可以切出一个 2900 万参数以上的可部署子网络。Hugging Face 仓库里有一个 242 MB 的半精度检查点,和一个 35.3 MB、权重约 2 位存储、供 Cactus 引擎使用的 .cact 文件。
开发者称,Needle 3 在 Mobile Actions、DroidCall 和 BFCL v4 等手机工具调用基准上胜过体积是它十倍的模型,在 DSTC8 和 SNIPS 等提取测试上追平大两到三倍的模型。它还称,在 DroidCall 上微调后,4 层及以上的子网络超过了 DeepSeek V4 Flash。它给出的数字是在树莓派 5 上解码每秒 400 到 4000 个 token。这些对比来自开发者的图表,基线由它自己挑选,我们没有复现。
开发者自己的说明里清楚写了它的限制。模型是用较小的工具集训练的,工具超过大约两打后准确率会下降,所以大型工具目录要先做筛选。这一版没有对比学习的嵌入头,因此它的嵌入调用返回的是置信度头里池化出来的信号,不是训练过的检索嵌入。引擎在每个平台上不到 1 MB,预编译覆盖十几个目标平台,用 pip install cactus-compute 安装,公司还给出了在单机上用 LoRA 微调的文档。
适合做什么
- 用语音和文字控制手机、手表、智能家居、机器人和汽车,这些场景有个离线小模型就够了
- 把通知、发票或消息变成带类型的字段,不用把数据发到云端
- 混合部署中的快速第一步,用置信度决定直接执行、确认还是交给更大的模型
- 商业产品,因为许可证是 Apache 2.0
需要注意
- 它是专用模型,不能多轮对话,也不能写长回答
- 一次给它的工具超过大约两打,准确率就会下降,大型工具目录要先筛选
- 这一版的嵌入调用不是训练过的检索嵌入
- 上下文窗口是 8192 个 token
- 基准结论来自开发者自己的图表,没有经过独立验证
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Needle 3 (20 layers, FP16 checkpoint) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Needle 3 (20 layers, FP16 checkpoint) FP16 | 121M | 0.278 GB | 0.139 GB | 0.0835 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Needle 3 是什么?
- Needle 3 不聊天。你给它一份应用提供的函数清单,比如开灯或启动计时器,再给它用户的一句话,它会选出合适的函数并填好参数。它还能从杂乱的文本里提取带类型的字段。它小到手机、手表或树莓派都能运行。
- Needle 3 可以商用吗?
- 可以。Needle 3 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Needle 3 是开源的吗?
- Needle 3 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Needle 3 吗?
- 可以。最小版本 Needle 3 (20 layers, FP16 checkpoint) 在 4 位精度下约需 0.0835 GB 内存,现代笔记本或中端显卡即可胜任。
- Needle 3 是什么时候发布的?
- Needle 3 由 Cactus Compute 于 2026年9月 发布。
- Needle 3 的上下文窗口有多长?
- Needle 3 支持最长 8K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Cactus Compute: Needle 3 cactuscompute.com
- Cactus Compute: Intelligence ladders (17 Sep 2026) cactuscompute.com
- Cactus Compute: Porting Needle 3 (18 Sep 2026) cactuscompute.com
- Needle 3 model card (Hugging Face) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Whistle Cactus Compute | 55M | – | Apache 2.0 (宽松) | 0.253 GB 笔记本或手机 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Qwen3.5 Alibaba Qwen | 873M – 403B 激活 17B | 256K | Apache 2.0 (宽松) | 0.602 GB 笔记本或手机 | |
| Ternary Bonsai 2 PrismML | 2.21B – 27.4B | 256K | Apache 2.0 (宽松) | 0.473 GB 笔记本或手机 |