如何为编程智能体挑选开放模型
为智能体编程选择开放模型:要检查什么(工具调用、上下文、内存、许可证),哪些模型适合单张 GPU 或服务器,以及如何在你自己的代码仓库上测试。
简短回答。 编程智能体需要长上下文、可靠的工具调用,以及足够容纳 KV 缓存的内存。一张 24 到 48 GB 的 GPU 或大内存 Mac,先从 Qwen3.6、gpt-oss 或 Ornith 1.5 试起。多 GPU 服务器可以看看 DeepSeek V4、GLM-5.3 Flash 或 Kimi K2.7 Code。请在你自己的框架里、用你自己的代码仓库测试两三个,因为所有公布的智能体分数都来自开发者。
编程智能体有什么不同
普通的代码助手补全你正在输入的那一行。智能体编程则是一个循环:模型接到任务,浏览代码仓库,编辑文件,运行命令和测试,读取错误并重试,往往要经历几十次甚至几百次工具调用。Moonshot 称 Kimi K2.7 Code 能处理 4000 次以上的连续调用,不过这个数字是自己公布的。
这个循环对模型的要求比聊天高得多:很长的上下文窗口、可靠的工具调用,以及不丢线索的耐力。我们的编程与智能体榜单列出了收录的相关模型。
检查模型的五件事
- 工具调用。 支持程度取决于模型和服务器两方面。模型必须针对这种格式训练过,而 vLLM 或 SGLang 这样的推理服务器要开启对应的解析器。比如 Ornith,是通过兼容 OpenAI 的服务器,配合 Qwen 风格的工具调用解析器来使用的。
- 上下文长度。 gpt-oss 有 128K token,Qwen3.6 有 256K,Kimi K2.7 Code 有 256K,DeepSeek V4、GLM-5.3 Flash、Laguna S 2.1 和 Ling 3.1 Flash 有 1M。
- 推理行为。 有些模型回答前会先思考,要花费 token 和时间。Ornith 默认会思考,它的模型卡建议编程时温度设为 0.6,而 Kimi K2.7 Code 无法关闭思考。
- 内存。 权重加 KV 缓存必须放得下。下一节给出了数字。
- 许可证。 几乎所有许可证都允许内部使用,但你出售的产品可能引入额外条件。AI 许可证详解介绍了要看什么。
按硬件选模型
下面是按我们的估算,在 4 位精度下的最小内存,不含长会话的 KV 缓存:
| 硬件 | 可以试的模型 | 我们的估算 |
|---|---|---|
| 一张 16 到 24 GB 的 GPU,或同等内存的 Mac | Ornith 1.5 9B、Mellum2.1、gpt-oss-20b、Raon-1 mini preview、Qwen3.6 27B、AREX-2、Muse Glimmer 30B、Nanbeige4.3-33B | 分别约 7、8、15、18、19、19、20 和 23 GB |
| 一张 24 到 48 GB 的 GPU | GLM-4.7 Flash、Laguna XS 2.1、Qwen3.6 35B-A3B、Ornith 1.5 35B-A3B、K2 Horizon 36B-A4B、Ripple-65B Preview | 分别约 22、22、25、25、25 和 45 GB |
| 一张 80 GB 的 GPU | gpt-oss-120b、Nemotron 3.5 Lightning | 约 72 GB;Lightning 是为一张 H100 设计的 |
| 多 GPU 服务器 | Laguna S 2.1、Laguna M.1、Solar Open 2、DeepSeek V4 Flash、Hy3、Motif 3、GLM-5.3 Flash、Ling 3.1 Flash | 分别约 106、153、157、184、204、206、221 和 386 GB |
| 大型集群 | GLM-5.3、Kimi K2.7 Code、DeepSeek V4 Pro、LongCat-2.5 | 分别约 520、655、982 和 1470 GB |
几个模型的说明:
- Qwen3.6 针对智能体编程做过调优,阿里更新的 Qwen3.8-27B 和 27B 的规模相同,所以请在自己的任务上比较两者。
- GLM-4.7 Flash 是 Z.ai 的 30B 混合专家模型,激活 3B 参数,2026 年 1 月发布,采用 MIT 许可证,上下文约 200K。Z.ai 自己的表格里 SWE-bench Verified 得 59.2,gpt-oss-20b 为 34.0,但它对比的模型都比 Qwen3.5 和 Qwen3.6 更早。官方权重只有 62.5 GB 的 BF16,所以多数人运行的是社区的 4 位版本。
- Ornith 1.5 由 Qwen3.5 后训练而来,有 9B 到 397B 的规格,采用 MIT 许可证,并有 GGUF 和 MLX 版本。Ornith 的每个分数都来自 Ornith 自己。
- Muse Glimmer 是为本地智能体蒸馏的 30B 稠密模型,上下文 128K,有适合 24 GB GPU 的量化版本。
- Solar Open 2 是 Upstage 的 250B 混合专家模型,激活参数 15B,面向办公、文档密集型任务和英语、韩语、日语的编程智能体,上下文 1M token。它的模型卡把 4 张 H200 GPU 列为最低配置,还需要 Upstage 的 vLLM 镜像或分支。
- Nanbeige4.3-33B 是 33B 稠密模型,上下文 512K,INT4 版本约 23 GB。它的模型卡标注 Apache 2.0,但仓库里没有 LICENSE 文件,它自己的表格报告 Terminal-Bench 2.1 得分 80.9,Qwen3.8-27B 为 73.0。
- Mellum2.1 是 JetBrains 的 12B 混合专家模型,激活 2.5B 参数,采用 Apache 2.0,是一个先思考再回答的模型,设计目标是在代码仓库里作为快速的子智能体工作。在 JetBrains 自己的表格里,它的 SWE-bench Verified 得 47.0,Qwen3.5-9B 为 50.0,所以应把它当作快速的帮手,而不是更大模型的替代品。JetBrains 提供 GGUF 文件,Q4_K_M 为 8.1 GB,MXFP4 为 7.0 GB。
- K2 Horizon 是 IFM 的完全开放系列,上下文 512K。IFM 的表格报告 7B 在 SWE-bench Verified 上得 72.4,Qwen3.5-9B 为 50.8;36B-A4B 的 Terminal-Bench 2.1 得 58.6,它的 Q4_K_M GGUF 为 22.4 GB。在同一张表里,Qwen3.8-27B 明显领先稠密的 32B。GGUF 文件需要较新的 llama.cpp,所有分数都来自 IFM 自己。
- Laguna 是 Poolside 的编程系列。Laguna XS 2.1(33B 混合专家,激活 3B,上下文 256K)是小的那个,在 Poolside 自己的表格里 Qwen3.6-35B-A3B 四项编程基准都比它高。Laguna S 2.1(118B,激活 8B,上下文 1M)在同类表格里 Terminal-Bench 2.1 得 70.2%,SWE-Bench Pro 得 59.4%,而在终端任务上 Kimi K3 和 Claude Fable 5 遥遥领先;Laguna M.1(225B,激活 23B)是采用 Apache 2.0 的旗舰。XS 2.1 和 S 2.1 采用 OpenMDW-1.1 许可证,它们 8 月最后更新的模型卡提醒过 llama.cpp、vLLM 和 Ollama 的不完善之处,所以在此基础上开发之前请先确认当前状态。
- Raon-1 mini preview 是 KRAFTON 从零训练的 28.8B 混合专家模型,激活 4.3B 参数,采用 Apache 2.0,上下文 262K,另有 17.6 GB 的 NVFP4 版本。它自己的表格报告 SWE-bench Verified 得分 70.8,Qwen3.6 35B-A3B 为 63.2,但 Terminal-Bench Lite 上是 47.0 对 63.3,模型卡称它是预览版。
- AREX-2 是智源研究院基于 Qwen3.8 的 27B 智能体,训练目标是在多轮中改进自己的答案,采用 Apache 2.0。智源的表格报告 MLE-Bench Lite 得分 81.8,Frontier-CS 为 70.7,普通的聊天调用复现不出这些结果。
- Ripple-65B Preview 是 65B 稠密文本模型,采用 Apache 2.0,上下文 1M token。它自己的表格报告 Terminal-Bench 2.1 得分 80.5,但 SWE-bench Verified 上 Reflection Beam 领先。BF16 权重约 130 GB,实验性的 NVFP4 版本为 57 GB。
- Motif 3 是 314B 混合专家模型,激活参数 13.2B,采用 MIT 许可证,面向工具调用和终端任务。它的命令以 8 张 H200 或 B200 GPU 为前提,并用 Motif 自己的 vLLM 分支,所有分数都来自 Motif。
- LongCat-2.5 是美团的 1.6T 混合专家模型,采用 MIT 许可证,面向长时间的编程和终端任务。美团只给出了 NPU 服务器的部署方式,使用的是它自己的 SGLang 分支,所以多数团队目前还没法运行它。
- Ling 3.1 Flash 使用线性注意力,所以需要模型卡上点名的特定 SGLang 或 vLLM 版本。
- Kimi K2.7 Code 的原生 INT4 权重约 595 GB,Moonshot 推荐把它自己的 Kimi Code CLI 作为智能体框架。
- Mage-VL-Cowork 是微软用来操作桌面的 4B 计算机使用智能体,把屏幕操作和 shell 命令结合起来,微软自己的测量是 OSWorld-Verified 得分 66.0%。它面向屏幕而不是代码仓库,所以应视为上述模型的补充,并且要在沙箱里运行。
按显存和硬件查找开源 AI 模型榜单会按你拥有的内存对整个目录排序。
部署模型并连接智能体
智能体程序通过兼容 OpenAI 的 API与你的模型对话。在一台机器上,用 llama.cpp 或 Ollama 提供模型服务。在服务器上,用 vLLM 或 SGLang,并开启模型卡上点名的工具调用解析器。如何选择运行工具与推理引擎帮你选择,自托管开放模型还是使用 API则讨论要不要自己运行模型。
Kimi K2.7 Code 这样的巨型模型是例外:它们需要服务器级的 GPU 节点,因为即使是 INT4 权重也有约 595 GB。
为长会话规划内存
智能体会话会越来越长,因为你读过的每个文件、每条命令输出都留在对话里,KV 缓存也随之增长。Qwen3.6 的模型卡提醒,长上下文需要的内存远多于权重本身。采用高效注意力的模型,比如 DeepSeek V4、GLM-5.3 和 MiniMax M3,会缩小这个缓存,但它们也可能需要较新的服务软件。请测试你最长的实际会话,而不是一条简短的提示词。
在你自己的代码仓库上测试
从你的待办列表里挑出十个真实任务,最好是带有测试的缺陷修复,用相同的设置在同一个框架里运行每个候选模型。记录测试是否通过、智能体用了多少次工具调用、花了多长时间、消耗了多少 token。再看看失败的情形:因为放弃而失败的模型,和自信地改错文件而失败的模型是不同的。如何自己评估 AI 模型介绍了方法;如果你之后想让模型适应自己的代码库,微调入门指南可以派上用场。
把公布的分数当作线索
开发者用 SWE-bench 和 Terminal-Bench 等基准来描述编程模型,这些数字取决于模型外面的智能体测试框架。Ornith 的表格里包含它对竞品的测试,其中有些把竞品排在了 Ornith 前面。Moonshot 则报告了它内部基准 Kimi Code Bench 的结果。词条基准测试解释了自己公布的数字为什么需要谨慎看待。
保证安全
智能体可以运行命令,所以请在容器或一次性的工作区里运行它。不要把机密放进它能读取的代码仓库,在它执行任何无法撤销的操作之前先审阅命令,对推送和删除保留人工检查。
常见问题
- 哪个开放模型最适合做编程智能体?
- 没有唯一最好的模型。开发者会公布 Terminal-Bench 和 SWE-bench 等智能体分数,但这些都是自己公布的,而且取决于开发者所用的测试框架。Ornith 的表格里包含它自己对竞品的测试,Moonshot 的表格里包含内部基准。请在你自己的框架里测试两三个模型。
- 编程智能体可以完全离线运行吗?
- 可以,只要模型服务器和智能体程序都在你自己的机器上运行。Qwen3.6、gpt-oss 和 Muse Glimmer 这样的模型小到一张工作站 GPU 就放得下,但请确认智能体程序不会调用云服务。
- 编程智能体需要多长的上下文?
- 智能体会把文件内容、命令输出和之前的推理都留在对话里,所以长上下文很有帮助:gpt-oss 有 128K token,Qwen3.6 有 256K,几个服务器级模型有 1M。长上下文需要的内存远多于权重本身,所以要为 KV 缓存留出空间。
- 9B 的模型做编程够用吗?
- 处理范围明确的任务可能够用。Ornith 报告其 9B 模型在 Terminal-Bench 2.1 上得 46.2,在 SWE-bench Verified 上得 70.6,35B-A3B 模型则分别是 67.8 和 79.0,这些都是 Ornith 自己的测量。请先在你自己的任务上测试再决定。
- 内部使用编程智能体,许可证重要吗?
- 几乎所有许可证都允许内部使用,所以主要的风险是缺少许可证文件,或者对你出售的产品附加了条件。小米 MiMo-V2.6 的仓库标注为 MIT,却没有 LICENSE 文件,所以基于它做产品之前,请先确认条款。
本文关键术语
- 智能体编程(Agentic coding) 智能体编程指模型像开发者一样处理软件:阅读代码库、编辑文件、运行命令和测试,并一直做到任务完成。
- 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
- 计算机使用智能体 计算机使用智能体会查看屏幕截图,像人一样操作电脑:点击、输入、滚动,有时还会运行 shell 命令或代码。
- 上下文窗口 上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
- KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
- 工具调用(Function calling) 工具调用让模型请求你的程序运行某个函数,例如搜索或计算器,然后在回答中使用函数返回的结果。
本文提到的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Qwen3.6 Alibaba Qwen | 27.8B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Ornith 1.5 DeepReinforce | 9.65B – 403B 激活 17B | 256K | MIT (宽松) | 6.66 GB 笔记本或手机 | |
| gpt-oss OpenAI | 21B – 117B 激活 5.1B | 128K | Apache 2.0 (宽松) | 15 GB 笔记本或手机 | |
| DeepSeek V4 DeepSeek | 284B – 1.6T 激活 49B | 1M | MIT (宽松) | 176 GB 大内存台式机 | |
| Kimi K2.7 Code Moonshot AI | 1.03T 激活 32B | 256K | Modified MIT (附条件) | 655 GB GPU 服务器 | |
| GLM-5.3-Flash Z.ai (Zhipu AI) | 320B 激活 18B | 1M | MIT (宽松) | 221 GB 大内存台式机 | |
| Solar Open 2 Upstage | 250B 激活 15B | 1M | Upstage Solar (附条件) | 157 GB 大内存台式机 | |
| Motif 3 Motif Technologies | 314B 激活 13.2B | 256K | MIT (宽松) | 206 GB 大内存台式机 | |
| LongCat-2.5 Meituan | 1.6T 激活 48B | 1M | MIT (宽松) | 1.1 TB GPU 服务器 | |
| Nanbeige4.3-33B Nanbeige LLM Lab | 33.1B | 512K | Apache 2.0 (宽松) | 23 GB 游戏显卡 | |
| Ripple-65B Preview Ricursive Intelligence | 64.8B | 1M | Apache 2.0 (宽松) | 45 GB 工作站 | |
| AREX-2 BAAI | 27.4B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Mage-VL-Cowork Microsoft | 4.74B | 32K | Apache 2.0 (宽松) | 3.27 GB 笔记本或手机 | |
| Raon-1 mini preview KRAFTON | 28.8B 激活 4.3B | 256K | Apache 2.0 (宽松) | 18 GB 游戏显卡 | |
| Mellum2.1 JetBrains | 12.2B 激活 2.5B | 128K | Apache 2.0 (宽松) | 7.7 GB 笔记本或手机 | |
| K2 Horizon Institute of Foundation Models (MBZUAI) | 1.08B – 379B 激活 23B | 512K | Apache 2.0 (宽松) | 0.745 GB 笔记本或手机 | |
| Laguna XS 2.1 Poolside | 33.4B 激活 3B | 256K | OpenMDW-1.1 (宽松) | 22 GB 游戏显卡 | |
| Laguna S 2.1 Poolside | 118B 激活 8B | 1M | OpenMDW-1.1 (宽松) | 81 GB 工作站 | |
| Laguna M.1 Poolside | 226B 激活 23.4B | 256K | Apache 2.0 (宽松) | 153 GB 大内存台式机 | |
| GLM-4.7-Flash Z.ai (Zhipu AI) | 31.2B 激活 3B | 198K | MIT (宽松) | 22 GB 游戏显卡 |