如何为编程智能体挑选开放模型

为智能体编程选择开放模型:要检查什么(工具调用、上下文、内存、许可证),哪些模型适合单张 GPU 或服务器,以及如何在你自己的代码仓库上测试。

  • 进阶
  • 阅读约 14 分钟
  • 发布于
  • 更新于

简短回答。 编程智能体需要长上下文、可靠的工具调用,以及足够容纳 KV 缓存的内存。一张 24 到 48 GB 的 GPU 或大内存 Mac,先从 Qwen3.6、gpt-oss 或 Ornith 1.5 试起。多 GPU 服务器可以看看 DeepSeek V4、GLM-5.3 Flash 或 Kimi K2.7 Code。请在你自己的框架里、用你自己的代码仓库测试两三个,因为所有公布的智能体分数都来自开发者。

编程智能体有什么不同

普通的代码助手补全你正在输入的那一行。智能体编程则是一个循环:模型接到任务,浏览代码仓库,编辑文件,运行命令和测试,读取错误并重试,往往要经历几十次甚至几百次工具调用。Moonshot 称 Kimi K2.7 Code 能处理 4000 次以上的连续调用,不过这个数字是自己公布的。

这个循环对模型的要求比聊天高得多:很长的上下文窗口、可靠的工具调用,以及不丢线索的耐力。我们的编程与智能体榜单列出了收录的相关模型。

检查模型的五件事

  1. 工具调用。 支持程度取决于模型和服务器两方面。模型必须针对这种格式训练过,而 vLLM 或 SGLang 这样的推理服务器要开启对应的解析器。比如 Ornith,是通过兼容 OpenAI 的服务器,配合 Qwen 风格的工具调用解析器来使用的。
  2. 上下文长度。 gpt-oss 有 128K token,Qwen3.6 有 256K,Kimi K2.7 Code 有 256K,DeepSeek V4、GLM-5.3 Flash、Laguna S 2.1 和 Ling 3.1 Flash 有 1M。
  3. 推理行为。 有些模型回答前会先思考,要花费 token 和时间。Ornith 默认会思考,它的模型卡建议编程时温度设为 0.6,而 Kimi K2.7 Code 无法关闭思考。
  4. 内存。 权重加 KV 缓存必须放得下。下一节给出了数字。
  5. 许可证。 几乎所有许可证都允许内部使用,但你出售的产品可能引入额外条件。AI 许可证详解介绍了要看什么。

按硬件选模型

下面是按我们的估算,在 4 位精度下的最小内存,不含长会话的 KV 缓存:

硬件 可以试的模型 我们的估算
一张 16 到 24 GB 的 GPU,或同等内存的 Mac Ornith 1.5 9B、Mellum2.1、gpt-oss-20b、Raon-1 mini preview、Qwen3.6 27B、AREX-2、Muse Glimmer 30B、Nanbeige4.3-33B 分别约 7、8、15、18、19、19、20 和 23 GB
一张 24 到 48 GB 的 GPU GLM-4.7 Flash、Laguna XS 2.1、Qwen3.6 35B-A3B、Ornith 1.5 35B-A3B、K2 Horizon 36B-A4B、Ripple-65B Preview 分别约 22、22、25、25、25 和 45 GB
一张 80 GB 的 GPU gpt-oss-120b、Nemotron 3.5 Lightning 约 72 GB;Lightning 是为一张 H100 设计的
多 GPU 服务器 Laguna S 2.1、Laguna M.1、Solar Open 2、DeepSeek V4 Flash、Hy3、Motif 3、GLM-5.3 Flash、Ling 3.1 Flash 分别约 106、153、157、184、204、206、221 和 386 GB
大型集群 GLM-5.3、Kimi K2.7 Code、DeepSeek V4 Pro、LongCat-2.5 分别约 520、655、982 和 1470 GB

几个模型的说明:

  • Qwen3.6 针对智能体编程做过调优,阿里更新的 Qwen3.8-27B 和 27B 的规模相同,所以请在自己的任务上比较两者。
  • GLM-4.7 Flash 是 Z.ai 的 30B 混合专家模型,激活 3B 参数,2026 年 1 月发布,采用 MIT 许可证,上下文约 200K。Z.ai 自己的表格里 SWE-bench Verified 得 59.2,gpt-oss-20b 为 34.0,但它对比的模型都比 Qwen3.5 和 Qwen3.6 更早。官方权重只有 62.5 GB 的 BF16,所以多数人运行的是社区的 4 位版本。
  • Ornith 1.5 由 Qwen3.5 后训练而来,有 9B 到 397B 的规格,采用 MIT 许可证,并有 GGUF 和 MLX 版本。Ornith 的每个分数都来自 Ornith 自己。
  • Muse Glimmer 是为本地智能体蒸馏的 30B 稠密模型,上下文 128K,有适合 24 GB GPU 的量化版本。
  • Solar Open 2 是 Upstage 的 250B 混合专家模型,激活参数 15B,面向办公、文档密集型任务和英语、韩语、日语的编程智能体,上下文 1M token。它的模型卡把 4 张 H200 GPU 列为最低配置,还需要 Upstage 的 vLLM 镜像或分支。
  • Nanbeige4.3-33B 是 33B 稠密模型,上下文 512K,INT4 版本约 23 GB。它的模型卡标注 Apache 2.0,但仓库里没有 LICENSE 文件,它自己的表格报告 Terminal-Bench 2.1 得分 80.9,Qwen3.8-27B 为 73.0。
  • Mellum2.1 是 JetBrains 的 12B 混合专家模型,激活 2.5B 参数,采用 Apache 2.0,是一个先思考再回答的模型,设计目标是在代码仓库里作为快速的子智能体工作。在 JetBrains 自己的表格里,它的 SWE-bench Verified 得 47.0,Qwen3.5-9B 为 50.0,所以应把它当作快速的帮手,而不是更大模型的替代品。JetBrains 提供 GGUF 文件,Q4_K_M 为 8.1 GB,MXFP4 为 7.0 GB。
  • K2 Horizon 是 IFM 的完全开放系列,上下文 512K。IFM 的表格报告 7B 在 SWE-bench Verified 上得 72.4,Qwen3.5-9B 为 50.8;36B-A4B 的 Terminal-Bench 2.1 得 58.6,它的 Q4_K_M GGUF 为 22.4 GB。在同一张表里,Qwen3.8-27B 明显领先稠密的 32B。GGUF 文件需要较新的 llama.cpp,所有分数都来自 IFM 自己。
  • Laguna 是 Poolside 的编程系列。Laguna XS 2.1(33B 混合专家,激活 3B,上下文 256K)是小的那个,在 Poolside 自己的表格里 Qwen3.6-35B-A3B 四项编程基准都比它高。Laguna S 2.1(118B,激活 8B,上下文 1M)在同类表格里 Terminal-Bench 2.1 得 70.2%,SWE-Bench Pro 得 59.4%,而在终端任务上 Kimi K3 和 Claude Fable 5 遥遥领先;Laguna M.1(225B,激活 23B)是采用 Apache 2.0 的旗舰。XS 2.1 和 S 2.1 采用 OpenMDW-1.1 许可证,它们 8 月最后更新的模型卡提醒过 llama.cpp、vLLM 和 Ollama 的不完善之处,所以在此基础上开发之前请先确认当前状态。
  • Raon-1 mini preview 是 KRAFTON 从零训练的 28.8B 混合专家模型,激活 4.3B 参数,采用 Apache 2.0,上下文 262K,另有 17.6 GB 的 NVFP4 版本。它自己的表格报告 SWE-bench Verified 得分 70.8,Qwen3.6 35B-A3B 为 63.2,但 Terminal-Bench Lite 上是 47.0 对 63.3,模型卡称它是预览版。
  • AREX-2 是智源研究院基于 Qwen3.8 的 27B 智能体,训练目标是在多轮中改进自己的答案,采用 Apache 2.0。智源的表格报告 MLE-Bench Lite 得分 81.8,Frontier-CS 为 70.7,普通的聊天调用复现不出这些结果。
  • Ripple-65B Preview 是 65B 稠密文本模型,采用 Apache 2.0,上下文 1M token。它自己的表格报告 Terminal-Bench 2.1 得分 80.5,但 SWE-bench Verified 上 Reflection Beam 领先。BF16 权重约 130 GB,实验性的 NVFP4 版本为 57 GB。
  • Motif 3 是 314B 混合专家模型,激活参数 13.2B,采用 MIT 许可证,面向工具调用和终端任务。它的命令以 8 张 H200 或 B200 GPU 为前提,并用 Motif 自己的 vLLM 分支,所有分数都来自 Motif。
  • LongCat-2.5 是美团的 1.6T 混合专家模型,采用 MIT 许可证,面向长时间的编程和终端任务。美团只给出了 NPU 服务器的部署方式,使用的是它自己的 SGLang 分支,所以多数团队目前还没法运行它。
  • Ling 3.1 Flash 使用线性注意力,所以需要模型卡上点名的特定 SGLang 或 vLLM 版本。
  • Kimi K2.7 Code 的原生 INT4 权重约 595 GB,Moonshot 推荐把它自己的 Kimi Code CLI 作为智能体框架。
  • Mage-VL-Cowork 是微软用来操作桌面的 4B 计算机使用智能体,把屏幕操作和 shell 命令结合起来,微软自己的测量是 OSWorld-Verified 得分 66.0%。它面向屏幕而不是代码仓库,所以应视为上述模型的补充,并且要在沙箱里运行。

按显存和硬件查找开源 AI 模型榜单会按你拥有的内存对整个目录排序。

部署模型并连接智能体

智能体程序通过兼容 OpenAI 的 API与你的模型对话。在一台机器上,用 llama.cpp 或 Ollama 提供模型服务。在服务器上,用 vLLM 或 SGLang,并开启模型卡上点名的工具调用解析器。如何选择运行工具与推理引擎帮你选择,自托管开放模型还是使用 API则讨论要不要自己运行模型。

Kimi K2.7 Code 这样的巨型模型是例外:它们需要服务器级的 GPU 节点,因为即使是 INT4 权重也有约 595 GB。

为长会话规划内存

智能体会话会越来越长,因为你读过的每个文件、每条命令输出都留在对话里,KV 缓存也随之增长。Qwen3.6 的模型卡提醒,长上下文需要的内存远多于权重本身。采用高效注意力的模型,比如 DeepSeek V4、GLM-5.3 和 MiniMax M3,会缩小这个缓存,但它们也可能需要较新的服务软件。请测试你最长的实际会话,而不是一条简短的提示词。

在你自己的代码仓库上测试

从你的待办列表里挑出十个真实任务,最好是带有测试的缺陷修复,用相同的设置在同一个框架里运行每个候选模型。记录测试是否通过、智能体用了多少次工具调用、花了多长时间、消耗了多少 token。再看看失败的情形:因为放弃而失败的模型,和自信地改错文件而失败的模型是不同的。如何自己评估 AI 模型介绍了方法;如果你之后想让模型适应自己的代码库,微调入门指南可以派上用场。

把公布的分数当作线索

开发者用 SWE-bench 和 Terminal-Bench 等基准来描述编程模型,这些数字取决于模型外面的智能体测试框架。Ornith 的表格里包含它对竞品的测试,其中有些把竞品排在了 Ornith 前面。Moonshot 则报告了它内部基准 Kimi Code Bench 的结果。词条基准测试解释了自己公布的数字为什么需要谨慎看待。

保证安全

智能体可以运行命令,所以请在容器或一次性的工作区里运行它。不要把机密放进它能读取的代码仓库,在它执行任何无法撤销的操作之前先审阅命令,对推送和删除保留人工检查。

常见问题

哪个开放模型最适合做编程智能体?
没有唯一最好的模型。开发者会公布 Terminal-Bench 和 SWE-bench 等智能体分数,但这些都是自己公布的,而且取决于开发者所用的测试框架。Ornith 的表格里包含它自己对竞品的测试,Moonshot 的表格里包含内部基准。请在你自己的框架里测试两三个模型。
编程智能体可以完全离线运行吗?
可以,只要模型服务器和智能体程序都在你自己的机器上运行。Qwen3.6、gpt-oss 和 Muse Glimmer 这样的模型小到一张工作站 GPU 就放得下,但请确认智能体程序不会调用云服务。
编程智能体需要多长的上下文?
智能体会把文件内容、命令输出和之前的推理都留在对话里,所以长上下文很有帮助:gpt-oss 有 128K token,Qwen3.6 有 256K,几个服务器级模型有 1M。长上下文需要的内存远多于权重本身,所以要为 KV 缓存留出空间。
9B 的模型做编程够用吗?
处理范围明确的任务可能够用。Ornith 报告其 9B 模型在 Terminal-Bench 2.1 上得 46.2,在 SWE-bench Verified 上得 70.6,35B-A3B 模型则分别是 67.8 和 79.0,这些都是 Ornith 自己的测量。请先在你自己的任务上测试再决定。
内部使用编程智能体,许可证重要吗?
几乎所有许可证都允许内部使用,所以主要的风险是缺少许可证文件,或者对你出售的产品附加了条件。小米 MiMo-V2.6 的仓库标注为 MIT,却没有 LICENSE 文件,所以基于它做产品之前,请先确认条款。

本文关键术语

  • 智能体编程(Agentic coding) 智能体编程指模型像开发者一样处理软件:阅读代码库、编辑文件、运行命令和测试,并一直做到任务完成。
  • 基准测试(Benchmark) 基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
  • 计算机使用智能体 计算机使用智能体会查看屏幕截图,像人一样操作电脑:点击、输入、滚动,有时还会运行 shell 命令或代码。
  • 上下文窗口 上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。
  • 工具调用(Function calling) 工具调用让模型请求你的程序运行某个函数,例如搜索或计算器,然后在回答中使用函数返回的结果。

本文提到的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Qwen3.6 Alibaba Qwen 27.8B – 36B 激活 3B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Ornith 1.5 DeepReinforce 9.65B – 403B 激活 17B 256K MIT (宽松) 6.66 GB 笔记本或手机
gpt-oss OpenAI 21B – 117B 激活 5.1B 128K Apache 2.0 (宽松) 15 GB 笔记本或手机
DeepSeek V4 DeepSeek 284B – 1.6T 激活 49B 1M MIT (宽松) 176 GB 大内存台式机
Kimi K2.7 Code Moonshot AI 1.03T 激活 32B 256K Modified MIT (附条件) 655 GB GPU 服务器
GLM-5.3-Flash Z.ai (Zhipu AI) 320B 激活 18B 1M MIT (宽松) 221 GB 大内存台式机
Solar Open 2 Upstage 250B 激活 15B 1M Upstage Solar (附条件) 157 GB 大内存台式机
Motif 3 Motif Technologies 314B 激活 13.2B 256K MIT (宽松) 206 GB 大内存台式机
LongCat-2.5 Meituan 1.6T 激活 48B 1M MIT (宽松) 1.1 TB GPU 服务器
Nanbeige4.3-33B Nanbeige LLM Lab 33.1B 512K Apache 2.0 (宽松) 23 GB 游戏显卡
Ripple-65B Preview Ricursive Intelligence 64.8B 1M Apache 2.0 (宽松) 45 GB 工作站
AREX-2 BAAI 27.4B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Mage-VL-Cowork Microsoft 4.74B 32K Apache 2.0 (宽松) 3.27 GB 笔记本或手机
Raon-1 mini preview KRAFTON 28.8B 激活 4.3B 256K Apache 2.0 (宽松) 18 GB 游戏显卡
Mellum2.1 JetBrains 12.2B 激活 2.5B 128K Apache 2.0 (宽松) 7.7 GB 笔记本或手机
K2 Horizon Institute of Foundation Models (MBZUAI) 1.08B – 379B 激活 23B 512K Apache 2.0 (宽松) 0.745 GB 笔记本或手机
Laguna XS 2.1 Poolside 33.4B 激活 3B 256K OpenMDW-1.1 (宽松) 22 GB 游戏显卡
Laguna S 2.1 Poolside 118B 激活 8B 1M OpenMDW-1.1 (宽松) 81 GB 工作站
Laguna M.1 Poolside 226B 激活 23.4B 256K Apache 2.0 (宽松) 153 GB 大内存台式机
GLM-4.7-Flash Z.ai (Zhipu AI) 31.2B 激活 3B 198K MIT (宽松) 22 GB 游戏显卡