笔记本就能运行的最佳小型开源模型
运行一个不错的开放模型并不需要服务器。这些模型只需 16 到 32 GB 甚至更少的内存,涵盖聊天、推理、编程和视觉。内存数字是我们对最小版本在 4 位精度下的估算;以更低位数发布的模型,则直接给出文件大小。
-
Gemma 4
Google 的 Apache 2.0 家族几乎覆盖任何机器:手机级的 E2B 和 E4B、12B、激活 3.8B 的 26B 混合专家模型,以及 31B 旗舰。据我们估算,最小的版本在 4 位精度下约需 3.5 GB。
-
gpt-oss
OpenAI 的 Apache 2.0 推理模型的 21B 版本,每个 token 只激活 3.6B 参数,因此能放进 16 GB 内存的机器。它发布于 2025 年,但几乎所有本地工具都支持它。
-
Qwen3.5
阿里巴巴的 Apache 2.0 家族除大型号外,还有 0.8B、2B、4B 和 9B 几种小型号,都支持图像和视频输入,上下文 256K。据我们估算,4 位精度下 0.8B 约需 0.6 GB,9B 约需 7 GB。
-
Qwen3.6
每个 token 只激活 3B 的 35B 混合专家模型,以及 27B 稠密模型,都采用 Apache 2.0,并针对智能体编程做了调优。据我们估算,4 位精度下分别约需 25 GB 和 19 GB,适合 32 GB 内存的机器。
-
Laguna XS 2.1
Poolside 的 33B 编程模型,每个 token 只激活 3B 参数。官方 Q4_K_M 文件为 20.3 GB,模型卡说 36 GB 内存的 Mac 可以运行,但它提醒过 llama.cpp、vLLM 和 Ollama 的不完善之处,所以请先确认当前状态。
-
GLM-4.7-Flash
Z.ai 的 MIT 许可证 30B 混合专家模型,每个 token 激活 3B 参数。官方权重只有 62.5 GB 的 BF16,请在 32 GB 内存的 Mac 或 24 GB 显卡上运行社区的 4 位版本,据我们估算约需 22 GB。
-
Raon-1 mini preview
KRAFTON 的 28.8B 混合专家模型,每个 token 只激活 4.3B 参数,为韩语对话和智能体从零训练。据我们估算,4 位精度下约需 18 GB,17.6 GB 的 NVFP4 版本可放进一块 32 GB GPU。采用 Apache 2.0,模型卡称它是预览版。
-
Nemotron 3 Nano 4B
NVIDIA 的 4B Mamba-Transformer 混合模型,由 Nano 9B v2 压缩而来,推理模式可切换,面向 RTX 电脑和 Jetson 开发板。据我们估算,4 位精度下需要不到 3 GB。
-
GigaChat 3.1 Lightning
Sber 的 MIT 许可证 10B 混合专家模型,激活 1.8B 参数,俄语表现强。FP8 文件为 12.3 GB,Q4_K_M GGUF 为 6.5 GB,但全部 10B 参数仍需放进内存。
-
Dory 1.0
NVIDIA 的 4B 循环模型:可以选择让它的共享模块运行一到四次,用同一个检查点在速度和质量之间取舍。BF16 约 8 GB,NVFP4 约 3.2 GB,另有 3.7 GB 的 GGUF,OpenMDW-1.1 允许商用。
-
Nanbeige4.2-3B
BOSS 直聘的 3B 级智能体模型(含嵌入共 41.7 亿参数),采用 Apache 2.0,上下文 256K。它自己的表格里 SWE-bench Verified 得分 63.6,Qwen3.5-9B 为 53.1,但需要 Nanbeige 自己的 vLLM、SGLang 或 llama.cpp 分支。据我们估算,4 位精度下约需 3 GB。
-
S5-nano
Maritaca AI 基于 Qwen3.5-4B、面向巴西葡萄牙语的 4B 模型,有 Think 和 Instruct 两种模式,支持工具调用和 256K 上下文,采用 Apache 2.0。Q4_K_M 的 GGUF 为 2.8 GB,基准分数是 Maritaca 自己的。
-
Spark-X2.6
TokenSpark 的 1.7B 和 4B 模型,采用 Apache 2.0,可切换思考模式,位置上限 100 万 token,不过这么长的上下文需要很多内存。4B 的 INT4 版是 3.41 GB,其 GGUF 仓库在截至 2026 年 11 月 11 日的 30 天内约有 66 万次下载。基准测试图表是 TokenSpark 自己发布的。
-
Raon-1 nano
KRAFTON 的 3.1B 端侧模型(有效 1.5B),从它更大的混合专家模型蒸馏而来,支持韩语和英语、工具调用和 262K 上下文。4 位 GGUF 为 2.1 GB,MLX 和 LiteRT-LM 版本约 1.8 GB。采用 Apache 2.0,所有分数都是 KRAFTON 自己的。
-
MiniCPM5-2B
面向手机和笔记本的 2B 稠密模型,上下文 128K,支持工具调用和编程,采用 Apache 2.0,OpenBMB 还公开了训练数据。另有 1B 版本。
-
Ternary Bonsai 2
PrismML 基于 Qwen、使用三值权重并带视觉能力的模型:27B 级模型只有 5.95 GB,2B 模型只有 0.43 GB,采用 Apache 2.0。部分文件格式需要 PrismML 的 llama.cpp 分支。
-
LFM2.5-24B-A2B
24B 的混合专家模型,每个 token 只激活 2.45B 参数,生成速度很快。据我们估算,4 位精度下约需 17 GB,许可证仅在营收低于 1000 万美元时免费。
-
Granite 4.2
IBM 的稠密推理模型家族,有 3B、8B 和 30B 三种规格,可切换思考模式并支持工具调用,采用 Apache 2.0,面向企业使用。
-
Mellum2.1
JetBrains 的 12B 混合专家模型,激活 2.5B 参数,面向编程智能体,采用 Apache 2.0。JetBrains 提供 8.1 GB 的 4 位文件和 7.0 GB 的 MXFP4 文件;它自己的表格显示 Qwen3.5-9B 在 SWE-bench Verified 上领先(50.0 对 47.0)。
-
Olmo 3.1
Ai2 完全开放的 7B 和 32B 模型:权重、训练数据、代码和检查点全部公开,采用 Apache 2.0。据我们估算,7B 在 4 位精度下约需 5 GB。
-
K2 Horizon
IFM 的系列有 7B(4 位 GGUF 为 5.6 GB)、3.7B(3.2 GB)和 0.9B(0.67 GB),采用 Apache 2.0,上下文 512K(0.9B 为 128K),另有 4 位下约需 22 GB 的 36B-A4B。GGUF 文件需要较新的 llama.cpp;在 IFM 自己的表格里,7B 在 SWE-bench Verified 上得 72.4,Qwen3.5-9B 为 50.8。
-
Jais 3
K2 Horizon 面向阿拉伯语的分支,有适合手机和笔记本的 0.9B、3.7B 和 7B 模型(7B 的 4 位 GGUF 为 5.6 GB),以及适合工作站的 36B-A4B。在 IFM 自己的测试里,7B 的阿拉伯语得分为 79.4,Gemma 4 12B 为 76.9。
-
LFM3
Liquid AI 的 2B 级模型家族:1.7B 的文本模型,上下文 256K,约 1 GB 就能装下,另有视觉、音频和全模态的兄弟模型。许可证仅在营收低于 1000 万美元时免费。
-
MiniCPM-V 4.7
OpenBMB 的图像和视频视觉语言模型:可在手机上运行的 1B 模型,以及激活 3B 的 35B 混合专家模型。Apache 2.0。
-
MiniCPM-o 4.5
OpenBMB 的 9B 实时视频和语音对话模型,有 8.5 GB 的 AWQ int4 版本,llama.cpp-omni 需要 12 GB 显存的 GPU,也支持 Apple 芯片。语音为中英文。
-
Mage-VL
微软的 4B 视觉语言模型,支持图像、长视频和直播流,采用 Apache 2.0。它像编解码器那样读视频,视觉 token 减少 75% 以上,微软的表格显示它在多数视频测试上领先于 Qwen3-VL-4B。据我们估算,4 位精度下约需 3 GB。
我们如何筛选
- 最小的版本大约在 16 GB 以内的内存中运行,或者每个 token 只激活少量参数。
- 许可证允许大多数个人和小公司使用;不允许的地方,条目中会注明。
- 权重现已在 Hugging Face 上提供,并受到常见本地工具的支持。