笔记本就能运行的最佳小型开源模型

运行一个不错的开放模型并不需要服务器。这些模型只需 16 到 32 GB 甚至更少的内存,涵盖聊天、推理、编程和视觉。内存数字是我们对最小版本在 4 位精度下的估算;以更低位数发布的模型,则直接给出文件大小。

  • 榜单更新于 2026年11月11日
  1. Gemma 4

    Google 的 Apache 2.0 家族几乎覆盖任何机器:手机级的 E2B 和 E4B、12B、激活 3.8B 的 26B 混合专家模型,以及 31B 旗舰。据我们估算,最小的版本在 4 位精度下约需 3.5 GB。

    • Google DeepMind
    • 30.7B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 3.52 GB 起
  2. gpt-oss

    OpenAI 的 Apache 2.0 推理模型的 21B 版本,每个 token 只激活 3.6B 参数,因此能放进 16 GB 内存的机器。它发布于 2025 年,但几乎所有本地工具都支持它。

    • OpenAI
    • 117B (激活 5.1B)
    • 128K token
    • Apache 2.0 (宽松)
    • 约 15 GB 起
  3. Qwen3.5

    阿里巴巴的 Apache 2.0 家族除大型号外,还有 0.8B、2B、4B 和 9B 几种小型号,都支持图像和视频输入,上下文 256K。据我们估算,4 位精度下 0.8B 约需 0.6 GB,9B 约需 7 GB。

    • Alibaba Qwen
    • 403B (激活 17B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 0.602 GB 起
  4. Qwen3.6

    每个 token 只激活 3B 的 35B 混合专家模型,以及 27B 稠密模型,都采用 Apache 2.0,并针对智能体编程做了调优。据我们估算,4 位精度下分别约需 25 GB 和 19 GB,适合 32 GB 内存的机器。

    • Alibaba Qwen
    • 36B (激活 3B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 19 GB 起
  5. Laguna XS 2.1

    Poolside 的 33B 编程模型,每个 token 只激活 3B 参数。官方 Q4_K_M 文件为 20.3 GB,模型卡说 36 GB 内存的 Mac 可以运行,但它提醒过 llama.cpp、vLLM 和 Ollama 的不完善之处,所以请先确认当前状态。

    • Poolside
    • 33.4B (激活 3B)
    • 256K token
    • OpenMDW-1.1 (宽松)
    • 约 22 GB 起
  6. GLM-4.7-Flash

    Z.ai 的 MIT 许可证 30B 混合专家模型,每个 token 激活 3B 参数。官方权重只有 62.5 GB 的 BF16,请在 32 GB 内存的 Mac 或 24 GB 显卡上运行社区的 4 位版本,据我们估算约需 22 GB。

    • Z.ai (Zhipu AI)
    • 31.2B (激活 3B)
    • 198K token
    • MIT (宽松)
    • 约 22 GB 起
  7. Raon-1 mini preview

    KRAFTON 的 28.8B 混合专家模型,每个 token 只激活 4.3B 参数,为韩语对话和智能体从零训练。据我们估算,4 位精度下约需 18 GB,17.6 GB 的 NVFP4 版本可放进一块 32 GB GPU。采用 Apache 2.0,模型卡称它是预览版。

    • KRAFTON
    • 28.8B (激活 4.3B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 18 GB 起
  8. Nemotron 3 Nano 4B

    NVIDIA 的 4B Mamba-Transformer 混合模型,由 Nano 9B v2 压缩而来,推理模式可切换,面向 RTX 电脑和 Jetson 开发板。据我们估算,4 位精度下需要不到 3 GB。

    • NVIDIA
    • 3.97B
    • 256K token
    • NVIDIA Nemotron (宽松)
    • 约 2.74 GB 起
  9. GigaChat 3.1 Lightning

    Sber 的 MIT 许可证 10B 混合专家模型,激活 1.8B 参数,俄语表现强。FP8 文件为 12.3 GB,Q4_K_M GGUF 为 6.5 GB,但全部 10B 参数仍需放进内存。

    • Sber (GigaChat)
    • 11.5B (激活 1.8B)
    • 256K token
    • MIT (宽松)
    • 约 7.15 GB 起
  10. Dory 1.0

    NVIDIA 的 4B 循环模型:可以选择让它的共享模块运行一到四次,用同一个检查点在速度和质量之间取舍。BF16 约 8 GB,NVFP4 约 3.2 GB,另有 3.7 GB 的 GGUF,OpenMDW-1.1 允许商用。

    • NVIDIA
    • 4B
    • 256K token
    • OpenMDW-1.1 (宽松)
    • 约 2.76 GB 起
  11. Nanbeige4.2-3B

    BOSS 直聘的 3B 级智能体模型(含嵌入共 41.7 亿参数),采用 Apache 2.0,上下文 256K。它自己的表格里 SWE-bench Verified 得分 63.6,Qwen3.5-9B 为 53.1,但需要 Nanbeige 自己的 vLLM、SGLang 或 llama.cpp 分支。据我们估算,4 位精度下约需 3 GB。

    • Nanbeige LLM Lab
    • 4.17B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 2.88 GB 起
  12. S5-nano

    Maritaca AI 基于 Qwen3.5-4B、面向巴西葡萄牙语的 4B 模型,有 Think 和 Instruct 两种模式,支持工具调用和 256K 上下文,采用 Apache 2.0。Q4_K_M 的 GGUF 为 2.8 GB,基准分数是 Maritaca 自己的。

    • Maritaca AI
    • 4.66B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 3.08 GB 起
  13. Spark-X2.6

    TokenSpark 的 1.7B 和 4B 模型,采用 Apache 2.0,可切换思考模式,位置上限 100 万 token,不过这么长的上下文需要很多内存。4B 的 INT4 版是 3.41 GB,其 GGUF 仓库在截至 2026 年 11 月 11 日的 30 天内约有 66 万次下载。基准测试图表是 TokenSpark 自己发布的。

    • TokenSpark (SparkLLM)
    • 4.11B
    • 1M token
    • Apache 2.0 (宽松)
    • 约 1.18 GB 起
  14. Raon-1 nano

    KRAFTON 的 3.1B 端侧模型(有效 1.5B),从它更大的混合专家模型蒸馏而来,支持韩语和英语、工具调用和 262K 上下文。4 位 GGUF 为 2.1 GB,MLX 和 LiteRT-LM 版本约 1.8 GB。采用 Apache 2.0,所有分数都是 KRAFTON 自己的。

    • KRAFTON
    • 3.1B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 1.98 GB 起
  15. MiniCPM5-2B

    面向手机和笔记本的 2B 稠密模型,上下文 128K,支持工具调用和编程,采用 Apache 2.0,OpenBMB 还公开了训练数据。另有 1B 版本。

    • OpenBMB
    • 2.52B
    • 128K token
    • Apache 2.0 (宽松)
    • 约 0.745 GB 起
  16. Ternary Bonsai 2

    PrismML 基于 Qwen、使用三值权重并带视觉能力的模型:27B 级模型只有 5.95 GB,2B 模型只有 0.43 GB,采用 Apache 2.0。部分文件格式需要 PrismML 的 llama.cpp 分支。

    • PrismML
    • 27.4B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 0.473 GB 起
  17. LFM2.5-24B-A2B

    24B 的混合专家模型,每个 token 只激活 2.45B 参数,生成速度很快。据我们估算,4 位精度下约需 17 GB,许可证仅在营收低于 1000 万美元时免费。

    • Liquid AI
    • 24B (激活 2.45B)
    • 128K token
    • LFM Open 1.0 (附条件)
    • 约 17 GB 起
  18. Granite 4.2

    IBM 的稠密推理模型家族,有 3B、8B 和 30B 三种规格,可切换思考模式并支持工具调用,采用 Apache 2.0,面向企业使用。

    • IBM
    • 29.3B
    • 128K token
    • Apache 2.0 (宽松)
    • 约 2.55 GB 起
  19. Mellum2.1

    JetBrains 的 12B 混合专家模型,激活 2.5B 参数,面向编程智能体,采用 Apache 2.0。JetBrains 提供 8.1 GB 的 4 位文件和 7.0 GB 的 MXFP4 文件;它自己的表格显示 Qwen3.5-9B 在 SWE-bench Verified 上领先(50.0 对 47.0)。

    • JetBrains
    • 12.2B (激活 2.5B)
    • 128K token
    • Apache 2.0 (宽松)
    • 约 7.7 GB 起
  20. Olmo 3.1

    Ai2 完全开放的 7B 和 32B 模型:权重、训练数据、代码和检查点全部公开,采用 Apache 2.0。据我们估算,7B 在 4 位精度下约需 5 GB。

    • Allen Institute for AI (Ai2)
    • 32.2B
    • 64K token
    • Apache 2.0 (宽松)
    • 约 5.04 GB 起
  21. K2 Horizon

    IFM 的系列有 7B(4 位 GGUF 为 5.6 GB)、3.7B(3.2 GB)和 0.9B(0.67 GB),采用 Apache 2.0,上下文 512K(0.9B 为 128K),另有 4 位下约需 22 GB 的 36B-A4B。GGUF 文件需要较新的 llama.cpp;在 IFM 自己的表格里,7B 在 SWE-bench Verified 上得 72.4,Qwen3.5-9B 为 50.8。

    • Institute of Foundation Models (MBZUAI)
    • 379B (激活 23B)
    • 512K token
    • Apache 2.0 (宽松)
    • 约 0.745 GB 起
  22. Jais 3

    K2 Horizon 面向阿拉伯语的分支,有适合手机和笔记本的 0.9B、3.7B 和 7B 模型(7B 的 4 位 GGUF 为 5.6 GB),以及适合工作站的 36B-A4B。在 IFM 自己的测试里,7B 的阿拉伯语得分为 79.4,Gemma 4 12B 为 76.9。

    • Institute of Foundation Models (MBZUAI)
    • 379B (激活 23B)
    • 512K token
    • Apache 2.0 (宽松)
    • 约 0.745 GB 起
  23. LFM3

    Liquid AI 的 2B 级模型家族:1.7B 的文本模型,上下文 256K,约 1 GB 就能装下,另有视觉、音频和全模态的兄弟模型。许可证仅在营收低于 1000 万美元时免费。

    • Liquid AI
    • 2.17B
    • 256K token
    • LFM Open 1.0 (附条件)
    • 约 1.19 GB 起
  24. MiniCPM-V 4.7

    OpenBMB 的图像和视频视觉语言模型:可在手机上运行的 1B 模型,以及激活 3B 的 35B 混合专家模型。Apache 2.0。

    • OpenBMB
    • 35.2B (激活 3B)
    • 256K token
    • Apache 2.0 (宽松)
    • 约 1.07 GB 起
  25. MiniCPM-o 4.5

    OpenBMB 的 9B 实时视频和语音对话模型,有 8.5 GB 的 AWQ int4 版本,llama.cpp-omni 需要 12 GB 显存的 GPU,也支持 Apple 芯片。语音为中英文。

    • OpenBMB
    • 9.37B
    • 40K token
    • Apache 2.0 (宽松)
    • 约 11 GB 起
  26. Mage-VL

    微软的 4B 视觉语言模型,支持图像、长视频和直播流,采用 Apache 2.0。它像编解码器那样读视频,视觉 token 减少 75% 以上,微软的表格显示它在多数视频测试上领先于 Qwen3-VL-4B。据我们估算,4 位精度下约需 3 GB。

    • Microsoft
    • 4.74B
    • 256K token
    • Apache 2.0 (宽松)
    • 约 3.27 GB 起

我们如何筛选

  • 最小的版本大约在 16 GB 以内的内存中运行,或者每个 token 只激活少量参数。
  • 许可证允许大多数个人和小公司使用;不允许的地方,条目中会注明。
  • 权重现已在 Hugging Face 上提供,并受到常见本地工具的支持。