K2 Horizon

IFM 的完全开放系列:六个 Apache 2.0 模型,从 0.9B 到 375B-A23B,上下文 512K,并公开代码、数据配方和检查点。

一句话概括. K2 Horizon 是阿布扎比 MBZUAI 基础模型研究院(IFM)发布的六个开放模型,从面向边缘设备的 0.9B 到 375B 混合专家旗舰。全部采用 Apache 2.0,最长读取 512K token(最小的是 128K),并附带训练代码、数据或数据配方,以及中间检查点。它们面向推理、编程和智能体任务。

概述

IFM 是穆罕默德·本·扎耶德人工智能大学(MBZUAI)的基础模型研究院,也是 LLM360 背后的团队。它在 2026 年 9 月 3 日发布了 K2 Horizon:六个模型,分别叫 375B-A23B、36B-A4B、32B、7B、3.7B 和 0.9B。0.9B、3.7B、7B 和 32B 是稠密模型,375B-A23B 是稀疏混合专家模型,激活 23B 参数,36B-A4B(约 4B 激活)使用 IFM 新提出的价值注意力混合专家 MoVA,在注意力内部让每个 token 从 64 个价值投影中选 4 个,同时不增加 KV 缓存。IFM 称每个模型大约训练了 20 万亿个 token,预训练语料中近 17% 是带显式推理的解题轨迹,约 10 万亿个 token 是合成数据。除 0.9B 是 131,072 外,其余各规格的上下文窗口都是 524,288 个 token。Hugging Face 上的参数量包含词嵌入,比名字所示更大:7B 实为 9.0B,32B 为 34.8B,36B-A4B 为 37.4B,375B-A23B 为 379.2B。

IFM 称这次发布是完全开放:权重、训练代码、数据或数据配方、每个阶段的中间检查点和训练日志,模型和代码采用 Apache 2.0,数据集沿用各自的许可证,例如 ODC-BY。模型卡(最后更新于 2026 年 10 月 1 日)仍把技术报告列为进行中,原定 2026 年 9 月底发布,我们没有找到。在 IFM 的表格里,375B-A23B 的 Terminal-Bench 2.1 得 70.2(Nemotron 3 Ultra 为 53.9,MiniMax-M3 为 65.2,GLM 5.2 为 77.9),BrowseComp 得 72.8(Inkling 为 77.1,MiniMax-M3 为 83.5),GPQA Diamond 得 87.3(MiniMax-M3 为 92.9)。36B-A4B 的 Terminal-Bench 2.1 得 58.6,Qwen3.6-35B-A3B 为 44.9,Muse Glimmer-30B 为 51.7,但它在 GPQA Diamond 上落后于它们。32B 在自己的表格里落后于 Qwen3.8-27B:Terminal-Bench 2.1 为 62.6 对 79.8,tau3-Banking 为 24.1 对 48.0;7B 在 SWE-bench Verified 上报告 72.4,Qwen3.5-9B 为 50.8。所有分数都是 IFM 自己的。

BF16 文件大小:375B 为 758.3 GB,36B-A4B 为 74.9 GB,32B 为 69.6 GB,7B 为 18.0 GB,3.7B 为 10.1 GB,0.9B 为 2.2 GB。IFM 还发布了 375B 的 FP8(390.5 GB)和 NVFP4 版本,以及其余各规格的 GGUF 文件,Q4_K_M 的大小分别为:36B-A4B 22.4 GB,32B 21.1 GB,7B 5.6 GB,3.7B 3.2 GB,0.9B 0.67 GB。GGUF 模型卡说明需要支持 K2 Horizon 的 llama.cpp 版本,即 b11454 或更高。vLLM 和 SGLang 命令需要 trust_remote_code,并使用 K2 Horizon 的推理和工具调用解析器,IFM 建议使用高推理强度、温度 1.0、top-p 0.95,以及至少 32,768 个输出 token。7B 和 0.9B 还发布了 Uno,这是一个用扩散蒸馏训练的 LoRA 适配器,IFM 称可把生成速度提高约三倍。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到 7B 约 5.47 万次下载,3.7B 约 1.71 万次,36B-A4B 约 1.49 万次,375B 约 1.01 万次。

适合做什么

  • 想要一个强大的开放模型,并连同训练代码、数据配方、检查点和日志一起拿到的研究者和团队,用来复现或改造推理和智能体训练
  • 长上下文智能体,因为除 0.9B 外各规格都能处理 512K token
  • 在工作站上运行本地编程智能体,用 4 位的 36B-A4B(22.4 GB)或 5.6 GB 的 7B
  • 在同一个共享架构、词表和工具链的家族里先用小模型做原型,再扩展到大模型

需要注意

  • 所有分数都是 IFM 自己的,在 IFM 的表格里,Qwen3.8-27B 在 Terminal-Bench 2.1、tau3-Banking 和 GPQA Diamond 上都明显领先 32B
  • 我们查看时还没有技术报告,尽管 IFM 的模型卡承诺在 2026 年 9 月底前发布
  • 375B 在 BF16 下需要 8 卡节点,加载需要 trust_remote_code 和 IFM 的解析器,GGUF 文件需要较新的 llama.cpp
  • 数据集沿用各自的许可证,其中一部分只给出配方而没有重新分发
  • 只处理文字

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 0.9B (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
0.9B (BF16) BF16 1.08B 2.48 GB 1.24 GB 0.745 GB 笔记本或手机
3.7B (BF16) BF16 5.06B 12 GB 5.82 GB 3.49 GB 笔记本或手机
7B (BF16) BF16 9B 21 GB 10 GB 6.21 GB 笔记本或手机
7B GGUF Q4_K_M INT4 9B 21 GB 10 GB 6.16 GB 笔记本或手机
32B (BF16) BF16 34.8B 80 GB 40 GB 24 GB 游戏显卡
MoVA-36B-A4B (BF16) BF16 37.4B 激活 4B 86 GB 43 GB 26 GB 游戏显卡
MoVA-36B-A4B GGUF Q4_K_M INT4 37.4B 激活 4B 86 GB 43 GB 25 GB 游戏显卡
375B-A23B (BF16) BF16 379B 激活 23B 872 GB 436 GB 262 GB 大内存台式机
375B-A23B (FP8) FP8 379B 激活 23B 872 GB 436 GB 262 GB 大内存台式机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

K2 Horizon 是什么?
K2 Horizon 是阿布扎比 MBZUAI 基础模型研究院(IFM)发布的六个开放模型,从面向边缘设备的 0.9B 到 375B 混合专家旗舰。全部采用 Apache 2.0,最长读取 512K token(最小的是 128K),并附带训练代码、数据或数据配方,以及中间检查点。它们面向推理、编程和智能体任务。
K2 Horizon 可以商用吗?
可以。K2 Horizon 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
K2 Horizon 是开源的吗?
K2 Horizon 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 K2 Horizon 吗?
可以。最小版本 0.9B (BF16) 在 4 位精度下约需 0.745 GB 内存,现代笔记本或中端显卡即可胜任。
K2 Horizon 是什么时候发布的?
K2 Horizon 由 Institute of Foundation Models (MBZUAI) 于 2026年9月3日 发布。
K2 Horizon 的上下文窗口有多长?
K2 Horizon 支持最长 512K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Jais 3 Institute of Foundation Models (MBZUAI) 1.08B – 379B 激活 23B 512K Apache 2.0 (宽松) 0.745 GB 笔记本或手机
Nemotron 3 Ultra NVIDIA 550B 激活 55B 1M OpenMDW-1.1 (宽松) 379 GB 大内存台式机
MiniMax M3 MiniMax 428B 激活 23B 1M MiniMax Community (附条件) 295 GB 大内存台式机
Qwen3.8-27B Alibaba Qwen 27.8B 256K Apache 2.0 (宽松) 19 GB 游戏显卡