腾讯 Hy4 preview:7700 亿参数、100 万上下文、Apache 2.0

腾讯 Hy4 preview 是 7700 亿参数的混合专家模型,激活 490 亿,上下文 100 万 token,采用 Apache 2.0,而 Hy3 预览版曾有地域限制。腾讯称它是早期版本。

  • 新发布
  • 阅读约 3 分钟
  • 发布于

腾讯于 2026 年 8 月 28 日开源了 Hy4 preview。它是一个 7700 亿参数的混合专家模型,每个 token 激活 490 亿参数,上下文窗口为 100 万 token,也是腾讯迄今发布的最大的开放模型。

有什么新内容

模型共 78 层:第一层是稠密前馈层,其余 77 层是混合专家层,每层有 256 个路由专家和 1 个共享专家,每个 token 激活其中 8 个路由专家。注意力采用 Gated DeepSeek Sparse Attention 并配合 IndexCache(跨层复用稀疏索引),内置的多 token 预测层支持推测解码。模型只接受文本输入。推理默认开启,请求时可以关闭,直接得到回答。

腾讯称 Hy4 preview 是带有已知问题的早期版本:它推理的时间可能超过任务所需,也倾向于过度验证自己的工作。在一次盲测中,163 位腾讯专家对 203 个工程任务的输出打分,它得 2.99(满分 4),GLM 5.3 为 2.92,Kimi K3 为 2.94。这是腾讯自己的评测,基准附录也是图片。

运行它

BF16 检查点约 1.56 TB,FP8 版本约 814 GB。一台装有八张 80 GB 显卡的服务器共 640 GB,连 FP8 权重也放不下。模型卡里的示例命令用 vLLM 或 SGLang 在 8 张显卡上部署 FP8 权重,用内置的预测层做推测解码,并给出了现成的容器镜像名称。腾讯还公开了微调说明,并指向其 AngelSlim 工具包用于量化。

许可证

权重采用 Apache 2.0,没有地域限制、营收上限或托管条款。腾讯在 2026 年 7 月 6 日发布的 Hy3 正式版也采用了同一许可证。2026 年 4 月 23 日的 Hy3 预览版则不同:它的腾讯混元社区许可证(Tencent Hy Community License)不适用于欧盟、英国和韩国。腾讯各个模型的条款依然不统一,7 月 7 日发布的 HunyuanOCR-1.5 采用的是腾讯混元社区许可证,所以请查看每个仓库自己的许可证文件。

为什么重要

腾讯把 Hy4 preview 与 GLM-5.3(753B)和 Kimi K3(2.8T)作了对比。后两者采用 MIT 风格的许可证,对最大的托管业务附加了条件,而 Hy4 preview 的 Apache 2.0 许可证没有这些条件。不过能运行它的团队不多,而且它带有预览标签。对大多数人来说,实际的选择是 Hy3:它有正式版,2950 亿参数、激活 210 亿,上下文 256K,FP8 权重约 300 GB。DeepSeek V4 与 Hy3 对比比较了 Hy3 与 DeepSeek 家族,最佳开源大模型榜单则展示了两者各自的位置。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Hy4 preview Tencent 770B 激活 49B 1M Apache 2.0 (宽松) 531 GB GPU 服务器
Hy3 Tencent 295B 激活 21B 256K Apache 2.0 (宽松) 204 GB 大内存台式机
GLM-5.3 Z.ai (Zhipu AI) 753B 激活 40B 1M GLM-5.3 License (附条件) 520 GB GPU 服务器
Kimi K3 Moonshot AI 2.8T 激活 104B 1M Kimi K3 License (附条件) 1.72 TB 多机集群