腾讯 Hy4 preview:7700 亿参数、100 万上下文、Apache 2.0
腾讯 Hy4 preview 是 7700 亿参数的混合专家模型,激活 490 亿,上下文 100 万 token,采用 Apache 2.0,而 Hy3 预览版曾有地域限制。腾讯称它是早期版本。
腾讯于 2026 年 8 月 28 日开源了 Hy4 preview。它是一个 7700 亿参数的混合专家模型,每个 token 激活 490 亿参数,上下文窗口为 100 万 token,也是腾讯迄今发布的最大的开放模型。
有什么新内容
模型共 78 层:第一层是稠密前馈层,其余 77 层是混合专家层,每层有 256 个路由专家和 1 个共享专家,每个 token 激活其中 8 个路由专家。注意力采用 Gated DeepSeek Sparse Attention 并配合 IndexCache(跨层复用稀疏索引),内置的多 token 预测层支持推测解码。模型只接受文本输入。推理默认开启,请求时可以关闭,直接得到回答。
腾讯称 Hy4 preview 是带有已知问题的早期版本:它推理的时间可能超过任务所需,也倾向于过度验证自己的工作。在一次盲测中,163 位腾讯专家对 203 个工程任务的输出打分,它得 2.99(满分 4),GLM 5.3 为 2.92,Kimi K3 为 2.94。这是腾讯自己的评测,基准附录也是图片。
运行它
BF16 检查点约 1.56 TB,FP8 版本约 814 GB。一台装有八张 80 GB 显卡的服务器共 640 GB,连 FP8 权重也放不下。模型卡里的示例命令用 vLLM 或 SGLang 在 8 张显卡上部署 FP8 权重,用内置的预测层做推测解码,并给出了现成的容器镜像名称。腾讯还公开了微调说明,并指向其 AngelSlim 工具包用于量化。
许可证
权重采用 Apache 2.0,没有地域限制、营收上限或托管条款。腾讯在 2026 年 7 月 6 日发布的 Hy3 正式版也采用了同一许可证。2026 年 4 月 23 日的 Hy3 预览版则不同:它的腾讯混元社区许可证(Tencent Hy Community License)不适用于欧盟、英国和韩国。腾讯各个模型的条款依然不统一,7 月 7 日发布的 HunyuanOCR-1.5 采用的是腾讯混元社区许可证,所以请查看每个仓库自己的许可证文件。
为什么重要
腾讯把 Hy4 preview 与 GLM-5.3(753B)和 Kimi K3(2.8T)作了对比。后两者采用 MIT 风格的许可证,对最大的托管业务附加了条件,而 Hy4 preview 的 Apache 2.0 许可证没有这些条件。不过能运行它的团队不多,而且它带有预览标签。对大多数人来说,实际的选择是 Hy3:它有正式版,2950 亿参数、激活 210 亿,上下文 256K,FP8 权重约 300 GB。DeepSeek V4 与 Hy3 对比比较了 Hy3 与 DeepSeek 家族,最佳开源大模型榜单则展示了两者各自的位置。
来源
- Hy4 preview 模型卡(Hugging Face) huggingface.co
- Hy4 preview 仓库(GitHub) github.com
- Tencent open-sources 770B Hy4 preview model(TechNode,2026 年 9 月 4 日) technode.global
- Hy4 preview LICENSE(Apache 2.0) huggingface.co
- Hy3 preview LICENSE(Tencent Hy Community License) huggingface.co
本文涉及的模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Hy4 preview Tencent | 770B 激活 49B | 1M | Apache 2.0 (宽松) | 531 GB GPU 服务器 | |
| Hy3 Tencent | 295B 激活 21B | 256K | Apache 2.0 (宽松) | 204 GB 大内存台式机 | |
| GLM-5.3 Z.ai (Zhipu AI) | 753B 激活 40B | 1M | GLM-5.3 License (附条件) | 520 GB GPU 服务器 | |
| Kimi K3 Moonshot AI | 2.8T 激活 104B | 1M | Kimi K3 License (附条件) | 1.72 TB 多机集群 |