Hy4 preview

腾讯 7700 亿参数 MoE 预览版,490 亿激活,百万上下文,稀疏注意力,Apache 2.0 许可证;仍是早期版本,话比较多。

一句话概括. Hy4 preview 是腾讯迄今最大的开放模型,也是下一代的早期版本。它能读取最长一百万 token,面向编程、办公和科研。腾讯自己也承认,它还会想得太久、检查得太多,并且需要大型多卡服务器。

概述

腾讯在 2026 年 8 月 28 日的公告中开源了 Hy4 preview。它是混合专家模型,总参数 7700 亿,每个 token 激活 490 亿,共 78 层:第一层是稠密前馈块,其余 77 层是混合专家层,每层有 256 个路由专家和 1 个共享专家,每个 token 激活其中 8 个路由专家。注意力采用 Gated DeepSeek Sparse Attention 并配合 IndexCache(跨层复用稀疏索引),残差通路使用 identity Hyper-Connections。另有一个独立的多 token 预测层用于推测解码。上下文窗口 100 万 token,只接受文本输入。

腾讯称这是带有已知问题的早期版本:处理复杂任务时可能推理得比需要的更久,也倾向于过度验证自己的工作。在一次盲测中,163 位腾讯专家对 203 个工程任务的输出打分,Hy4 preview 得 2.99(满分 4),GLM 5.3 为 2.92(胜 46.8%、平 12.8%、负 40.4%),Kimi K3 为 2.94(胜 51.2%、平 7.9%、负 40.9%)。这是腾讯自己的内部评测,基准附录是图片。

权重采用 Apache 2.0。BF16 检查点约 1.56 TB,FP8 版本约 814 GB,超过八张 80 GB 显卡能容纳的量,所以需要大型多卡集群。仓库中记录了用 vLLM 和 SGLang 部署、微调,以及用腾讯 AngelSlim 工具包量化的方法。想要体量更小且已是正式版的腾讯模型,请看 Hy3。

适合做什么

  • 在宽松许可证下研究超大稀疏注意力 MoE 模型
  • 在大型多卡集群上做编程、办公和长上下文工作
  • 想把 100 万 token 的开放模型与 GLM 5.3 和 Kimi K3 对比测试的团队
  • 利用腾讯公开的指导做微调和量化

需要注意

  • 它标注为预览版,腾讯把推理过度和过度验证列为已知问题
  • 仅 FP8 权重就约 814 GB,单台 8 卡 80 GB 服务器放不下
  • 专家对比是腾讯自己做的,只覆盖部分工程任务
  • 它是纯文本模型,不支持图像输入

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 Hy4 preview (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
Hy4 preview (BF16) BF16 770B 激活 49B 1.77 TB 885 GB 531 GB GPU 服务器
Hy4 preview-FP8 FP8 770B 激活 49B 1.77 TB 885 GB 531 GB GPU 服务器

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

Hy4 preview 是什么?
Hy4 preview 是腾讯迄今最大的开放模型,也是下一代的早期版本。它能读取最长一百万 token,面向编程、办公和科研。腾讯自己也承认,它还会想得太久、检查得太多,并且需要大型多卡服务器。
Hy4 preview 可以商用吗?
可以。Hy4 preview 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Hy4 preview 是开源的吗?
Hy4 preview 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Hy4 preview 吗?
台式机不行。最小版本 Hy4 preview (BF16) 在 4 位精度下约需 531 GB,需要配备多张数据中心显卡的 GPU 服务器。
Hy4 preview 是什么时候发布的?
Hy4 preview 由 Tencent 于 2026年8月28日 发布。
Hy4 preview 的上下文窗口有多长?
Hy4 preview 支持最长 1M token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Hy3 Tencent 295B 激活 21B 256K Apache 2.0 (宽松) 204 GB 大内存台式机
GLM-5.3 Z.ai (Zhipu AI) 753B 激活 40B 1M GLM-5.3 License (附条件) 520 GB GPU 服务器
Kimi K3 Moonshot AI 2.8T 激活 104B 1M Kimi K3 License (附条件) 1.72 TB 多机集群
DeepSeek V4 DeepSeek 284B – 1.6T 激活 49B 1M MIT (宽松) 176 GB 大内存台式机