Hy4 preview
腾讯 7700 亿参数 MoE 预览版,490 亿激活,百万上下文,稀疏注意力,Apache 2.0 许可证;仍是早期版本,话比较多。
一句话概括. Hy4 preview 是腾讯迄今最大的开放模型,也是下一代的早期版本。它能读取最长一百万 token,面向编程、办公和科研。腾讯自己也承认,它还会想得太久、检查得太多,并且需要大型多卡服务器。
概述
腾讯在 2026 年 8 月 28 日的公告中开源了 Hy4 preview。它是混合专家模型,总参数 7700 亿,每个 token 激活 490 亿,共 78 层:第一层是稠密前馈块,其余 77 层是混合专家层,每层有 256 个路由专家和 1 个共享专家,每个 token 激活其中 8 个路由专家。注意力采用 Gated DeepSeek Sparse Attention 并配合 IndexCache(跨层复用稀疏索引),残差通路使用 identity Hyper-Connections。另有一个独立的多 token 预测层用于推测解码。上下文窗口 100 万 token,只接受文本输入。
腾讯称这是带有已知问题的早期版本:处理复杂任务时可能推理得比需要的更久,也倾向于过度验证自己的工作。在一次盲测中,163 位腾讯专家对 203 个工程任务的输出打分,Hy4 preview 得 2.99(满分 4),GLM 5.3 为 2.92(胜 46.8%、平 12.8%、负 40.4%),Kimi K3 为 2.94(胜 51.2%、平 7.9%、负 40.9%)。这是腾讯自己的内部评测,基准附录是图片。
权重采用 Apache 2.0。BF16 检查点约 1.56 TB,FP8 版本约 814 GB,超过八张 80 GB 显卡能容纳的量,所以需要大型多卡集群。仓库中记录了用 vLLM 和 SGLang 部署、微调,以及用腾讯 AngelSlim 工具包量化的方法。想要体量更小且已是正式版的腾讯模型,请看 Hy3。
适合做什么
- 在宽松许可证下研究超大稀疏注意力 MoE 模型
- 在大型多卡集群上做编程、办公和长上下文工作
- 想把 100 万 token 的开放模型与 GLM 5.3 和 Kimi K3 对比测试的团队
- 利用腾讯公开的指导做微调和量化
需要注意
- 它标注为预览版,腾讯把推理过度和过度验证列为已知问题
- 仅 FP8 权重就约 814 GB,单台 8 卡 80 GB 服务器放不下
- 专家对比是腾讯自己做的,只覆盖部分工程任务
- 它是纯文本模型,不支持图像输入
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 Hy4 preview (BF16) 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| Hy4 preview (BF16) BF16 | 770B 激活 49B | 1.77 TB | 885 GB | 531 GB | GPU 服务器 |
| Hy4 preview-FP8 FP8 | 770B 激活 49B | 1.77 TB | 885 GB | 531 GB | GPU 服务器 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- Hy4 preview 是什么?
- Hy4 preview 是腾讯迄今最大的开放模型,也是下一代的早期版本。它能读取最长一百万 token,面向编程、办公和科研。腾讯自己也承认,它还会想得太久、检查得太多,并且需要大型多卡服务器。
- Hy4 preview 可以商用吗?
- 可以。Hy4 preview 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- Hy4 preview 是开源的吗?
- Hy4 preview 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 Hy4 preview 吗?
- 台式机不行。最小版本 Hy4 preview (BF16) 在 4 位精度下约需 531 GB,需要配备多张数据中心显卡的 GPU 服务器。
- Hy4 preview 是什么时候发布的?
- Hy4 preview 由 Tencent 于 2026年8月28日 发布。
- Hy4 preview 的上下文窗口有多长?
- Hy4 preview 支持最长 1M token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Hy4 preview model card (Hugging Face) huggingface.co
- Hy4 preview repository (GitHub) github.com
- Tencent open-sources 770B Hy4 preview model (TechNode, 4 Sep 2026) technode.global
- Hy4 preview LICENSE (Apache 2.0) huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Hy3 Tencent | 295B 激活 21B | 256K | Apache 2.0 (宽松) | 204 GB 大内存台式机 | |
| GLM-5.3 Z.ai (Zhipu AI) | 753B 激活 40B | 1M | GLM-5.3 License (附条件) | 520 GB GPU 服务器 | |
| Kimi K3 Moonshot AI | 2.8T 激活 104B | 1M | Kimi K3 License (附条件) | 1.72 TB 多机集群 | |
| DeepSeek V4 DeepSeek | 284B – 1.6T 激活 49B | 1M | MIT (宽松) | 176 GB 大内存台式机 |