DiffusionGemma
谷歌实验性的 26B MoE 文本扩散模型:并行生成 256 个 token 的块,输出最高快 4 倍,但质量低于 Gemma 4。
一句话概括. DiffusionGemma 写文字的方式和普通聊天模型不同。它不是一个词接一个词地写,而是一次起草 256 个 token 的整块内容,再经过几轮修正,因此在单张 GPU 上回答快得多。谷歌称它是实验性的,答案质量不如标准的 Gemma 4。
概述
谷歌 DeepMind 于 2026 年 6 月 10 日发布 DiffusionGemma,这是一个探索文本扩散的实验性开放模型。它基于 Gemma 4 的 26B A4B 混合专家版本,总参数 252 亿,激活 38 亿,每个 token 从 128 个专家中用 8 个。它能读取文本、图像和视频,不支持音频,输出文本。上下文窗口最长 256K token,并有思考模式。自回归编码器处理并缓存提示,带双向注意力的解码器随后一次对 256 个 token 的块去噪,每次前向传播产生 15 到 20 个 token。
谷歌称,这使专用 GPU 上的生成速度最高快 4 倍,单张 H100 上超过每秒 1000 个 token,GeForce RTX 5090 上超过 700 个,适合行内编辑、快速迭代、代码填充和非线性文本。这些速度数字针对单个加速器上的小批量。谷歌同时说它的整体质量低于标准 Gemma 4,在质量最重要时建议用 Gemma 4。模型卡自己的表格就是证明:MMLU Pro 为 77.6% 对 82.6%,AIME 2026 为 69.1% 对 88.3%,GPQA Diamond 为 73.2% 对 82.3%;不用工具的 HLE 则是 11.0% 对 8.7%。
许可证是 Apache 2.0。BF16 检查点约 52 GB,谷歌称量化版本可装进 18 到 24 GB 显存的消费级 GPU。它可在 Hugging Face Transformers、vLLM 和 MLX 中运行,微调则提到了 Unsloth 和 NVIDIA NeMo。发布时,llama.cpp 的支持仍被描述为即将到来。所有基准数字都是谷歌自己的。
适合做什么
- 行内编辑、快速迭代、代码填充等对速度敏感的交互式工具,在单张 GPU 上运行
- 探索文本扩散的研究者和开发者,模型采用 Apache 2.0
- 用量化版本在高端消费级 GPU 上本地运行,并支持图像和视频输入
需要注意
- 谷歌称它是实验性的,整体质量低于 Gemma 4,例如 AIME 2026 为 69.1% 对 88.3%
- 速度数字针对单 GPU 的小批量,谷歌没有给出大批量部署的数据
- 需要较新的 Transformers 或 vLLM,发布时 llama.cpp 的支持还只是宣布即将到来
- 不支持音频输入,所有基准结果都来自谷歌自己
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 26B A4B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| 26B A4B BF16 | 25.2B 激活 3.8B | 58 GB | 29 GB | 17 GB | 游戏显卡 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。
延伸阅读
常见问题
- DiffusionGemma 是什么?
- DiffusionGemma 写文字的方式和普通聊天模型不同。它不是一个词接一个词地写,而是一次起草 256 个 token 的整块内容,再经过几轮修正,因此在单张 GPU 上回答快得多。谷歌称它是实验性的,答案质量不如标准的 Gemma 4。
- DiffusionGemma 可以商用吗?
- 可以。DiffusionGemma 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
- DiffusionGemma 是开源的吗?
- DiffusionGemma 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
- 我能在自己的电脑上运行 DiffusionGemma 吗?
- 可以,但需要一块好显卡。最小版本 26B A4B 在 4 位精度下约需 17 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
- DiffusionGemma 是什么时候发布的?
- DiffusionGemma 由 Google DeepMind 于 2026年6月10日 发布。
- DiffusionGemma 的上下文窗口有多长?
- DiffusionGemma 支持最长 256K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- Google blog: Introducing DiffusionGemma (10 Jun 2026) blog.google
- DiffusionGemma model card (Google AI for Developers) ai.google.dev
- DiffusionGemma 26B A4B model card (Hugging Face) huggingface.co
- NVIDIA blog: DiffusionGemma for local AI (10 Jun 2026) blogs.nvidia.com
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Qwen3.6 Alibaba Qwen | 27.8B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Nemotron 3.5 Lightning NVIDIA | 31.6B 激活 3B | 1M | OpenMDW-1.1 (宽松) | 22 GB 游戏显卡 | |
| LFM2.5-24B-A2B Liquid AI | 24B 激活 2.45B | 128K | LFM Open 1.0 (附条件) | 17 GB 游戏显卡 |