DiffusionGemma

谷歌实验性的 26B MoE 文本扩散模型:并行生成 256 个 token 的块,输出最高快 4 倍,但质量低于 Gemma 4。

一句话概括. DiffusionGemma 写文字的方式和普通聊天模型不同。它不是一个词接一个词地写,而是一次起草 256 个 token 的整块内容,再经过几轮修正,因此在单张 GPU 上回答快得多。谷歌称它是实验性的,答案质量不如标准的 Gemma 4。

概述

谷歌 DeepMind 于 2026 年 6 月 10 日发布 DiffusionGemma,这是一个探索文本扩散的实验性开放模型。它基于 Gemma 4 的 26B A4B 混合专家版本,总参数 252 亿,激活 38 亿,每个 token 从 128 个专家中用 8 个。它能读取文本、图像和视频,不支持音频,输出文本。上下文窗口最长 256K token,并有思考模式。自回归编码器处理并缓存提示,带双向注意力的解码器随后一次对 256 个 token 的块去噪,每次前向传播产生 15 到 20 个 token。

谷歌称,这使专用 GPU 上的生成速度最高快 4 倍,单张 H100 上超过每秒 1000 个 token,GeForce RTX 5090 上超过 700 个,适合行内编辑、快速迭代、代码填充和非线性文本。这些速度数字针对单个加速器上的小批量。谷歌同时说它的整体质量低于标准 Gemma 4,在质量最重要时建议用 Gemma 4。模型卡自己的表格就是证明:MMLU Pro 为 77.6% 对 82.6%,AIME 2026 为 69.1% 对 88.3%,GPQA Diamond 为 73.2% 对 82.3%;不用工具的 HLE 则是 11.0% 对 8.7%。

许可证是 Apache 2.0。BF16 检查点约 52 GB,谷歌称量化版本可装进 18 到 24 GB 显存的消费级 GPU。它可在 Hugging Face Transformers、vLLM 和 MLX 中运行,微调则提到了 Unsloth 和 NVIDIA NeMo。发布时,llama.cpp 的支持仍被描述为即将到来。所有基准数字都是谷歌自己的。

适合做什么

  • 行内编辑、快速迭代、代码填充等对速度敏感的交互式工具,在单张 GPU 上运行
  • 探索文本扩散的研究者和开发者,模型采用 Apache 2.0
  • 用量化版本在高端消费级 GPU 上本地运行,并支持图像和视频输入

需要注意

  • 谷歌称它是实验性的,整体质量低于 Gemma 4,例如 AIME 2026 为 69.1% 对 88.3%
  • 速度数字针对单 GPU 的小批量,谷歌没有给出大批量部署的数据
  • 需要较新的 Transformers 或 vLLM,发布时 llama.cpp 的支持还只是宣布即将到来
  • 不支持音频输入,所有基准结果都来自谷歌自己

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 26B A4B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
26B A4B BF16 25.2B 激活 3.8B 58 GB 29 GB 17 GB 游戏显卡

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

延伸阅读

常见问题

DiffusionGemma 是什么?
DiffusionGemma 写文字的方式和普通聊天模型不同。它不是一个词接一个词地写,而是一次起草 256 个 token 的整块内容,再经过几轮修正,因此在单张 GPU 上回答快得多。谷歌称它是实验性的,答案质量不如标准的 Gemma 4。
DiffusionGemma 可以商用吗?
可以。DiffusionGemma 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
DiffusionGemma 是开源的吗?
DiffusionGemma 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 DiffusionGemma 吗?
可以,但需要一块好显卡。最小版本 26B A4B 在 4 位精度下约需 17 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
DiffusionGemma 是什么时候发布的?
DiffusionGemma 由 Google DeepMind 于 2026年6月10日 发布。
DiffusionGemma 的上下文窗口有多长?
DiffusionGemma 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机
Qwen3.6 Alibaba Qwen 27.8B – 36B 激活 3B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
Nemotron 3.5 Lightning NVIDIA 31.6B 激活 3B 1M OpenMDW-1.1 (宽松) 22 GB 游戏显卡
LFM2.5-24B-A2B Liquid AI 24B 激活 2.45B 128K LFM Open 1.0 (附条件) 17 GB 游戏显卡