EmbeddingGemma 2:把文本、图像、视频和音频放进一个 Apache 2.0 模型

Google DeepMind 的 740M EmbeddingGemma 2 把文本、代码、图像、视频和音频映射到同一个 768 维空间,可在设备端运行,许可证也从 Gemma 许可证改为 Apache 2.0。

  • 新发布
  • 阅读约 3 分钟
  • 发布于

Google DeepMind 于 2026 年 10 月 6 日发布了 EmbeddingGemma 2。这是一个 7.4 亿参数的嵌入模型,把文本、代码、图像、视频和音频放进同一个检索空间,也是第一个采用 Apache 2.0 许可证的 EmbeddingGemma。

有什么新内容

EmbeddingGemma 2 基于 Gemma 4 架构。它把文本(包括源代码)、图像、视频和音频,单独或组合地映射到同一个 768 维向量空间,理解 100 多种语言,上下文窗口为 8192 token。Google 称这足够容纳约 5.5 分钟的音频、29 张图像或 58 个视频帧。因此,一段语音备忘录就能找到一个视频片段,一句话就能找到一张照片。

设计是模块化的。核心是一个 2.7 亿参数的文本和代码模型,只有在需要时才加载 1.7 亿参数的视觉编码器和 3 亿参数的音频编码器,因此参数可选 2.7 亿、4.4 亿、5.7 亿或 7.4 亿。套娃(Matryoshka)训练让你把向量从 768 维缩短到 512、256 或 128 维,存储最多可缩小到六分之一,Google 称缩短到 256 维时质量仍保持良好。文本输入最好加上简短的任务前缀,例如搜索查询前缀。

运行它

BF16 检查点约 1.5 GB。Google 称经过量化后,在 Pixel 11 Pro 手机上,纯文本模型约需 191 MB 内存,完整多模态模型约 567 MB。由于它与 Gemma 4 共用分词器和音频编码器,两者可以一起运行,总内存占用更小,适合设备端使用。

Google 报告其在 MTEB 代码基准上得分 78.68,EmbeddingGemma 1 为 68.76,多语言文本得分基本持平,为 61.36 对 61.15。它还称自己在 10 亿参数以下的多模态嵌入模型中领先。这些都是 Google 自己的结果,所以请在你的数据上测试。

许可证

第一代 EmbeddingGemma 使用 Gemma 许可证。EmbeddingGemma 2 采用 Apache 2.0,没有营收上限、托管条款或地域限制,所以可以用在商业产品或托管服务里,不需要另行签订协议。

为什么重要

现在有三个开放的多模态嵌入模型家族并存。阿里巴巴的 Qwen3-VL-Embedding 覆盖文本、图像、截图和视频,有 2B 和 8B 两种规格;NVIDIA 的 Nemotron 3.5 Embed 覆盖文本和文档页面图像,有 8B 和 1B 两种规格,两者的上下文都是 32K token。Qwen3-Embedding 仍然只支持文本。EmbeddingGemma 2 是其中最小的,也是唯一加入音频的,但它 8192 token 的窗口比其他几个的 32K 都短。

不同模型的向量不能互换,所以选定之后若要更换,就得重建索引。Qwen3-Embedding 与 EmbeddingGemma 2 对比直接比较了这两个模型,如何选择嵌入模型则带你走完整个决策过程。

来源

本文涉及的模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
EmbeddingGemma 2 Google DeepMind 270M – 740M 8K Apache 2.0 (宽松) 0.621 GB 笔记本或手机
Qwen3-VL-Embedding Alibaba Qwen 2.13B – 8.14B 32K Apache 2.0 (宽松) 4.9 GB 笔记本或手机
Nemotron 3.5 Embed NVIDIA 1.55B – 8.38B 32K OpenMDW-1.1 (宽松) 1.46 GB 笔记本或手机
Qwen3-Embedding Alibaba Qwen 600M – 7.57B 32K Apache 2.0 (宽松) 1.38 GB 笔记本或手机
Gemma 4 Google DeepMind 5.1B – 30.7B 256K Apache 2.0 (宽松) 3.52 GB 笔记本或手机