Giga-Embeddings

Sber 的 MIT 许可证俄语和英语文本嵌入模型,有 480M、3B 和 10B 混合专家三种规格。

一句话概括. Giga-Embeddings 把俄语和英语文本变成数字向量,搜索系统可以拿这些向量做比较,从而找到和问题意思相同的段落。它有 480M 的小版本、3B 版本和 10B 混合专家版本,全部在 MIT 许可证下免费使用。

概述

Giga-Embeddings-instruct 是 Sber 的 GigaChat 团队推出的文本嵌入系列,针对俄语和英语调优。0826 这一代有三个模型。480M 模型采用 Qwen3 风格的架构,28 层,向量为 1024 维;3B 模型有 36 层,向量为 2048 维;10B 模型是 DeepSeek-V3 风格的混合专家模型,激活 1.8B 参数,使用多头潜在注意力和 64 个路由专家,每个词元用其中 4 个,另有 1 个共享专家。三者都把语言模型的注意力改成双向,采用均值池化再做 L2 归一化,并用对比式 InfoNCE 目标训练。3B 模型在 2026 年 7 月 29 日首次出现在 Hugging Face,另外两个在 2026 年 8 月 10 日。查询需要加一句形如“Instruct: ... Query: ...”的任务指令,文档则原样编码,使用 CLS 或最后一个词元池化会得到错误的结果。

在 Sber 的表格里,480M 模型在 MTEB 俄语上得 70.98,Qwen3-Embedding-0.6B 是 63.64,EmbeddingGemma-300M 是 64.02,FRIDA-820M 是 70.95。Qwen3-Embedding-0.6B 在英语(70.70 对 69.52)、代码(75.41 对 72.87)和多语言(64.33 对 56.97)上领先。3B 模型在俄语上得 74.57,英语 71.93,代码 76.93,多语言 63.9,较早的 3B 模型分别是 74.16、71.07、62.37 和 55.51,10B 混合专家模型分别是 74.99、72.23、78.40 和 65.60。模型卡还列出了在 H100、批大小 16 下的吞吐量,512 个词元时 10B 模型是每秒 112.6k,3B 是 87.9k,Qwen3 Embedding 4B 是 70.1k,Nemotron 8B 是 42.6k,但没有写明单位。这些数字都是开发者自己的。

许可证是 MIT,BF16 文件分别为 0.98 GB、6.31 GB 和 20.96 GB。仓库带有自定义的双向建模代码,所以加载需要 trust_remote_code,模型卡给出了 Sentence Transformers 和 vLLM 的示例。配置文件里 480M 和 3B 模型的位置数是 8192,10B 模型是 262144,但模型卡没有写明上下文长度。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到 480M 模型约 2.2 万次下载,3B 约 2900 次,10B 约 1100 次。

适合做什么

  • 俄语和英语的语义搜索与检索增强生成,许可证宽松(MIT)。
  • 在 Sber 的表格里,小小的 480M 嵌入模型就接近更大的俄语模型。
  • 用 3B 和 10B 模型做代码检索和多语言任务,它们的得分高于旧的 3B 模型。
  • 在 vLLM 中以高吞吐量运行,模型卡对 10B 混合专家模型强调了这一点。

需要注意

  • 查询需要加“Instruct: ... Query: ...”前缀,文档不能加,并且必须使用均值池化加 L2 归一化。
  • 模型卡只记录了俄语和英语,480M 模型在英语、代码和多语言测试上落后于 Qwen3-Embedding-0.6B。
  • 所有分数都来自 Sber 自己,吞吐量表也没有写明单位。
  • 代码需要 trust_remote_code,10B 模型虽然只激活 1.8B 参数,文件却有 21 GB。

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Giga-Embeddings 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
480M (1,024-dimension vectors) BF16 480M 0.98 GB 1.13 GB 笔记本或手机
3B (2,048-dimension vectors) BF16 3.15B 6.31 GB 7.26 GB 笔记本或手机
10B-A1.8B mixture of experts BF16 10.5B 激活 1.8B 21 GB 24 GB 游戏显卡

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

最简短、最宽松的许可证。只要保留版权和许可声明,你几乎可以对模型做任何事。

进一步了解 MIT

延伸阅读

常见问题

Giga-Embeddings 是什么?
Giga-Embeddings 把俄语和英语文本变成数字向量,搜索系统可以拿这些向量做比较,从而找到和问题意思相同的段落。它有 480M 的小版本、3B 版本和 10B 混合专家版本,全部在 MIT 许可证下免费使用。
Giga-Embeddings 可以商用吗?
可以。Giga-Embeddings 采用 MIT 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
Giga-Embeddings 是开源的吗?
Giga-Embeddings 采用 MIT 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 Giga-Embeddings 吗?
可以。最小版本 480M (1,024-dimension vectors) 在 4 位精度下约需 1.13 GB 内存,现代笔记本或中端显卡即可胜任。
Giga-Embeddings 是什么时候发布的?
Giga-Embeddings 由 Sber (GigaChat) 于 2026年7月29日 发布。
Giga-Embeddings 的上下文窗口有多长?
Giga-Embeddings 支持最长 8K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Harrier OSS v1 Microsoft 270M – 27B 32K MIT (宽松) 0.621 GB 笔记本或手机
Qwen3-Embedding Alibaba Qwen 600M – 7.57B 32K Apache 2.0 (宽松) 1.38 GB 笔记本或手机
EmbeddingGemma 2 Google DeepMind 270M – 740M 8K Apache 2.0 (宽松) 0.621 GB 笔记本或手机
BGE-M3 BAAI 568M 8K MIT (宽松) 2.61 GB 笔记本或手机