Jina Embeddings v5 Omni
Jina AI 的非商业嵌入模型,把文本、图像、视频和音频放进同一个空间,有 small 和 nano 两种规格。
一句话概括. Jina Embeddings v5 Omni 把文本、图片、视频片段和音频录音变成同一个空间里的数字向量,所以一个文本问题可以找到匹配的图片、扫描件、片段或录音。它有 small 和 nano 两种规格,只能免费用于非商业用途。
概述
Jina Embeddings v5 Omni 是一对多模态嵌入模型,分为 small 和 nano,把 Jina 的 v5 文本模型扩展到了图像、视频和音频。Jina 在 arXiv 2605.08384 中介绍了这一名为 GELATO 的方法,论文提交于 2026 年 5 月 8 日,并于 2026 年 5 月 11 日与 Elastic(Jina AI 现在属于 Elastic)一起宣布了这些模型。文本主干和新增的编码器都保持冻结,只训练了连接它们的投影层,据论文,约占联合模型权重的 0.35%,因此文本嵌入与 jina-embeddings-v5-text-small 和 -nano 完全相同,已有的文本索引不必重建。图像和视频编码器是取自 Qwen3.5 模型的 SigLIP2 编码器,small 用的是取自 Qwen3.5-2B 的 So400m 版本,nano 用的是取自 Qwen3.5-0.8B 的 Base 版本,两个模型的音频编码器都是从 Qwen2.5-Omni-7B 中提取的 Whisper large v3 编码器。每个模型都有检索、分类、聚类和文本匹配四个任务适配器。
small 的向量是 1024 维,输入最长 32768 个 token,nano 是 768 维、8192 个 token,两者都可以通过套娃(Matryoshka)截断缩短到 32 维。图像会缩放到 262144 到 3072000 像素之间,并切成 28 乘 28 的图块,视频最多均匀抽取 32 帧,音频切成 30 秒的片段,每段 750 个 token,所以长视频会丢掉大部分细节,Jina 也说短片段效果最好。Jina 称 small 在接近 10 亿参数的模型里图像基准得分最高,nano 在视觉文档检索上击败了大 10 到 60 倍的模型,在视频片段定位上 small 在 Charades-STA 得 55.57,在 MomentSeeker 得 58.93,字节跳动闭源的 Seed 1.6 嵌入模型分别是 29.30 和 59.30。这些都是 Jina 自己的结果,大多以图表呈现。Jina 把根据描述查找特定视频、图像到图像的相似度、语音意图分类和混合媒体输入列为仍在改进的方面。
许可证是 CC BY-NC 4.0,博客称商业使用需要向 Elastic 销售团队申请许可,模型卡则让你联系 Jina。BF16 权重 small 为 3.25 GB,nano 为 1.97 GB,每个适配器另有约 40 MB 和 14 MB,加载时可以只加载文本、视觉或音频部分以节省内存。加载需要 trust_remote_code、Transformers 4.57 或更高版本和 PyTorch 2.5 或更高版本,vLLM 0.20.1 是验证过的部署方式,Jina 还发布了按任务预先合并的仓库以及 GGUF 和 MLX 版本。查询和文档分别使用“Query: ”和“Document: ”前缀,池化方式是最后一个 token。各来源对大小的说法不一,博客称 small 为 1.66B,模型卡约 1.74B,Hugging Face 统计为 1.63B。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到 small 仓库约 101 万次下载,其预合并检索版本约 4.8 万次,nano 约 6700 次。
适合做什么
- 用一个索引容纳文本、图像、扫描页面、视频片段和音频,用多种语言的文本查询来搜索
- 给已有的 Jina v5 文本索引增加图像、视频和音频检索,无需重建索引
- 用文本查询做多语言语音检索和视觉文档检索
- 在视频里定位与文字描述相符的时刻
需要注意
- 许可证是非商业的,产品使用需要另向 Elastic 或 Jina 申请许可
- 视频只抽取 32 帧,音频切成 30 秒的片段,所以请索引短片段
- Jina 把特定视频检索、图像到图像相似度、语音意图分类和混合输入列为较弱的方面
- 分数是 Jina 自己的,大多以图表呈现,每个任务适配器产生各自的向量,所以不要把不同任务混在一个索引里
性能数据来自开发方,未经独立验证。
需要多少内存?
以下是 Jina Embeddings v5 Omni 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。
| 版本 | 参数量 | 下载大小 | 所需内存 | 可运行于 |
|---|---|---|---|---|
| omni-nano (768-dimension vectors) BF16 | 990M | 1.97 GB | 2.27 GB | 笔记本或手机 |
| omni-small (1,024-dimension vectors) BF16 | 1.63B | 3.25 GB | 3.74 GB | 笔记本或手机 |
下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。
许可证,用大白话说
一种知识共享许可证,允许任何人在署名的前提下复制、分享和改编作品,但仅限非商业用途。有些模型卡只写 CC BY-NC 而不注明版本,目前的版本是 4.0。
- 需要署名或标明模型名称
延伸阅读
常见问题
- Jina Embeddings v5 Omni 是什么?
- Jina Embeddings v5 Omni 把文本、图片、视频片段和音频录音变成同一个空间里的数字向量,所以一个文本问题可以找到匹配的图片、扫描件、片段或录音。它有 small 和 nano 两种规格,只能免费用于非商业用途。
- Jina Embeddings v5 Omni 可以商用吗?
- 未经另行授权不可商用。Jina Embeddings v5 Omni 采用 CC BY-NC 发布,仅允许研究和个人使用。
- Jina Embeddings v5 Omni 是开源的吗?
- Jina Embeddings v5 Omni 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY-NC 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 Jina Embeddings v5 Omni 吗?
- 可以。最小版本 omni-nano (768-dimension vectors) 在 4 位精度下约需 2.27 GB 内存,现代笔记本或中端显卡即可胜任。
- Jina Embeddings v5 Omni 是什么时候发布的?
- Jina Embeddings v5 Omni 由 Jina AI 于 2026年5月11日 发布。
- Jina Embeddings v5 Omni 的上下文窗口有多长?
- Jina Embeddings v5 Omni 支持最长 32K token 的上下文窗口。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- jina-embeddings-v5-omni-small model card (Hugging Face) huggingface.co
- jina-embeddings-v5-omni-nano model card (Hugging Face) huggingface.co
- One index, all media: Introducing jina-embeddings-v5-omni (Elasticsearch Labs, 11 May 2026) elastic.co
- jina-embeddings-v5-omni: Geometry-preserving Embeddings via Locked Aligned Towers (arXiv 2605.08384) arxiv.org
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Jina Embeddings v5 Jina AI | 239M – 677M | 32K | CC BY-NC (非商用) | 0.552 GB 笔记本或手机 | |
| Qwen3-VL-Embedding Alibaba Qwen | 2.13B – 8.14B | 32K | Apache 2.0 (宽松) | 4.9 GB 笔记本或手机 | |
| EmbeddingGemma 2 Google DeepMind | 270M – 740M | 8K | Apache 2.0 (宽松) | 0.621 GB 笔记本或手机 | |
| Nemotron 3.5 Embed NVIDIA | 1.55B – 8.38B | 32K | OpenMDW-1.1 (宽松) | 1.46 GB 笔记本或手机 |