Jina Embeddings v5 Omni

Jina AI 的非商业嵌入模型,把文本、图像、视频和音频放进同一个空间,有 small 和 nano 两种规格。

一句话概括. Jina Embeddings v5 Omni 把文本、图片、视频片段和音频录音变成同一个空间里的数字向量,所以一个文本问题可以找到匹配的图片、扫描件、片段或录音。它有 small 和 nano 两种规格,只能免费用于非商业用途。

概述

Jina Embeddings v5 Omni 是一对多模态嵌入模型,分为 small 和 nano,把 Jina 的 v5 文本模型扩展到了图像、视频和音频。Jina 在 arXiv 2605.08384 中介绍了这一名为 GELATO 的方法,论文提交于 2026 年 5 月 8 日,并于 2026 年 5 月 11 日与 Elastic(Jina AI 现在属于 Elastic)一起宣布了这些模型。文本主干和新增的编码器都保持冻结,只训练了连接它们的投影层,据论文,约占联合模型权重的 0.35%,因此文本嵌入与 jina-embeddings-v5-text-small 和 -nano 完全相同,已有的文本索引不必重建。图像和视频编码器是取自 Qwen3.5 模型的 SigLIP2 编码器,small 用的是取自 Qwen3.5-2B 的 So400m 版本,nano 用的是取自 Qwen3.5-0.8B 的 Base 版本,两个模型的音频编码器都是从 Qwen2.5-Omni-7B 中提取的 Whisper large v3 编码器。每个模型都有检索、分类、聚类和文本匹配四个任务适配器。

small 的向量是 1024 维,输入最长 32768 个 token,nano 是 768 维、8192 个 token,两者都可以通过套娃(Matryoshka)截断缩短到 32 维。图像会缩放到 262144 到 3072000 像素之间,并切成 28 乘 28 的图块,视频最多均匀抽取 32 帧,音频切成 30 秒的片段,每段 750 个 token,所以长视频会丢掉大部分细节,Jina 也说短片段效果最好。Jina 称 small 在接近 10 亿参数的模型里图像基准得分最高,nano 在视觉文档检索上击败了大 10 到 60 倍的模型,在视频片段定位上 small 在 Charades-STA 得 55.57,在 MomentSeeker 得 58.93,字节跳动闭源的 Seed 1.6 嵌入模型分别是 29.30 和 59.30。这些都是 Jina 自己的结果,大多以图表呈现。Jina 把根据描述查找特定视频、图像到图像的相似度、语音意图分类和混合媒体输入列为仍在改进的方面。

许可证是 CC BY-NC 4.0,博客称商业使用需要向 Elastic 销售团队申请许可,模型卡则让你联系 Jina。BF16 权重 small 为 3.25 GB,nano 为 1.97 GB,每个适配器另有约 40 MB 和 14 MB,加载时可以只加载文本、视觉或音频部分以节省内存。加载需要 trust_remote_code、Transformers 4.57 或更高版本和 PyTorch 2.5 或更高版本,vLLM 0.20.1 是验证过的部署方式,Jina 还发布了按任务预先合并的仓库以及 GGUF 和 MLX 版本。查询和文档分别使用“Query: ”和“Document: ”前缀,池化方式是最后一个 token。各来源对大小的说法不一,博客称 small 为 1.66B,模型卡约 1.74B,Hugging Face 统计为 1.63B。在截至 2026 年 11 月 11 日的 30 天里,Hugging Face 统计到 small 仓库约 101 万次下载,其预合并检索版本约 4.8 万次,nano 约 6700 次。

适合做什么

  • 用一个索引容纳文本、图像、扫描页面、视频片段和音频,用多种语言的文本查询来搜索
  • 给已有的 Jina v5 文本索引增加图像、视频和音频检索,无需重建索引
  • 用文本查询做多语言语音检索和视觉文档检索
  • 在视频里定位与文字描述相符的时刻

需要注意

  • 许可证是非商业的,产品使用需要另向 Elastic 或 Jina 申请许可
  • 视频只抽取 32 帧,音频切成 30 秒的片段,所以请索引短片段
  • Jina 把特定视频检索、图像到图像相似度、语音意图分类和混合输入列为较弱的方面
  • 分数是 Jina 自己的,大多以图表呈现,每个任务适配器产生各自的向量,所以不要把不同任务混在一个索引里

性能数据来自开发方,未经独立验证。

需要多少内存?

以下是 Jina Embeddings v5 Omni 各版本的内存数据。图像、视频、语音和音乐管线还要加载文本编码器和解码器,所以所需内存可能比主检查点更大。

版本 参数量 下载大小 所需内存 可运行于
omni-nano (768-dimension vectors) BF16 990M 1.97 GB 2.27 GB 笔记本或手机
omni-small (1,024-dimension vectors) BF16 1.63B 3.25 GB 3.74 GB 笔记本或手机

下载大小包含运行模型所需的全部组件,例如生成器、文本编码器和解码器。所需内存优先采用开发方声明或已公开的实测最低值;没有时按下载大小加约 15% 估算。更大的图像、更长的片段和更高的分辨率需要更多内存。

许可证,用大白话说

一种知识共享许可证,允许任何人在署名的前提下复制、分享和改编作品,但仅限非商业用途。有些模型卡只写 CC BY-NC 而不注明版本,目前的版本是 4.0。

  • 需要署名或标明模型名称

进一步了解 CC BY-NC

延伸阅读

常见问题

Jina Embeddings v5 Omni 是什么?
Jina Embeddings v5 Omni 把文本、图片、视频片段和音频录音变成同一个空间里的数字向量,所以一个文本问题可以找到匹配的图片、扫描件、片段或录音。它有 small 和 nano 两种规格,只能免费用于非商业用途。
Jina Embeddings v5 Omni 可以商用吗?
未经另行授权不可商用。Jina Embeddings v5 Omni 采用 CC BY-NC 发布,仅允许研究和个人使用。
Jina Embeddings v5 Omni 是开源的吗?
Jina Embeddings v5 Omni 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 CC BY-NC 附带了开源促进会的定义所不允许的条件。
我能在自己的电脑上运行 Jina Embeddings v5 Omni 吗?
可以。最小版本 omni-nano (768-dimension vectors) 在 4 位精度下约需 2.27 GB 内存,现代笔记本或中端显卡即可胜任。
Jina Embeddings v5 Omni 是什么时候发布的?
Jina Embeddings v5 Omni 由 Jina AI 于 2026年5月11日 发布。
Jina Embeddings v5 Omni 的上下文窗口有多长?
Jina Embeddings v5 Omni 支持最长 32K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Jina Embeddings v5 Jina AI 239M – 677M 32K CC BY-NC (非商用) 0.552 GB 笔记本或手机
Qwen3-VL-Embedding Alibaba Qwen 2.13B – 8.14B 32K Apache 2.0 (宽松) 4.9 GB 笔记本或手机
EmbeddingGemma 2 Google DeepMind 270M – 740M 8K Apache 2.0 (宽松) 0.621 GB 笔记本或手机
Nemotron 3.5 Embed NVIDIA 1.55B – 8.38B 32K OpenMDW-1.1 (宽松) 1.46 GB 笔记本或手机