LocateAnything-3B
NVIDIA 的 3B 视觉语言模型,为物体、GUI 元素和文字返回框和点,最高快 2.5 倍,仅限研究。
一句话概括. LocateAnything 看一张图和一句简短的要求,比如“红色的杯子”或“所有的车”,然后用框或点给出每个匹配项的位置。它一步写出一个框,而不是一个数字一个数字地写,所以更快,但 NVIDIA 只把它发布给研究使用。
概述
LocateAnything-3B 是 NVIDIA 的视觉定位(grounding)视觉语言模型。给它一张图像和文本提示,它会返回带标签的边界框或点,用于开放集检测、密集检测、指代表达、GUI 元素、文档版面和文字定位。它由 MoonViT 视觉编码器、Qwen2.5-3B-Instruct 语言模型和一个 MLP 投影层组成,检查点共 3.83B 参数。它的核心思路是并行框解码(Parallel Box Decoding):把每个完整的框或点当作一个单元,一步预测出来,而不是逐个 token 写坐标,并提供快速、混合(默认)和慢速三种模式。训练用了 1200 万张图像和超过 1.38 亿条查询,来自自然场景、机器人、驾驶、GUI 和文档,模型卡称 NVIDIA 已把它用到 Nemotron 3 Nano Omni 中。
NVIDIA 的项目页报告,在一块 H100 上默认混合模式每秒 12.7 个框,Qwen3-VL 为 1.1,Rex-Omni 为 5.0。在同样的模型规模下,平均 F1 比 Rex-Omni 在 LVIS 上高 3.8 分,在 COCO 上高 1.8 分,GUI 定位的 ScreenSpot-Pro 平均 F1 为 60.3,DocLayNet 为 76.8,M6Doc 为 70.1,TotalText 为 43.3,HumanRef 为 78.7。这些都是 NVIDIA 自己的结果,论文是 arXiv 2605.27365。
NVIDIA 只把这个模型发布给研究和开发使用。NVIDIA License 允许用于研究或评估,只有 NVIDIA 及其关联公司可以商业使用,其内部的 Qwen2.5-3B-Instruct 语言模型适用 Qwen Research License。模型卡展示的是在 Linux 上用 Transformers 以 BF16 推理,并说明 TensorRT、TensorRT-LLM 和 Triton 暂不支持。它支持最高 2.5K 的图像、最长 24K token 的提示和最多 8192 个新 token。模型卡标注的发布日期是 2026 年 5 月 26 日。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计约有 11.2 万次下载,仓库获得超过 3100 个点赞。
适合做什么
- 需要根据文本提示快速、精确给出框和点的定位、检测和 GUI 智能体研究
- 为研究数据集预先给图像标注框或点,输入类别名或指代短语即可
- 对比定位速度和准确度,参照 Rex-Omni 和 Qwen3-VL
需要注意
- 许可证只允许研究或评估,商业使用保留给 NVIDIA,内部的 Qwen2.5 语言模型另有自己的研究许可证
- 所有速度和准确度数字都来自 NVIDIA,速度是在 H100 上测得的
- 它只能在 Linux 下通过 Transformers 在 NVIDIA GPU 上运行,TensorRT、TensorRT-LLM 和 Triton 暂不支持
- 输出是需要你自己解析的结构化坐标 token,混合模式在块看起来不规则时会退回较慢的解码
性能数据来自开发方,未经独立验证。
需要多少内存?
以下为 LocateAnything-3B 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。
| 版本 | 参数量 | BF16 | FP8 / INT8 | 4-bit (Q4) | 可运行于 |
|---|---|---|---|---|---|
| LocateAnything-3B BF16 | 3.83B | 8.81 GB | 4.4 GB | 2.64 GB | 笔记本或手机 |
估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。
许可证,用大白话说
NVIDIA 随 LocateAnything-3B 提供的简短的仅限研究的许可证。你可以使用、复制、修改和分享作品,但只能非商业使用,文本把非商业定义为仅限研究或评估目的。NVIDIA 及其关联公司保留商业使用的权利。
延伸阅读
常见问题
- LocateAnything-3B 是什么?
- LocateAnything 看一张图和一句简短的要求,比如“红色的杯子”或“所有的车”,然后用框或点给出每个匹配项的位置。它一步写出一个框,而不是一个数字一个数字地写,所以更快,但 NVIDIA 只把它发布给研究使用。
- LocateAnything-3B 可以商用吗?
- 未经另行授权不可商用。LocateAnything-3B 采用 NVIDIA Non-Commercial 发布,仅允许研究和个人使用。
- LocateAnything-3B 是开源的吗?
- LocateAnything-3B 是开放权重模型,但不是严格意义上的开源。你可以下载模型文件,但 NVIDIA Non-Commercial 附带了开源促进会的定义所不允许的条件。
- 我能在自己的电脑上运行 LocateAnything-3B 吗?
- 可以。最小版本 LocateAnything-3B 在 4 位精度下约需 2.64 GB 内存,现代笔记本或中端显卡即可胜任。
- LocateAnything-3B 是什么时候发布的?
- LocateAnything-3B 由 NVIDIA 于 2026年5月26日 发布。
官方链接
来源
规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。
- LocateAnything-3B model card (Hugging Face) huggingface.co
- LocateAnything project page (NVIDIA Research) research.nvidia.com
- LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding (arXiv 2605.27365) arxiv.org
- NVIDIA License for LocateAnything-3B huggingface.co
发布时间等信息最近核实于 2026年11月11日。
相关模型
| 模型 | 发布时间 | 参数量 | 上下文 | 许可证 | 最小版本所需内存 |
|---|---|---|---|---|---|
| Nemotron 3 Nano Omni NVIDIA | 31B 激活 3B | 256K | NVIDIA Open Model (宽松) | 32 GB 游戏显卡 | |
| Qwen3.6 Alibaba Qwen | 27.8B – 36B 激活 3B | 256K | Apache 2.0 (宽松) | 19 GB 游戏显卡 | |
| Gemma 4 Google DeepMind | 5.1B – 30.7B | 256K | Apache 2.0 (宽松) | 3.52 GB 笔记本或手机 | |
| Mage-VL Microsoft | 4.74B | 256K | Apache 2.0 (宽松) | 3.27 GB 笔记本或手机 |