视觉语言模型(VLM)

视觉语言模型能同时读取图像(通常还有视频)和文本,所以你可以针对一张图片、一张截图或一页文档提问。

  • 模型与架构
  • 更新于

VLM 把语言模型和视觉编码器配在一起,视觉编码器把图像转换成语言模型能读的 token。输出是文本,所以 VLM 可以描述照片、读图表、回答关于截图的问题,或把一页文档转成 Markdown。这个词比多模态模型的范围窄,后者还包括音频,以及图像或语音的生成。

2026 年的许多新模型默认就是 VLM,例如 Qwen3.5、Gemma 4 和 Mistral Large 4。本站收录的 OCR 模型是为单一任务(读文档)训练的小型 VLM。请查看每个模型页面的输入一栏,因为支持图像输入并不代表支持视频或音频输入。

相关术语

  • 多模态模型 多模态模型能处理不止一种类型的数据,例如文本、图像、音频或视频,可以作为输入、输出,或两者兼有。
  • OCR 与文档解析 OCR 把图片中的文字转成文本;文档解析则更进一步,重建表格、公式、图表和阅读顺序,通常输出 Markdown。
  • Token(词元) Token(词元)是语言模型读写的最小文本片段,通常是一个词或词的一部分;模型用 token 来衡量长度和速度。

继续阅读

全部术语