多模态模型

多模态模型能处理不止一种类型的数据,例如文本、图像、音频或视频,可以作为输入、输出,或两者兼有。

  • 模型与架构
  • 更新于

视觉语言模型能把图像和文本一起读入。全模态(omni)模型还可能接受音频和视频,图像和视频生成模型则根据文字生成图片或视频片段。本站每个模型页面都会列出它的输入和输出类型,例如输入文本和图像、输出文本。

多模态能力常常以额外文件的形式出现:语言模型旁边的视觉编码器,或图像生成模型单独的文本编码器。请查看模型页面上的下载大小,它涵盖运行模型所需的所有组件。

相关术语

  • 扩散模型 扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
  • 嵌入模型 嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。

全部术语