マルチモーダルモデル

マルチモーダルモデルは、テキスト、画像、音声、動画など複数の種類のデータを、入力・出力のいずれか、またはその両方として扱えます。

  • モデルとアーキテクチャ
  • 更新日

視覚言語モデルは画像をテキストと一緒に読み込みます。オムニモデルはさらに音声や動画も受け付けることがあり、画像・動画生成モデルはテキストから画像やクリップを生成します。本サイトのすべてのモデルページには入出力のタイプが記載されています。たとえば入力がテキストと画像、出力がテキストなどです。

マルチモーダル能力は、追加ファイルとして提供されることがよくあります。言語モデルの傍らに置かれる視覚エンコーダや、画像生成モデル用の独立したテキストエンコーダなどです。モデルページに記載のダウンロードサイズを確認してください。これにはモデルの実行に必要なすべてのコンポーネントが含まれます。

関連用語

  • 拡散モデル(Diffusion model) 拡散モデルはランダムなノイズから出発し、ノイズを一歩一歩取り除いていくことで画像や動画を生成します。
  • 埋め込みモデル(Embedding model) 埋め込みモデルはテキストや画像などのデータを、意味を表す数値の列に変換します。これにより、意味の近い項目どうしが近い位置に並びます。

すべての用語