マルチモーダルモデル
マルチモーダルモデルは、テキスト、画像、音声、動画など複数の種類のデータを、入力・出力のいずれか、またはその両方として扱えます。
視覚言語モデルは画像をテキストと一緒に読み込みます。オムニモデルはさらに音声や動画も受け付けることがあり、画像・動画生成モデルはテキストから画像やクリップを生成します。本サイトのすべてのモデルページには入出力のタイプが記載されています。たとえば入力がテキストと画像、出力がテキストなどです。
マルチモーダル能力は、追加ファイルとして提供されることがよくあります。言語モデルの傍らに置かれる視覚エンコーダや、画像生成モデル用の独立したテキストエンコーダなどです。モデルページに記載のダウンロードサイズを確認してください。これにはモデルの実行に必要なすべてのコンポーネントが含まれます。
関連用語
- 拡散モデル(Diffusion model) 拡散モデルはランダムなノイズから出発し、ノイズを一歩一歩取り除いていくことで画像や動画を生成します。
- 埋め込みモデル(Embedding model) 埋め込みモデルはテキストや画像などのデータを、意味を表す数値の列に変換します。これにより、意味の近い項目どうしが近い位置に並びます。