視覚言語モデル(VLM)
視覚言語モデルは画像(多くの場合動画も)とテキストを一緒に読めるため、写真、スクリーンショット、文書ページについて質問できます。
VLMは言語モデルと、画像を言語モデルが読めるトークンに変換する視覚エンコーダーを組み合わせます。出力はテキストなので、VLMは写真の説明、グラフの読み取り、スクリーンショットへの質問応答、文書ページのMarkdown化などができます。この用語はマルチモーダルモデルより狭い概念で、マルチモーダルモデルは音声や、画像・音声の生成も扱います。
2026年の多くの新モデルは最初からVLMです。たとえばQwen3.5、Gemma 4、Mistral Large 4などです。本サイトのOCRモデルは、文書の読み取りという一つの仕事に特化して訓練された小型VLMです。各モデルページの入力の列を確認してください。画像入力に対応していても、動画や音声の入力に対応するとは限りません。
関連用語
- マルチモーダルモデル マルチモーダルモデルは、テキスト、画像、音声、動画など複数の種類のデータを、入力・出力のいずれか、またはその両方として扱えます。
- OCR と文書解析 OCR は文字の画像をテキストに変換します。文書解析はさらに一歩進んで、表、数式、グラフ、読む順序を再構築します。多くは Markdown として出力します。
- トークン(Token) トークンは、言語モデルが読み書きする小さなテキストのかたまり(多くは単語か単語の一部)で、モデルは長さや速度をトークン単位で測ります。