Визуально-языковая модель (VLM)
Визуально-языковая модель читает изображения (часто и видео) вместе с текстом, поэтому можно задавать вопросы о фотографии, скриншоте или странице документа.
VLM соединяет языковую модель с визуальным энкодером, который превращает изображение в токены, понятные языковой модели. Выход — текст, поэтому VLM может описать фото, прочитать график, ответить на вопросы по скриншоту или превратить страницу в Markdown. Термин уже, чем мультимодальная модель, которая охватывает ещё и аудио и генерацию изображений или речи.
Многие релизы 2026 года — VLM по умолчанию, например Qwen3.5, Gemma 4 и Mistral Large 4. OCR-модели на этом сайте — небольшие VLM, обученные под одну задачу: читать документы. Смотрите колонку входов на странице каждой модели, потому что ввод изображений не означает ввод видео или аудио.
Связанные термины
- Мультимодальная модель Мультимодальная модель умеет работать более чем с одним типом данных — текстом, изображениями, аудио или видео — на входе, на выходе или и там и там.
- OCR и разбор документов OCR превращает изображение текста в текст; разбор документов идёт дальше и восстанавливает таблицы, формулы, диаграммы и порядок чтения, обычно в виде Markdown.
- Токен Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.