Лучшие open-source мультимодальные модели 2026 года (изображения, видео и аудио)
Большинство новых открытых флагманов на этом сайте читают изображения, а многие принимают ещё и видео или аудио. Этот список собирает открытые модели, для которых это главная особенность, — от размера смартфона до размера сервера — и показывает, какие лицензии позволяют выводить их в продукт.
-
Gemma 4 EN
Семейство Apache 2.0 от Google — от «смартфонного» E2B до флагмана на 31B. Принимает текст, изображения, видео и аудио, умеет рассуждать и пользоваться инструментами.
-
Qwen3.8-27B EN
Плотная (dense) модель на 27B под Apache 2.0: читает изображения и видео, рассуждает шаг за шагом и умещается на одной GPU.
-
Qwen3.6 EN
Пара Qwen3.6 от Alibaba под Apache 2.0: смесь экспертов на 35B с 3B активных и плотная модель на 27B; обе принимают изображения и видео и настроены под агентное программирование.
-
Qwen3.5 EN
Семейство Apache 2.0 от Alibaba охватывает диапазон от 0.8B до 397B: ввод изображений и видео, 201 язык и контекст 256K.
-
MiniCPM-V 4.7 EN
Смартфонные модели OpenBMB под Apache 2.0: смесь экспертов 35B-A3B и модель на 1B, обе работают с изображениями и видео.
-
MiniCPM-o 4.5 EN
Модель OpenBMB на 9B под Apache 2.0 видит, слышит и говорит одновременно. Она принимает видео и аудио в реальном времени, отвечая текстом и голосом на английском или китайском; OpenBMB называет 11 ГБ видеопамяти при int4.
-
Mage-VL EN
Визуально-языковая модель Microsoft на 4B под Apache 2.0 читает видео как кодек, сокращая визуальные токены более чем на 75%, и снабжена вентилем для прямых трансляций. По таблицам Microsoft она обгоняет Qwen3-VL-4B в большинстве видео- и пространственных тестов.
-
LocateAnything-3B EN
Модель NVIDIA на 3B отвечает рамками и точками для объектов, элементов GUI и текста — по замерам NVIDIA, 12,7 рамки в секунду на H100. Лицензия — только для исследований.
-
Ternary Bonsai 2 EN
Визуально-языковые модели PrismML с троичными весами: от модели 2B в 0,43 ГБ до модели класса 27B в 5,95 ГБ, под Apache 2.0. Принимают изображения и текст.
-
SenseNova-Loop-9B-Preview EN
Предварительная зацикленная визуально-языковая модель SenseTime на 9B под Apache 2.0: слои с 4-го по 27-й выполняются дважды, есть ввод текста и изображения и контекст 256K. Нужен собственный код, а опубликованные результаты против Qwen3.5-27B неоднозначны.
-
Muse Glimmer EN
Плотная мультимодальная модель Meta на 30B для локальных агентов: дистиллирована из Muse Spark, под Apache 2.0 и квантована так, чтобы поместиться на GPU с 24 ГБ.
-
GLM-5.3-Flash EN
Мультимодальный GLM под лицензией MIT: 320B суммарно и 18B активных, ввод изображений и видео, контекст 1M, создан для дешёвого обслуживания длинных контекстов.
-
Step 3.7 Flash EN
Визуально-языковая смесь экспертов StepFun на 198B под Apache 2.0: 11B активных параметров, контекст 256K и визуальный энкодер на 1.8B. Ориентирована на агентов, читающих скриншоты, графики и документы; GGUF на 111,5 ГБ помещается на Mac или мини-ПК со 128 ГБ памяти.
-
Step 5 Preview EN
Смесь экспертов StepFun на 600B с контекстом 1M и вводом изображений — для агентов, разбирающих длинные отчёты, графики и скриншоты. Карточка модели упоминает и видео, но в спецификации перечислены только текст и изображения, а собственная лицензия содержит условия по оборудованию и хостингу.
-
MiMo-V2.6 EN
Омнимодальные агентные модели Xiaomi: 1T Pro, 310B Flash и исследовательский чекпоинт на 9B, контекст 1M. Лицензия помечена как MIT.
-
Nemotron 3 Nano Omni EN
Смесь экспертов NVIDIA на 31B с 3B активных принимает видео, аудио, изображения и текст с контекстом 256K. Только английский, ответы текстом, работает на одной RTX 5090 с 32 ГБ в NVFP4.
-
Qwen3-Omni EN
Смесь экспертов Alibaba на 30B с 3B активных читает текст, изображения, аудио и видео и может отвечать текстом или голосом на 10 языках. Apache 2.0, но Alibaba указывает около 79 ГБ в BF16 для 15-секундного клипа.
-
Muse Spark Open EN
Смесь экспертов Meta на 816B с 42B активных и контекстом 1M принимает текст, изображения, видео и аудио. Используется собственная лицензия Muse от Meta: прочитайте её до коммерческого использования.
-
Apertus 1.5 EN
Полностью открытые модели Swiss AI на 8B и 70B под Apache 2.0 читают изображения и аудио помимо текста, контекст 262K. Отвечают только текстом, а понимание аудио экспериментально.
-
LongCat-2.5 Самая новая EN
Смесь экспертов Meituan на 1.6T под лицензией MIT с 48B активных параметров принимает текст, изображения и видео с контекстом в 1M токенов. Развёртывание задокументировано только для NPU-серверов.
-
LFM3 EN
В семействе Liquid AI есть текстовая модель на 1.7B с контекстом 256K, умещающаяся в 1 ГБ, плюс версии для зрения, аудио и omni. LFM Open License допускает коммерческое использование только при годовой выручке ниже 10 млн долларов США.
-
Mirage EN
Визуальная модель Cactus Compute на 51M под Apache 2.0 умещается в файл 22 МБ: описывает фотографию, находит объекты, читает текст и заполняет формы за 74 мс на NPU Galaxy S26. Это не чат-модель, и в анонсе нет стандартных бенчмарков точности.
Как мы выбирали
- Модели, принимающие изображения, видео или аудио на вход, с открытыми весами, которые можно скачать уже сегодня.
- Только актуальные версии: модели, заменённые новым поколением, например Qwen3-VL, не включены.
- Очки бенчмарков по зрению публикуют сами разработчики, поэтому мы не ранжируем по ним. Проверяйте на своих изображениях: скриншоты, графики и рукописный текст ведут себя совсем не как фотографии.
- Длина контекста и лицензия показаны, потому что они ограничивают то, что вы можете выпустить.