Confucius4-R2T2
Потоковый распознаватель речи NetEase Youdao, который никогда не исправляет уже подтверждённые слова, адаптирован из Qwen3-ASR-1.7B.
Коротко. Confucius4-R2T2 переводит речь в текст прямо во время говорения, и показанные слова больше никогда не меняются. Это убирает мерцание, характерное для многих живых субтитров, и позволяет ПО реагировать на транскрипт сразу. Лучше всего он работает с китайским и английским, а ниже определённых порогов для крупного бизнеса его коммерческое использование бесплатно.
Краткое описание
Confucius4-R2T2 — потоковый распознаватель речи от NetEase Youdao. R2T2 расшифровывается как Real Real-Time Transcription, и модель закрепляет текст транскрипта окончательно, не возвращаясь исправлять уже показанные слова. Она адаптирует Qwen3-ASR-1.7B с помощью того, что NetEase называет обучением Longest Stable Prefix, на 1 500 часах китайского и английского аудио. Две стадии обучения — контролируемый файнтюнинг и GRPO — обновляют только языковой декодер, тогда как аудиоэнкодер и проектор остаются замороженными. Длину блоков декодирования можно задать от 80 мс до 2 с, а настройка предварительных токенов обменивает точность на задержку: U=1 в пользу качества, U=0 в пользу меньшей задержки.
Цифры принадлежат NetEase. На 13 китайских и английских тестовых наборах, при блоках 160 мс и одном предварительном токене, средняя ошибка составляет 5.76%, против 21.01% у неадаптированной базовой модели, запущенной так же, и 5.15% у полноконтекстной ссылки. На LibriSpeech clean её Word Error Rate равна 1.91% против 3.71% у Nemotron 3.5 и 3.05% у Voxtral RT, как их подписывает карточка, и карточка говорит, что он первый среди протестированных открытых моделей. В той же таблице две анонимные коммерческие системы обгоняют его на нескольких наборах, особенно на китайской речи с совещаний. На 18 тестовых наборах на десяти языках, отсутствовавших в пост-обучении, его макроошибка 8.40% против 5.99% у базовой модели, запущенной оффлайн.
Чекпойнт — это bf16-файл на 4.08 GB. Отдельный GGUF-репозиторий добавляет Q4_K_M на 1.11 GB и Q8_0 на 1.83 GB плюс файлы аудиопроектора. Он работает через vLLM на официальном Docker-образе Qwen3-ASR, через Python-API, через оффлайн-путь Transformers или через декодирование llama.cpp, и принимает подсказки по теме и словарю. В репозитории есть и WebSocket-сервер для нескольких клиентов одновременно, использующий отдельную модель голосовой активности FireRedVAD. Код — Apache 2.0, а веса распространяются по NetEase Youdao Model Use License Agreement. Репозиторий на Hugging Face создан 10 сентября 2026 года, а статья arXiv 2611.06043 датирована ноябрём, поэтому мы указываем только месяц. За 30 дней до 11 ноября 2026 года Hugging Face насчитал около 45 000 загрузок основного репозитория и 6 500 GGUF-репозитория.
Подходит для
- Живые субтитры и голосовые интерфейсы, где слова не должны меняться после появления
- Голосовые агенты, действующие в момент поступления транскрипта
- Транскрибация китайского и английского на своих серверах на базе открытого Qwen3-ASR
- Настройка баланса точности и задержки через размер блока и параметр предварительных токенов
На что обратить внимание
- Таблицы точности принадлежат NetEase, и две коммерческие системы в них показали лучшие результаты на нескольких наборах
- Пост-обучение использовало только китайский и английский, а остальные десять протестированных языков уступают базовой модели в оффлайн-режиме
- Лицензия требует отдельного соглашения при более чем 100 миллионах месячных пользователей или годовой выручке в 1 миллиард юаней, и запрещает использовать модель для улучшения других коммерческих ИИ-моделей
- Документированная конфигурация построена вокруг vLLM или идущего в комплекте llama.cpp-декодера с CUDA, а карточка рекомендует Docker
Заявления о производительности поступают от разработчика и не проверялись независимо.
Сколько памяти ему нужно?
Данные по памяти для каждого варианта Confucius4-R2T2. Конвейеры для изображений, видео, речи и музыки дополнительно загружают текстовый энкодер и декодер, поэтому памяти может понадобиться больше, чем весит основной чекпойнт.
| Варианты | Параметры | Объём загрузки | Требуемая память | Поместится на |
|---|---|---|---|---|
| Confucius4-R2T2 BF16 | 2.04B | 4.08 GB | 4.69 GB | Ноутбук или телефон |
Объём загрузки включает все компоненты, нужные для работы модели: генератор, текстовый энкодер, декодер и другие. Требуемая память — это заявленный или опубликованный измеренный минимум, если он есть; иначе это объём загрузки плюс около 15%. Более крупные изображения, более длинные клипы и большее разрешение требуют больше памяти.
Лицензия простыми словами
Лицензия на распознаватель речи Confucius4-R2T2 от NetEase Youdao. Коммерческое использование разрешено, если только у вас или аффилированной компании не было более 100 миллионов месячных активных пользователей или более 1 миллиарда юаней (RMB) годовой выручки — тогда нужна отдельная лицензия. Она также запрещает использовать модель для улучшения других моделей ИИ (кроме некоммерческих) и запрещает высокорисковые применения.
- Коммерческое использование бесплатно только ниже порога выручки
- Действует политика допустимого использования
Подробнее о NetEase Youdao Model Use
Частые вопросы
- Что такое Confucius4-R2T2?
- Confucius4-R2T2 переводит речь в текст прямо во время говорения, и показанные слова больше никогда не меняются. Это убирает мерцание, характерное для многих живых субтитров, и позволяет ПО реагировать на транскрипт сразу. Лучше всего он работает с китайским и английским, а ниже определённых порогов для крупного бизнеса его коммерческое использование бесплатно.
- Можно ли использовать Confucius4-R2T2 в коммерческих целях?
- Да, но с условиями. Confucius4-R2T2 выпущена под NetEase Youdao Model Use: коммерческое использование разрешено, но добавляются дополнительные правила: Коммерческое использование бесплатно только ниже порога выручки; Действует политика допустимого использования. Прочитайте текст лицензии, прежде чем выпускать продукт.
- Является ли Confucius4-R2T2 моделью с открытым исходным кодом?
- Confucius4-R2T2 — это открытые веса, а не открытый исходный код в строгом смысле. Файлы модели можно скачать, но NetEase Youdao Model Use добавляет условия, которые определение Open Source Initiative не допускает.
- Можно ли запустить Confucius4-R2T2 на своём компьютере?
- Да. Минимальному варианту, Confucius4-R2T2, нужно около 4.69 GB памяти в 4-битной точности — это по силам современному ноутбуку или видеокарте среднего уровня.
- Когда вышла Confucius4-R2T2?
- Confucius4-R2T2 выпущена разработчиком NetEase Youdao сентябрь 2026 г..
Официальные ссылки
Источники
Характеристики взяты из этих первоисточников. Упомянутые результаты бенчмарков приведены по данным разработчика.
- Confucius4-R2T2 model card (Hugging Face) huggingface.co
- Confucius4-R2T2 repository: install, backends and evaluation (GitHub) github.com
- NetEase Youdao Model Use License Agreement (GitHub) github.com
- Confucius4-R2T2 GGUF repository (Hugging Face) huggingface.co
- Confucius4-R2T2 paper (arXiv 2611.06043) arxiv.org
Дата выпуска и факты в последний раз проверены 11 ноября 2026 г..
Связанные модели
| Модель | Дата выпуска | Параметры | Контекст | Лицензия | Память минимального варианта |
|---|---|---|---|---|---|
| Qwen3-ASR EN Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (Пермиссивная) | 2.12 GB Ноутбук или телефон | |
| Voxtral Realtime EN Mistral AI | 4.43B | 128K | Apache 2.0 (Пермиссивная) | 10 GB Ноутбук или телефон | |
| Nemotron 3.5 ASR EN NVIDIA | 638M | – | OpenMDW-1.1 (Пермиссивная) | 2.93 GB Ноутбук или телефон | |
| Nemotron 3.5 Transcribe EN NVIDIA | 34B 4.3B активных | 64K | OpenMDW-1.1 (Пермиссивная) | 25 GB Игровая видеокарта |