Confucius4-R2T2

Потоковый распознаватель речи NetEase Youdao, который никогда не исправляет уже подтверждённые слова, адаптирован из Qwen3-ASR-1.7B.

Коротко. Confucius4-R2T2 переводит речь в текст прямо во время говорения, и показанные слова больше никогда не меняются. Это убирает мерцание, характерное для многих живых субтитров, и позволяет ПО реагировать на транскрипт сразу. Лучше всего он работает с китайским и английским, а ниже определённых порогов для крупного бизнеса его коммерческое использование бесплатно.

Краткое описание

Confucius4-R2T2 — потоковый распознаватель речи от NetEase Youdao. R2T2 расшифровывается как Real Real-Time Transcription, и модель закрепляет текст транскрипта окончательно, не возвращаясь исправлять уже показанные слова. Она адаптирует Qwen3-ASR-1.7B с помощью того, что NetEase называет обучением Longest Stable Prefix, на 1 500 часах китайского и английского аудио. Две стадии обучения — контролируемый файнтюнинг и GRPO — обновляют только языковой декодер, тогда как аудиоэнкодер и проектор остаются замороженными. Длину блоков декодирования можно задать от 80 мс до 2 с, а настройка предварительных токенов обменивает точность на задержку: U=1 в пользу качества, U=0 в пользу меньшей задержки.

Цифры принадлежат NetEase. На 13 китайских и английских тестовых наборах, при блоках 160 мс и одном предварительном токене, средняя ошибка составляет 5.76%, против 21.01% у неадаптированной базовой модели, запущенной так же, и 5.15% у полноконтекстной ссылки. На LibriSpeech clean её Word Error Rate равна 1.91% против 3.71% у Nemotron 3.5 и 3.05% у Voxtral RT, как их подписывает карточка, и карточка говорит, что он первый среди протестированных открытых моделей. В той же таблице две анонимные коммерческие системы обгоняют его на нескольких наборах, особенно на китайской речи с совещаний. На 18 тестовых наборах на десяти языках, отсутствовавших в пост-обучении, его макроошибка 8.40% против 5.99% у базовой модели, запущенной оффлайн.

Чекпойнт — это bf16-файл на 4.08 GB. Отдельный GGUF-репозиторий добавляет Q4_K_M на 1.11 GB и Q8_0 на 1.83 GB плюс файлы аудиопроектора. Он работает через vLLM на официальном Docker-образе Qwen3-ASR, через Python-API, через оффлайн-путь Transformers или через декодирование llama.cpp, и принимает подсказки по теме и словарю. В репозитории есть и WebSocket-сервер для нескольких клиентов одновременно, использующий отдельную модель голосовой активности FireRedVAD. Код — Apache 2.0, а веса распространяются по NetEase Youdao Model Use License Agreement. Репозиторий на Hugging Face создан 10 сентября 2026 года, а статья arXiv 2611.06043 датирована ноябрём, поэтому мы указываем только месяц. За 30 дней до 11 ноября 2026 года Hugging Face насчитал около 45 000 загрузок основного репозитория и 6 500 GGUF-репозитория.

Подходит для

  • Живые субтитры и голосовые интерфейсы, где слова не должны меняться после появления
  • Голосовые агенты, действующие в момент поступления транскрипта
  • Транскрибация китайского и английского на своих серверах на базе открытого Qwen3-ASR
  • Настройка баланса точности и задержки через размер блока и параметр предварительных токенов

На что обратить внимание

  • Таблицы точности принадлежат NetEase, и две коммерческие системы в них показали лучшие результаты на нескольких наборах
  • Пост-обучение использовало только китайский и английский, а остальные десять протестированных языков уступают базовой модели в оффлайн-режиме
  • Лицензия требует отдельного соглашения при более чем 100 миллионах месячных пользователей или годовой выручке в 1 миллиард юаней, и запрещает использовать модель для улучшения других коммерческих ИИ-моделей
  • Документированная конфигурация построена вокруг vLLM или идущего в комплекте llama.cpp-декодера с CUDA, а карточка рекомендует Docker

Заявления о производительности поступают от разработчика и не проверялись независимо.

Сколько памяти ему нужно?

Данные по памяти для каждого варианта Confucius4-R2T2. Конвейеры для изображений, видео, речи и музыки дополнительно загружают текстовый энкодер и декодер, поэтому памяти может понадобиться больше, чем весит основной чекпойнт.

Варианты Параметры Объём загрузки Требуемая память Поместится на
Confucius4-R2T2 BF16 2.04B 4.08 GB 4.69 GB Ноутбук или телефон

Объём загрузки включает все компоненты, нужные для работы модели: генератор, текстовый энкодер, декодер и другие. Требуемая память — это заявленный или опубликованный измеренный минимум, если он есть; иначе это объём загрузки плюс около 15%. Более крупные изображения, более длинные клипы и большее разрешение требуют больше памяти.

Лицензия простыми словами

Лицензия на распознаватель речи Confucius4-R2T2 от NetEase Youdao. Коммерческое использование разрешено, если только у вас или аффилированной компании не было более 100 миллионов месячных активных пользователей или более 1 миллиарда юаней (RMB) годовой выручки — тогда нужна отдельная лицензия. Она также запрещает использовать модель для улучшения других моделей ИИ (кроме некоммерческих) и запрещает высокорисковые применения.

  • Коммерческое использование бесплатно только ниже порога выручки
  • Действует политика допустимого использования

Подробнее о NetEase Youdao Model Use

Частые вопросы

Что такое Confucius4-R2T2?
Confucius4-R2T2 переводит речь в текст прямо во время говорения, и показанные слова больше никогда не меняются. Это убирает мерцание, характерное для многих живых субтитров, и позволяет ПО реагировать на транскрипт сразу. Лучше всего он работает с китайским и английским, а ниже определённых порогов для крупного бизнеса его коммерческое использование бесплатно.
Можно ли использовать Confucius4-R2T2 в коммерческих целях?
Да, но с условиями. Confucius4-R2T2 выпущена под NetEase Youdao Model Use: коммерческое использование разрешено, но добавляются дополнительные правила: Коммерческое использование бесплатно только ниже порога выручки; Действует политика допустимого использования. Прочитайте текст лицензии, прежде чем выпускать продукт.
Является ли Confucius4-R2T2 моделью с открытым исходным кодом?
Confucius4-R2T2 — это открытые веса, а не открытый исходный код в строгом смысле. Файлы модели можно скачать, но NetEase Youdao Model Use добавляет условия, которые определение Open Source Initiative не допускает.
Можно ли запустить Confucius4-R2T2 на своём компьютере?
Да. Минимальному варианту, Confucius4-R2T2, нужно около 4.69 GB памяти в 4-битной точности — это по силам современному ноутбуку или видеокарте среднего уровня.
Когда вышла Confucius4-R2T2?
Confucius4-R2T2 выпущена разработчиком NetEase Youdao сентябрь 2026 г..

Официальные ссылки

Источники

Характеристики взяты из этих первоисточников. Упомянутые результаты бенчмарков приведены по данным разработчика.

Дата выпуска и факты в последний раз проверены 11 ноября 2026 г..

Связанные модели

Модель Дата выпуска Параметры Контекст Лицензия Память минимального варианта
Qwen3-ASR EN Alibaba Qwen 918M – 2.35B – Apache 2.0 (Пермиссивная) 2.12 GB Ноутбук или телефон
Voxtral Realtime EN Mistral AI 4.43B 128K Apache 2.0 (Пермиссивная) 10 GB Ноутбук или телефон
Nemotron 3.5 ASR EN NVIDIA 638M – OpenMDW-1.1 (Пермиссивная) 2.93 GB Ноутбук или телефон
Nemotron 3.5 Transcribe EN NVIDIA 34B 4.3B активных 64K OpenMDW-1.1 (Пермиссивная) 25 GB Игровая видеокарта