Confucius4-R2T2
El reconocedor de voz en streaming de NetEase Youdao que nunca revisa las palabras ya emitidas, adaptado de Qwen3-ASR-1.7B.
En resumen. Confucius4-R2T2 convierte la voz en texto mientras se habla, y las palabras que muestra nunca cambian después. Eso evita el parpadeo que ves en muchos subtítulos en directo, y permite que el software actúe sobre la transcripción de inmediato. Funciona mejor con chino e inglés, y se puede usar comercialmente gratis por debajo de ciertos límites de gran empresa.
Resumen
Confucius4-R2T2 es un reconocedor de voz en streaming de NetEase Youdao. R2T2 significa Real Real-Time Transcription, y el modelo consolida el texto de la transcripción de forma permanente, sin volver atrás para revisar palabras que ya ha mostrado. Adapta Qwen3-ASR-1.7B con lo que NetEase llama aprendizaje de Longest Stable Prefix sobre 1.500 horas de audio en chino e inglés. Dos etapas de entrenamiento, fine-tuning supervisado y GRPO, actualizan solo el decodificador de lenguaje, mientras el codificador de audio y el proyector permanecen congelados. Los bloques de decodificación se pueden fijar entre 80 ms y 2 s, y un ajuste de tokens provisionales cambia precisión por retardo, con U=1 a favor de la calidad y U=0 a favor de menor latencia.
Las cifras son de NetEase. En 13 conjuntos de prueba de chino e inglés, con bloques de 160 ms y un token provisional, la tasa media de error es del 5.76%, frente al 21.01% del modelo base sin adaptar ejecutado igual y el 5.15% de una referencia de contexto completo. En LibriSpeech clean puntúa un 1.91% de error de palabra frente al 3.71% de Nemotron 3.5 y el 3.05% de Voxtral RT, como los etiqueta la ficha, y esta dice que queda primero entre los modelos abiertos que probó. La misma tabla tiene dos sistemas comerciales anónimos que lo superan en varios conjuntos, sobre todo en voz de reuniones en chino. En 18 conjuntos de prueba en diez idiomas ausentes del post-entrenamiento, su error macro es del 8.40%, frente al 5.99% del modelo base ejecutado sin conexión.
El checkpoint es un archivo bf16 de 4.08 GB. Un repositorio GGUF aparte añade Q4_K_M de 1.11 GB y Q8_0 de 1.83 GB más archivos del proyector de audio. Funciona vía vLLM sobre la imagen Docker oficial de Qwen3-ASR, vía una API de Python, vía una ruta sin conexión de Transformers o decodificándose con llama.cpp, y acepta pistas de tema y vocabulario. El repositorio también trae un servidor WebSocket para varios clientes a la vez, que usa un modelo aparte de actividad de voz FireRedVAD. El código es Apache 2.0 y los pesos usan el NetEase Youdao Model Use License Agreement. El repositorio de Hugging Face se creó el 10 de septiembre de 2026 y el artículo, arXiv 2611.06043, es de noviembre, así que damos solo el mes. En los 30 días hasta el 11 de noviembre de 2026, Hugging Face contó unas 45.000 descargas del repositorio principal y 6.500 del GGUF.
Ideal para
- Subtítulos en directo e interfaces de voz donde las palabras no pueden cambiar después de aparecer
- Agentes de voz que actúan en cuanto llega la transcripción
- Transcripción de chino e inglés en tus propios servidores, sobre una base Qwen3-ASR abierta
- Ajustar el equilibrio entre precisión y retardo con el tamaño de bloque y el ajuste de tokens provisionales
A tener en cuenta
- Las tablas de precisión son de NetEase, y dos sistemas comerciales en ellas fueron mejores en varios conjuntos de prueba
- El post-entrenamiento usó solo chino e inglés, y los otros diez idiomas probados van por detrás del modelo base sin conexión
- La licencia exige un acuerdo aparte por encima de 100 millones de usuarios mensuales o 1.000 millones de RMB de ingresos anuales, y prohíbe usar el modelo para mejorar otros modelos de IA comerciales
- La configuración documentada gira en torno a vLLM o un decodificador llama.cpp incluido con CUDA, y la ficha recomienda Docker
Las afirmaciones de rendimiento provienen del desarrollador y no se han verificado de forma independiente.
¿Cuánta memoria necesita?
Cifras de memoria para cada variante de Confucius4-R2T2. Los flujos de imagen, vídeo, voz y música también cargan un codificador de texto y un decodificador, así que la memoria necesaria puede ser mayor que la del checkpoint principal.
| Variantes | Parámetros | Tamaño de descarga | Memoria necesaria | Cabe en |
|---|---|---|---|---|
| Confucius4-R2T2 BF16 | 2.04B | 4.08 GB | 4.69 GB | Portátil o móvil |
El tamaño de descarga incluye todos los componentes necesarios para ejecutar el modelo, como el generador, el codificador de texto y el decodificador. La memoria necesaria es el mínimo declarado o el mínimo medido publicado cuando existe; en caso contrario, es el tamaño de descarga más un 15 % aproximadamente. Las imágenes más grandes, los clips más largos y las resoluciones más altas necesitan más.
La licencia en palabras sencillas
La licencia del reconocedor de voz Confucius4-R2T2 de NetEase Youdao. El uso comercial está permitido salvo que tú o una filial hayan tenido más de 100 millones de usuarios activos mensuales o más de 1.000 millones de RMB de ingresos anuales, y entonces se necesita una licencia aparte. También prohíbe usar el modelo para mejorar otros modelos de IA, salvo los no comerciales, y veta los usos de alto riesgo.
- Uso comercial gratuito solo por debajo de un límite de ingresos
- Se aplica una política de uso aceptable
Más sobre NetEase Youdao Model Use
Preguntas frecuentes
- ¿Qué es Confucius4-R2T2?
- Confucius4-R2T2 convierte la voz en texto mientras se habla, y las palabras que muestra nunca cambian después. Eso evita el parpadeo que ves en muchos subtítulos en directo, y permite que el software actúe sobre la transcripción de inmediato. Funciona mejor con chino e inglés, y se puede usar comercialmente gratis por debajo de ciertos límites de gran empresa.
- ¿Puedo usar Confucius4-R2T2 comercialmente?
- Sí, con condiciones. Confucius4-R2T2 se publica bajo la licencia NetEase Youdao Model Use, que permite el uso comercial pero añade reglas extra: Uso comercial gratuito solo por debajo de un límite de ingresos; Se aplica una política de uso aceptable. Lee el texto de la licencia antes de lanzar un producto.
- ¿Es Confucius4-R2T2 de código abierto?
- Confucius4-R2T2 es de pesos abiertos, no de código abierto en sentido estricto. Puedes descargar los archivos del modelo, pero la licencia NetEase Youdao Model Use añade condiciones que la definición de la Open Source Initiative no permite.
- ¿Puedo ejecutar Confucius4-R2T2 en mi propio equipo?
- Sí. La variante más pequeña, Confucius4-R2T2, necesita unos 4.69 GB de memoria con precisión de 4 bits, lo que cabe en un portátil moderno o en una tarjeta gráfica de gama media.
- ¿Cuándo se lanzó Confucius4-R2T2?
- Confucius4-R2T2 fue lanzado por NetEase Youdao el septiembre de 2026.
Enlaces oficiales
Fuentes
Las especificaciones provienen de estas fuentes primarias. Las afirmaciones sobre benchmarks, cuando se mencionan, son las que reporta el desarrollador.
- Confucius4-R2T2 model card (Hugging Face) huggingface.co
- Confucius4-R2T2 repository: install, backends and evaluation (GitHub) github.com
- NetEase Youdao Model Use License Agreement (GitHub) github.com
- Confucius4-R2T2 GGUF repository (Hugging Face) huggingface.co
- Confucius4-R2T2 paper (arXiv 2611.06043) arxiv.org
Fecha de lanzamiento y datos verificados por última vez: 11 de noviembre de 2026.
Modelos relacionados
| Modelo | Lanzamiento | Parámetros | Contexto | Licencia | Necesario para la variante más pequeña |
|---|---|---|---|---|---|
| Qwen3-ASR EN Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (Permisiva) | 2.12 GB Portátil o móvil | |
| Voxtral Realtime EN Mistral AI | 4.43B | 128K | Apache 2.0 (Permisiva) | 10 GB Portátil o móvil | |
| Nemotron 3.5 ASR EN NVIDIA | 638M | – | OpenMDW-1.1 (Permisiva) | 2.93 GB Portátil o móvil | |
| Nemotron 3.5 Transcribe EN NVIDIA | 34B 4.3B activos | 64K | OpenMDW-1.1 (Permisiva) | 25 GB GPU para juegos |