Confucius4-R2T2
Le reconnaissant vocal en streaming de NetEase Youdao qui ne révise jamais les mots déjà validés, adapté de Qwen3-ASR-1.7B.
En bref. Confucius4-R2T2 transforme la parole en texte au fur et à mesure, et les mots affichés ne changent plus jamais ensuite. Cela évite le clignotement de beaucoup de sous-titres en direct et permet au logiciel d'agir sur la transcription aussitôt. Il est au mieux en chinois et en anglais, et son usage commercial est gratuit sous certaines limites de grande entreprise.
Résumé
Confucius4-R2T2 est un reconnaissant vocal en streaming de NetEase Youdao. R2T2 signifie Real Real-Time Transcription, et le modèle valide le texte de transcription de façon permanente, sans revenir réviser des mots déjà affichés. Il adapte Qwen3-ASR-1.7B avec ce que NetEase appelle l'apprentissage Longest Stable Prefix sur 1 500 heures d'audio chinois et anglais. Deux étapes d'entraînement, le fine-tuning supervisé et le GRPO, ne mettent à jour que le décodeur de langage, tandis que l'encodeur audio et le projecteur restent gelés. La taille des blocs de décodage se règle de 80 ms à 2 s, et un réglage de tokens provisoires échange de la précision contre du délai, avec U=1 en faveur de la qualité et U=0 en faveur d'une latence plus basse.
Les chiffres sont ceux de NetEase. Sur 13 jeux de test chinois et anglais, à blocs de 160 ms avec un token provisoire, le taux d'erreur moyen est de 5.76%, contre 21.01% pour le modèle de base non adapté exécuté de la même façon et 5.15% pour une référence à contexte complet. Sur LibriSpeech clean, il affiche 1.91% d'erreur de mots contre 3.71% pour Nemotron 3.5 et 3.05% pour Voxtral RT, comme la fiche les étiquette, et elle dit qu'il arrive premier parmi les modèles ouverts testés. Le même tableau contient deux systèmes commerciaux anonymes qui le battent sur plusieurs jeux, surtout la parole de réunions en chinois. Sur 18 jeux de test en dix langues absentes du post-entraînement, son erreur macro est de 8.40%, contre 5.99% pour le modèle de base exécuté hors ligne.
Le checkpoint est un fichier bf16 de 4.08 GB. Un dépôt GGUF séparé ajoute Q4_K_M à 1.11 GB et Q8_0 à 1.83 GB plus des fichiers du projecteur audio. Il fonctionne via vLLM sur l'image Docker officielle de Qwen3-ASR, via une API Python, via une voie hors ligne de Transformers ou en décodage llama.cpp, et accepte des indications de thème et de vocabulaire. Le dépôt embarque aussi un serveur WebSocket pour plusieurs clients à la fois, qui utilise un modèle séparé d'activité vocale FireRedVAD. Le code est Apache 2.0, et les poids suivent le NetEase Youdao Model Use License Agreement. Le dépôt Hugging Face a été créé le 10 septembre 2026 et l'article, arXiv 2611.06043, date de novembre, d'où le mois seulement. Sur les 30 jours jusqu'au 11 novembre 2026, Hugging Face comptait environ 45 000 téléchargements du dépôt principal et 6 500 du GGUF.
Idéal pour
- Sous-titres en direct et interfaces vocales où les mots ne doivent pas changer après leur apparition
- Agents vocaux qui agissent dès qu'une transcription arrive
- Transcription du chinois et de l'anglais sur vos propres serveurs, sur une base Qwen3-ASR ouverte
- Régler l'équilibre entre précision et délai avec la taille des blocs et le réglage de tokens provisoires
Points d’attention
- Les tableaux de précision sont ceux de NetEase, et deux systèmes commerciaux y ont fait mieux sur plusieurs jeux de test
- Le post-entraînement n'a utilisé que le chinois et l'anglais, et les dix autres langues testées sont derrière le modèle de base hors ligne
- La licence exige un accord séparé au-delà de 100 millions d'utilisateurs mensuels ou de 1 milliard de RMB de revenus annuels, et interdit d'utiliser le modèle pour améliorer d'autres modèles d'IA commerciaux
- La configuration documentée s'appuie sur vLLM ou un décodeur llama.cpp fourni avec CUDA, et la fiche recommande Docker
Les affirmations de performance viennent du développeur et n’ont pas été vérifiées de manière indépendante.
De quelle mémoire a-t-il besoin ?
Chiffres de mémoire pour chaque variante de Confucius4-R2T2. Les pipelines d’image, de vidéo, de voix et de musique chargent aussi un encodeur de texte et un décodeur, si bien que la mémoire nécessaire peut dépasser celle du checkpoint principal.
| Variantes | Paramètres | Taille du téléchargement | Mémoire nécessaire | Fonctionne sur |
|---|---|---|---|---|
| Confucius4-R2T2 BF16 | 2.04B | 4.08 GB | 4.69 GB | Ordinateur portable ou smartphone |
La taille du téléchargement couvre tous les composants nécessaires au fonctionnement du modèle, comme le générateur, l’encodeur de texte et le décodeur. La mémoire nécessaire correspond au minimum déclaré ou publié lorsqu’il existe ; sinon, il s’agit de la taille du téléchargement plus environ 15 %. Images plus grandes, clips plus longs et résolutions plus élevées demandent davantage.
La licence en langage clair
La licence du système de reconnaissance vocale Confucius4-R2T2 de NetEase Youdao. L'usage commercial est autorisé, sauf si vous ou une filiale avez eu plus de 100 millions d'utilisateurs actifs mensuels ou plus de 1 milliard de RMB de revenus annuels, auquel cas il faut une licence distincte. Elle interdit aussi d'utiliser le modèle pour améliorer d'autres modèles d'IA, hors modèles non commerciaux, et proscrit les usages à haut risque.
- Usage commercial gratuit uniquement sous un plafond de revenus
- Une politique d’utilisation acceptable s’applique
En savoir plus sur NetEase Youdao Model Use
Questions fréquentes
- Qu’est-ce que Confucius4-R2T2 ?
- Confucius4-R2T2 transforme la parole en texte au fur et à mesure, et les mots affichés ne changent plus jamais ensuite. Cela évite le clignotement de beaucoup de sous-titres en direct et permet au logiciel d'agir sur la transcription aussitôt. Il est au mieux en chinois et en anglais, et son usage commercial est gratuit sous certaines limites de grande entreprise.
- Puis-je utiliser Confucius4-R2T2 commercialement ?
- Oui, avec conditions. Confucius4-R2T2 est publié sous la NetEase Youdao Model Use, qui autorise l’usage commercial mais ajoute des règles supplémentaires : Usage commercial gratuit uniquement sous un plafond de revenus; Une politique d’utilisation acceptable s’applique. Lisez le texte de la licence avant de lancer un produit.
- Confucius4-R2T2 est-il open source ?
- Confucius4-R2T2 est à poids ouverts, pas open source au sens strict. Vous pouvez télécharger les fichiers du modèle, mais la NetEase Youdao Model Use ajoute des conditions que la définition de l’Open Source Initiative n’autorise pas.
- Puis-je faire tourner Confucius4-R2T2 sur mon propre ordinateur ?
- Oui. La plus petite variante, Confucius4-R2T2, demande environ 4.69 GB de mémoire en précision 4 bits, ce qui convient à un ordinateur portable moderne ou à une carte graphique de milieu de gamme.
- Quand Confucius4-R2T2 est-il sorti ?
- Confucius4-R2T2 a été publié par NetEase Youdao le septembre 2026.
Liens officiels
Sources
Les spécifications proviennent de ces sources primaires. Les résultats de référence mentionnés, s’il y en a, sont ceux communiqués par le développeur.
- Confucius4-R2T2 model card (Hugging Face) huggingface.co
- Confucius4-R2T2 repository: install, backends and evaluation (GitHub) github.com
- NetEase Youdao Model Use License Agreement (GitHub) github.com
- Confucius4-R2T2 GGUF repository (Hugging Face) huggingface.co
- Confucius4-R2T2 paper (arXiv 2611.06043) arxiv.org
Date de sortie et faits vérifiés pour la dernière fois le 11 novembre 2026.
Modèles associés
| Modèle | Sortie | Paramètres | Contexte | Licence | Mémoire requise (plus petite variante) |
|---|---|---|---|---|---|
| Qwen3-ASR EN Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (Permissive) | 2.12 GB Ordinateur portable ou smartphone | |
| Voxtral Realtime EN Mistral AI | 4.43B | 128K | Apache 2.0 (Permissive) | 10 GB Ordinateur portable ou smartphone | |
| Nemotron 3.5 ASR EN NVIDIA | 638M | – | OpenMDW-1.1 (Permissive) | 2.93 GB Ordinateur portable ou smartphone | |
| Nemotron 3.5 Transcribe EN NVIDIA | 34B 4.3B actifs | 64K | OpenMDW-1.1 (Permissive) | 25 GB Carte graphique gaming |