Confucius4-R2T2
NetEase Youdaos Streaming-Spracherkenner, der festgeschriebene Wörter nie mehr korrigiert, abgeleitet von Qwen3-ASR-1.7B.
Kurz gesagt. Confucius4-R2T2 wandelt Sprache im Sprechen in Text um, und einmal angezeigte Wörter ändern sich danach nie. Das vermeidet das Flackern vieler Live-Untertitel und lässt Software sofort auf dem Transkript arbeiten. Es funktioniert am besten für Chinesisch und Englisch und ist unter bestimmten Grenzen für Großunternehmen kostenlos kommerziell nutzbar.
Zusammenfassung
Confucius4-R2T2 ist ein Streaming-Spracherkenner von NetEase Youdao. R2T2 steht für Real Real-Time Transcription, und das Modell schreibt Transkripttext dauerhaft fest, ohne zurückzugehen und schon angezeigte Wörter zu korrigieren. Es passt Qwen3-ASR-1.7B mit dem von NetEase so genannten Longest Stable Prefix-Lernen auf 1.500 Stunden chinesischen und englischen Audios an. Zwei Trainingsstufen, überwachtes Finetuning und GRPO, aktualisieren nur den Sprachdecoder, während Audio-Encoder und Projektor eingefroren bleiben. Die Dekodierblocklänge lässt sich von 80 ms bis 2 s einstellen, und eine Einstellung für provisorische Tokens tauscht Genauigkeit gegen Verzögerung, mit U=1 zugunsten der Qualität und U=0 zugunsten niedrigerer Latenz.
Die Zahlen sind NetEase-eigene. Über 13 chinesische und englische Testsets, bei 160-ms-Blöcken mit einem provisorischen Token, liegt die durchschnittliche Fehlerrate bei 5.76%, gegen 21.01% für den unveränderten Basismodell-Lauf auf dieselbe Weise und 5.15% für eine Vollkontext-Referenz. Auf LibriSpeech clean erreicht sie eine Word Error Rate von 1.91% gegen 3.71% für Nemotron 3.5 und 3.05% für Voxtral RT, wie die Karte sie beschriftet, und die Karte sagt, sie rangiere unter den getesteten Open-Source-Modellen an erster Stelle. Dieselbe Tabelle enthält zwei anonyme kommerzielle Systeme, die auf mehreren Sets, besonders bei chinesischer Konferenzsprache, besser abschneiden. Auf 18 Testsets in zehn Sprachen, die nicht Teil des Post-Trainings waren, liegt ihre Makro-Fehlerrate bei 8.40%, gegen 5.99% für das offline laufende Basismodell.
Der Checkpoint ist eine bf16-Datei von 4.08 GB. Ein separates GGUF-Repository ergänzt Q4_K_M mit 1.11 GB und Q8_0 mit 1.83 GB plus Audio-Projektor-Dateien. Es läuft über vLLM im offiziellen Qwen3-ASR-Docker-Image, über eine Python-API, über einen Offline-Weg mit Transformers oder über llama.cpp-Dekodierung, und nimmt Themen- und Vokabular-Hinweise an. Das Repository liefert auch einen WebSocket-Server für mehrere Clients gleichzeitig, der ein separates FireRedVAD-Voice-Activity-Modell nutzt. Der Code ist Apache 2.0, und die Gewichte folgen dem NetEase Youdao Model Use License Agreement. Das Hugging-Face-Repository entstand am 10. September 2026, das Papier arXiv 2611.06043 stammt aus November, daher geben wir nur den Monat an. In den 30 Tagen bis zum 11. November 2026 zählte Hugging Face rund 45.000 Downloads des Haupt-Repositorys und 6.500 des GGUF-Repositorys.
Geeignet für
- Live-Untertitel und Sprachschnittstellen, bei denen Wörter nach dem Erscheinen nicht mehr wechseln dürfen
- Sprachagenten, die sofort beim Eintreffen des Transkripts handeln
- Chinesisch- und Englischtranskription auf eigenen Servern, auf einer offenen Qwen3-ASR-Basis
- Abstimmen von Genauigkeit und Verzögerung über Blockgröße und Einstellung der provisorischen Tokens
Darauf achten
- Die Genauigkeitstabellen sind NetEase-eigen, und zwei kommerzielle Systeme darin waren auf mehreren Testsets besser
- Das Post-Training nutzte nur Chinesisch und Englisch, und die zehn anderen getesteten Sprachen liegen hinter dem offline laufenden Basismodell
- Die Lizenz verlangt ab 100 Millionen monatlichen Nutzern oder 1 Milliarde RMB Jahresumsatz eine separate Vereinbarung und verbietet, das Modell zur Verbesserung anderer kommerzieller KI-Modelle einzusetzen
- Das dokumentierte Setup ist um vLLM oder einen mitgelieferten llama.cpp-Decoder mit CUDA herum gebaut, und die Karte empfiehlt Docker
Leistungsangaben stammen vom Entwickler und wurden nicht unabhängig überprüft.
Wie viel Speicher braucht es?
Speicherwerte für jede Variante von Confucius4-R2T2. Bild-, Video-, Sprach- und Musik-Pipelines laden zusätzlich einen Text-Encoder und einen Decoder, daher kann der benötigte Speicher größer sein als das Haupt-Checkpoint.
| Varianten | Parameter | Downloadgröße | Benötigter Speicher | Passt auf |
|---|---|---|---|---|
| Confucius4-R2T2 BF16 | 2.04B | 4.08 GB | 4.69 GB | Laptop oder Smartphone |
Die Downloadgröße umfasst jede Komponente, die zum Ausführen des Modells nötig ist, etwa Generator, Text-Encoder und Decoder. Der benötigte Speicher ist ein angegebener oder veröffentlichter gemessener Mindestwert, falls vorhanden; andernfalls die Downloadgröße plus rund 15 %. Größere Bilder, längere Clips und höhere Auflösungen brauchen mehr.
Die Lizenz, einfach erklärt
Die Lizenz für NetEase Youdaos Spracherkennungsmodell Confucius4-R2T2. Kommerzielle Nutzung ist erlaubt, solange Sie oder ein verbundenes Unternehmen nicht mehr als 100 Millionen monatlich aktive Nutzer oder mehr als 1 Milliarde RMB Jahresumsatz hatten; andernfalls brauchen Sie eine separate Lizenz. Sie untersagt außerdem, das Modell zur Verbesserung anderer KI-Modelle zu verwenden (außer nicht-kommerziellen), und verbietet Hochrisiko-Anwendungen.
- Kostenlose kommerzielle Nutzung nur unterhalb einer Umsatzgrenze
- Es gilt eine Richtlinie zur akzeptablen Nutzung
Mehr über NetEase Youdao Model Use
Häufige Fragen
- Was ist Confucius4-R2T2?
- Confucius4-R2T2 wandelt Sprache im Sprechen in Text um, und einmal angezeigte Wörter ändern sich danach nie. Das vermeidet das Flackern vieler Live-Untertitel und lässt Software sofort auf dem Transkript arbeiten. Es funktioniert am besten für Chinesisch und Englisch und ist unter bestimmten Grenzen für Großunternehmen kostenlos kommerziell nutzbar.
- Darf ich Confucius4-R2T2 kommerziell nutzen?
- Ja, mit Bedingungen. Confucius4-R2T2 erscheint unter der NetEase Youdao Model Use, die kommerzielle Nutzung erlaubt, aber zusätzliche Regeln mitbringt: Kostenlose kommerzielle Nutzung nur unterhalb einer Umsatzgrenze; Es gilt eine Richtlinie zur akzeptablen Nutzung. Lesen Sie den Lizenztext, bevor Sie ein Produkt veröffentlichen.
- Ist Confucius4-R2T2 Open Source?
- Confucius4-R2T2 hat offene Gewichte, ist aber nicht im strengen Sinne Open Source. Sie können die Modelldateien herunterladen, aber die NetEase Youdao Model Use enthält Bedingungen, die die Definition der Open Source Initiative nicht zulässt.
- Kann ich Confucius4-R2T2 auf meinem eigenen Computer ausführen?
- Ja. Die kleinste Variante, Confucius4-R2T2, benötigt mit 4-Bit-Präzision etwa 4.69 GB Speicher, was auf einen modernen Laptop oder eine Mittelklasse-Grafikkarte passt.
- Wann wurde Confucius4-R2T2 veröffentlicht?
- Confucius4-R2T2 wurde von NetEase Youdao am September 2026 veröffentlicht.
Offizielle Links
Quellen
Die Spezifikationen stammen aus diesen Primärquellen. Benchmark-Angaben werden, wo erwähnt, vom Entwickler gemeldet.
- Confucius4-R2T2 model card (Hugging Face) huggingface.co
- Confucius4-R2T2 repository: install, backends and evaluation (GitHub) github.com
- NetEase Youdao Model Use License Agreement (GitHub) github.com
- Confucius4-R2T2 GGUF repository (Hugging Face) huggingface.co
- Confucius4-R2T2 paper (arXiv 2611.06043) arxiv.org
Erscheinungsdatum und Fakten zuletzt geprüft: 11. November 2026.
Verwandte Modelle
| Modell | Erscheinungsdatum | Parameter | Kontext | Lizenz | Bedarf der kleinsten Variante |
|---|---|---|---|---|---|
| Qwen3-ASR EN Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (Permissiv) | 2.12 GB Laptop oder Smartphone | |
| Voxtral Realtime EN Mistral AI | 4.43B | 128K | Apache 2.0 (Permissiv) | 10 GB Laptop oder Smartphone | |
| Nemotron 3.5 ASR EN NVIDIA | 638M | – | OpenMDW-1.1 (Permissiv) | 2.93 GB Laptop oder Smartphone | |
| Nemotron 3.5 Transcribe EN NVIDIA | 34B 4.3B aktiv | 64K | OpenMDW-1.1 (Permissiv) | 25 GB Gaming-GPU |