Confucius4-R2T2
O reconhecedor de fala em streaming da NetEase Youdao que nunca revisa palavras já confirmadas, adaptado do Qwen3-ASR-1.7B.
Em resumo. O Confucius4-R2T2 transforma fala em texto enquanto a pessoa fala, e as palavras que ele mostra nunca mudam depois. Isso evita a cintilação vista em muitas legendas ao vivo e permite que o software aja sobre a transcrição na hora. Funciona melhor para chinês e inglês, e pode ser usado comercialmente de graça abaixo de certos limites de grande empresa.
Resumo
Confucius4-R2T2 é um reconhecedor de fala em streaming da NetEase Youdao. R2T2 significa Real Real-Time Transcription, e o modelo fixa o texto da transcrição de forma permanente, sem voltar para revisar palavras que já mostrou. Ele adapta o Qwen3-ASR-1.7B com o que a NetEase chama de aprendizado Longest Stable Prefix em 1.500 horas de áudio em chinês e inglês. Duas etapas de treinamento, fine-tuning supervisionado e GRPO, atualizam apenas o decoder de linguagem, enquanto o encoder de áudio e o projetor ficam congelados. Os blocos de decodificação podem ser ajustados de 80 ms a 2 s, e uma configuração de tokens provisórios troca precisão por atraso, com U=1 favorecendo qualidade e U=0 favorecendo menor latência.
Os números são da própria NetEase. Em 13 conjuntos de teste de chinês e inglês, com blocos de 160 ms e um token provisório, a taxa média de erro é de 5.76%, contra 21.01% do modelo base não adaptado rodado da mesma forma e 5.15% de uma referência de contexto completo. No LibriSpeech clean ele marca 1.91% de erro de palavra contra 3.71% do Nemotron 3.5 e 3.05% do Voxtral RT, como a ficha os rotula, e a ficha diz que ele fica em primeiro entre os modelos abertos que testou. A mesma tabela tem dois sistemas comerciais anônimos que o superam em vários conjuntos, especialmente fala de reuniões em chinês. Em 18 conjuntos de teste em dez idiomas ausentes do pós-treinamento, seu erro macro é de 8.40%, contra 5.99% do modelo base rodado offline.
O checkpoint é um arquivo bf16 de 4.08 GB. Um repositório GGUF separado adiciona Q4_K_M de 1.11 GB e Q8_0 de 1.83 GB mais arquivos do projetor de áudio. Ele roda via vLLM na imagem Docker oficial do Qwen3-ASR, via uma API Python, via um caminho offline do Transformers ou decodificando com llama.cpp, e aceita dicas de tópico e vocabulário. O repositório também traz um servidor WebSocket para vários clientes ao mesmo tempo, que usa um modelo separado de atividade de voz FireRedVAD. O código é Apache 2.0, e os pesos usam o NetEase Youdao Model Use License Agreement. O repositório no Hugging Face foi criado em 10 de setembro de 2026 e o artigo, arXiv 2611.06043, é de novembro, então damos apenas o mês. Nos 30 dias até 11 de novembro de 2026, o Hugging Face contou cerca de 45.000 downloads do repositório principal e 6.500 do GGUF.
Bom para
- Legendas ao vivo e interfaces de voz em que as palavras não podem mudar depois de aparecer
- Agentes de voz que agem no momento em que a transcrição chega
- Transcrição de chinês e inglês nos seus próprios servidores, sobre uma base Qwen3-ASR aberta
- Ajustar o equilíbrio entre precisão e atraso com o tamanho do bloco e a configuração de tokens provisórios
Pontos de atenção
- As tabelas de precisão são da NetEase, e dois sistemas comerciais nelas foram melhores em vários conjuntos de teste
- O pós-treinamento usou só chinês e inglês, e os outros dez idiomas testados ficam atrás do modelo base rodado offline
- A licença exige um acordo separado acima de 100 milhões de usuários mensais ou RMB 1 bilhão de receita anual, e proíbe usar o modelo para melhorar outros modelos de IA comerciais
- A configuração documentada gira em torno de vLLM ou de um decodificador llama.cpp incluído com CUDA, e a ficha recomenda Docker
As afirmações de desempenho vêm do desenvolvedor e não foram verificadas de forma independente.
De quanta memória ele precisa?
Números de memória para cada variante de Confucius4-R2T2. Pipelines de imagem, vídeo, voz e música também carregam um codificador de texto e um decodificador, então a memória necessária pode ser maior que a do checkpoint principal.
| Variantes | Parâmetros | Tamanho do download | Memória necessária | Cabe em |
|---|---|---|---|---|
| Confucius4-R2T2 BF16 | 2.04B | 4.08 GB | 4.69 GB | Notebook ou celular |
O tamanho do download cobre todos os componentes necessários para executar o modelo, como o gerador, o codificador de texto e o decodificador. A memória necessária é um mínimo declarado ou medido e publicado, quando existe; caso contrário, é o tamanho do download mais cerca de 15%. Imagens maiores, clipes mais longos e resoluções mais altas precisam de mais memória.
A licença em palavras simples
A licença do reconhecedor de fala Confucius4-R2T2 da NetEase Youdao. O uso comercial é permitido, a menos que você ou uma afiliada tenha tido mais de 100 milhões de usuários ativos mensais ou mais de 1 bilhão de RMB de receita anual; nesse caso, é preciso uma licença separada. Ela também impede usar o modelo para melhorar outros modelos de IA, exceto os não comerciais, e proíbe usos de alto risco.
- Uso comercial gratuito apenas abaixo de um teto de receita
- Política de uso aceitável se aplica
Mais sobre NetEase Youdao Model Use
Perguntas frequentes
- O que é Confucius4-R2T2?
- O Confucius4-R2T2 transforma fala em texto enquanto a pessoa fala, e as palavras que ele mostra nunca mudam depois. Isso evita a cintilação vista em muitas legendas ao vivo e permite que o software aja sobre a transcrição na hora. Funciona melhor para chinês e inglês, e pode ser usado comercialmente de graça abaixo de certos limites de grande empresa.
- Posso usar Confucius4-R2T2 comercialmente?
- Sim, com condições. Confucius4-R2T2 é lançado sob a NetEase Youdao Model Use, que permite uso comercial, mas adiciona regras extras: Uso comercial gratuito apenas abaixo de um teto de receita; Política de uso aceitável se aplica. Leia o texto da licença antes de lançar um produto.
- Confucius4-R2T2 é de código aberto?
- Confucius4-R2T2 é de pesos abertos, não de código aberto no sentido estrito. Você pode baixar os arquivos do modelo, mas a NetEase Youdao Model Use adiciona condições que a definição da Open Source Initiative não permite.
- Consigo rodar Confucius4-R2T2 no meu próprio computador?
- Sim. A menor variante, Confucius4-R2T2, precisa de cerca de 4.69 GB de memória em precisão de 4 bits, o que cabe em um notebook moderno ou em uma placa de vídeo intermediária.
- Quando Confucius4-R2T2 foi lançado?
- Confucius4-R2T2 foi lançado por NetEase Youdao em setembro de 2026.
Links oficiais
Fontes
As especificações vêm destas fontes primárias. As afirmações de benchmark, quando mencionadas, são informadas pelo desenvolvedor.
- Confucius4-R2T2 model card (Hugging Face) huggingface.co
- Confucius4-R2T2 repository: install, backends and evaluation (GitHub) github.com
- NetEase Youdao Model Use License Agreement (GitHub) github.com
- Confucius4-R2T2 GGUF repository (Hugging Face) huggingface.co
- Confucius4-R2T2 paper (arXiv 2611.06043) arxiv.org
Data de lançamento e fatos verificados pela última vez em 11 de novembro de 2026.
Modelos relacionados
| Modelo | Lançamento | Parâmetros | Contexto | Licença | Memória da menor variante |
|---|---|---|---|---|---|
| Qwen3-ASR EN Alibaba Qwen | 918M – 2.35B | – | Apache 2.0 (Permissiva) | 2.12 GB Notebook ou celular | |
| Voxtral Realtime EN Mistral AI | 4.43B | 128K | Apache 2.0 (Permissiva) | 10 GB Notebook ou celular | |
| Nemotron 3.5 ASR EN NVIDIA | 638M | – | OpenMDW-1.1 (Permissiva) | 2.93 GB Notebook ou celular | |
| Nemotron 3.5 Transcribe EN NVIDIA | 34B 4.3B ativos | 64K | OpenMDW-1.1 (Permissiva) | 25 GB GPU gamer |