Confucius4-R2T2

O reconhecedor de fala em streaming da NetEase Youdao que nunca revisa palavras já confirmadas, adaptado do Qwen3-ASR-1.7B.

Em resumo. O Confucius4-R2T2 transforma fala em texto enquanto a pessoa fala, e as palavras que ele mostra nunca mudam depois. Isso evita a cintilação vista em muitas legendas ao vivo e permite que o software aja sobre a transcrição na hora. Funciona melhor para chinês e inglês, e pode ser usado comercialmente de graça abaixo de certos limites de grande empresa.

Resumo

Confucius4-R2T2 é um reconhecedor de fala em streaming da NetEase Youdao. R2T2 significa Real Real-Time Transcription, e o modelo fixa o texto da transcrição de forma permanente, sem voltar para revisar palavras que já mostrou. Ele adapta o Qwen3-ASR-1.7B com o que a NetEase chama de aprendizado Longest Stable Prefix em 1.500 horas de áudio em chinês e inglês. Duas etapas de treinamento, fine-tuning supervisionado e GRPO, atualizam apenas o decoder de linguagem, enquanto o encoder de áudio e o projetor ficam congelados. Os blocos de decodificação podem ser ajustados de 80 ms a 2 s, e uma configuração de tokens provisórios troca precisão por atraso, com U=1 favorecendo qualidade e U=0 favorecendo menor latência.

Os números são da própria NetEase. Em 13 conjuntos de teste de chinês e inglês, com blocos de 160 ms e um token provisório, a taxa média de erro é de 5.76%, contra 21.01% do modelo base não adaptado rodado da mesma forma e 5.15% de uma referência de contexto completo. No LibriSpeech clean ele marca 1.91% de erro de palavra contra 3.71% do Nemotron 3.5 e 3.05% do Voxtral RT, como a ficha os rotula, e a ficha diz que ele fica em primeiro entre os modelos abertos que testou. A mesma tabela tem dois sistemas comerciais anônimos que o superam em vários conjuntos, especialmente fala de reuniões em chinês. Em 18 conjuntos de teste em dez idiomas ausentes do pós-treinamento, seu erro macro é de 8.40%, contra 5.99% do modelo base rodado offline.

O checkpoint é um arquivo bf16 de 4.08 GB. Um repositório GGUF separado adiciona Q4_K_M de 1.11 GB e Q8_0 de 1.83 GB mais arquivos do projetor de áudio. Ele roda via vLLM na imagem Docker oficial do Qwen3-ASR, via uma API Python, via um caminho offline do Transformers ou decodificando com llama.cpp, e aceita dicas de tópico e vocabulário. O repositório também traz um servidor WebSocket para vários clientes ao mesmo tempo, que usa um modelo separado de atividade de voz FireRedVAD. O código é Apache 2.0, e os pesos usam o NetEase Youdao Model Use License Agreement. O repositório no Hugging Face foi criado em 10 de setembro de 2026 e o artigo, arXiv 2611.06043, é de novembro, então damos apenas o mês. Nos 30 dias até 11 de novembro de 2026, o Hugging Face contou cerca de 45.000 downloads do repositório principal e 6.500 do GGUF.

Bom para

  • Legendas ao vivo e interfaces de voz em que as palavras não podem mudar depois de aparecer
  • Agentes de voz que agem no momento em que a transcrição chega
  • Transcrição de chinês e inglês nos seus próprios servidores, sobre uma base Qwen3-ASR aberta
  • Ajustar o equilíbrio entre precisão e atraso com o tamanho do bloco e a configuração de tokens provisórios

Pontos de atenção

  • As tabelas de precisão são da NetEase, e dois sistemas comerciais nelas foram melhores em vários conjuntos de teste
  • O pós-treinamento usou só chinês e inglês, e os outros dez idiomas testados ficam atrás do modelo base rodado offline
  • A licença exige um acordo separado acima de 100 milhões de usuários mensais ou RMB 1 bilhão de receita anual, e proíbe usar o modelo para melhorar outros modelos de IA comerciais
  • A configuração documentada gira em torno de vLLM ou de um decodificador llama.cpp incluído com CUDA, e a ficha recomenda Docker

As afirmações de desempenho vêm do desenvolvedor e não foram verificadas de forma independente.

De quanta memória ele precisa?

Números de memória para cada variante de Confucius4-R2T2. Pipelines de imagem, vídeo, voz e música também carregam um codificador de texto e um decodificador, então a memória necessária pode ser maior que a do checkpoint principal.

Variantes Parâmetros Tamanho do download Memória necessária Cabe em
Confucius4-R2T2 BF16 2.04B 4.08 GB 4.69 GB Notebook ou celular

O tamanho do download cobre todos os componentes necessários para executar o modelo, como o gerador, o codificador de texto e o decodificador. A memória necessária é um mínimo declarado ou medido e publicado, quando existe; caso contrário, é o tamanho do download mais cerca de 15%. Imagens maiores, clipes mais longos e resoluções mais altas precisam de mais memória.

A licença em palavras simples

A licença do reconhecedor de fala Confucius4-R2T2 da NetEase Youdao. O uso comercial é permitido, a menos que você ou uma afiliada tenha tido mais de 100 milhões de usuários ativos mensais ou mais de 1 bilhão de RMB de receita anual; nesse caso, é preciso uma licença separada. Ela também impede usar o modelo para melhorar outros modelos de IA, exceto os não comerciais, e proíbe usos de alto risco.

  • Uso comercial gratuito apenas abaixo de um teto de receita
  • Política de uso aceitável se aplica

Mais sobre NetEase Youdao Model Use

Perguntas frequentes

O que é Confucius4-R2T2?
O Confucius4-R2T2 transforma fala em texto enquanto a pessoa fala, e as palavras que ele mostra nunca mudam depois. Isso evita a cintilação vista em muitas legendas ao vivo e permite que o software aja sobre a transcrição na hora. Funciona melhor para chinês e inglês, e pode ser usado comercialmente de graça abaixo de certos limites de grande empresa.
Posso usar Confucius4-R2T2 comercialmente?
Sim, com condições. Confucius4-R2T2 é lançado sob a NetEase Youdao Model Use, que permite uso comercial, mas adiciona regras extras: Uso comercial gratuito apenas abaixo de um teto de receita; Política de uso aceitável se aplica. Leia o texto da licença antes de lançar um produto.
Confucius4-R2T2 é de código aberto?
Confucius4-R2T2 é de pesos abertos, não de código aberto no sentido estrito. Você pode baixar os arquivos do modelo, mas a NetEase Youdao Model Use adiciona condições que a definição da Open Source Initiative não permite.
Consigo rodar Confucius4-R2T2 no meu próprio computador?
Sim. A menor variante, Confucius4-R2T2, precisa de cerca de 4.69 GB de memória em precisão de 4 bits, o que cabe em um notebook moderno ou em uma placa de vídeo intermediária.
Quando Confucius4-R2T2 foi lançado?
Confucius4-R2T2 foi lançado por NetEase Youdao em setembro de 2026.

Links oficiais

Fontes

As especificações vêm destas fontes primárias. As afirmações de benchmark, quando mencionadas, são informadas pelo desenvolvedor.

Data de lançamento e fatos verificados pela última vez em 11 de novembro de 2026.

Modelos relacionados

Modelo Lançamento Parâmetros Contexto Licença Memória da menor variante
Qwen3-ASR EN Alibaba Qwen 918M – 2.35B – Apache 2.0 (Permissiva) 2.12 GB Notebook ou celular
Voxtral Realtime EN Mistral AI 4.43B 128K Apache 2.0 (Permissiva) 10 GB Notebook ou celular
Nemotron 3.5 ASR EN NVIDIA 638M – OpenMDW-1.1 (Permissiva) 2.93 GB Notebook ou celular
Nemotron 3.5 Transcribe EN NVIDIA 34B 4.3B ativos 64K OpenMDW-1.1 (Permissiva) 25 GB GPU gamer