Treinamento consciente de quantização (QAT)
O treinamento consciente de quantização ensina o modelo a trabalhar com pesos de baixa precisão enquanto ainda está sendo treinado, então perde menos qualidade em 4 bits do que um modelo comprimido depois.
A quantização comum converte um modelo de 16 bits pronto para menos bits, e a perda de qualidade cresce conforme os bits diminuem. No QAT, a baixa precisão faz parte do treinamento, então os pesos se adaptam a ela. O Nanbeige4.3-33B-INT4 foi construído assim, com destilação do modelo BF16 e aprendizado por reforço no próprio modelo INT4, e o resultado tem cerca de 23 GB, embora a ficha do modelo não apresente pontuações para ele.
Alguns desenvolvedores agora publicam pesos de baixa precisão como o lançamento principal. A Moonshot entrega o Kimi K2.7 Code nativamente em INT4, com cerca de 595 GB, e o MiniMax M3.1 Flash é lançado já comprimido para cerca de 4 bits. Geralmente é mais seguro começar com os arquivos de baixa precisão do próprio desenvolvedor e testá-los nas suas tarefas antes de confiar em uma conversão de terceiros.
Termos relacionados
- Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
- Precisão (BF16, FP8, INT4) Precisão é quantos bits são usados para armazenar cada número em um modelo, como BF16 de 16 bits, FP8 de 8 bits ou INT4 de 4 bits; menos bits significam um modelo menor e mais rápido.
- Destilação A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.
- Aprendizado por reforço (RL) O aprendizado por reforço treina um modelo premiando bons resultados, como uma resposta correta ou passar em testes, em vez de copiar texto de exemplo.