Janela de contexto
A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo pode levar em conta de uma vez, incluindo o seu prompt e a resposta dele.
Uma janela de 128K comporta cerca de 128.000 tokens, aproximadamente um livro de 300 páginas, e uma janela de 1M é oito vezes isso. Tudo o que você quer que o modelo use, como documentos, histórico de chat e instruções, precisa caber dentro, junto com a resposta que ele escreve.
Janelas mais longas ajudam com documentos e bases de código grandes, mas custam memória. O cache KV que guarda a conversa cresce com o número de tokens, então usar um contexto muito longo na sua própria máquina exige muito mais memória do que apenas os pesos. A janela anunciada também é um máximo: a qualidade pode cair em entradas muito longas, então teste com o seu próprio material.
Termos relacionados
- Token Um token é um pequeno pedaço de texto, muitas vezes uma palavra ou parte de uma palavra, que um modelo de linguagem lê e escreve; os modelos medem comprimento e velocidade em tokens.
- Cache KV O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.
- VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.