Token

Um token é um pequeno pedaço de texto, muitas vezes uma palavra ou parte de uma palavra, que um modelo de linguagem lê e escreve; os modelos medem comprimento e velocidade em tokens.

  • O básico
  • Atualizado

Antes de um modelo ler o texto, um tokenizador o divide em tokens. Em inglês, um token é, em média, cerca de três quartos de uma palavra, então 1.000 tokens são aproximadamente 750 palavras. A divisão exata depende do tokenizador, e outros idiomas e código costumam precisar de mais tokens para o mesmo conteúdo.

Limites e velocidades são citados em tokens. A janela de contexto é o número máximo de tokens que um modelo pode considerar de uma vez, e a velocidade de geração é informada em tokens por segundo.

Termos relacionados

  • Janela de contexto A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo pode levar em conta de uma vez, incluindo o seu prompt e a resposta dele.
  • Inferência Inferência é o ato de executar um modelo treinado para obter uma saída, por exemplo responder a um prompt, em oposição a treiná-lo.

Todos os termos