Token

Un token es un pequeño trozo de texto, a menudo una palabra o parte de una palabra, que un modelo de lenguaje lee y escribe; los modelos miden longitud y velocidad en tokens.

  • Lo básico
  • Actualización

Antes de que un modelo lea el texto, un tokenizador lo divide en tokens. En inglés, un token equivale de media a unas tres cuartas partes de una palabra, así que 1.000 tokens son unas 750 palabras. La división exacta depende del tokenizador, y otros idiomas y el código suelen necesitar más tokens para el mismo contenido.

Los límites y las velocidades se indican en tokens. La ventana de contexto es el número máximo de tokens que un modelo puede considerar a la vez, y la velocidad de generación se informa en tokens por segundo.

Términos relacionados

  • Ventana de contexto La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo puede tener en cuenta a la vez, incluidos tu prompt y su propia respuesta.
  • Inferencia La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.

Todos los términos