Token
Un token es un pequeño trozo de texto, a menudo una palabra o parte de una palabra, que un modelo de lenguaje lee y escribe; los modelos miden longitud y velocidad en tokens.
Antes de que un modelo lea el texto, un tokenizador lo divide en tokens. En inglés, un token equivale de media a unas tres cuartas partes de una palabra, así que 1.000 tokens son unas 750 palabras. La división exacta depende del tokenizador, y otros idiomas y el código suelen necesitar más tokens para el mismo contenido.
Los límites y las velocidades se indican en tokens. La ventana de contexto es el número máximo de tokens que un modelo puede considerar a la vez, y la velocidad de generación se informa en tokens por segundo.
Términos relacionados
- Ventana de contexto La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo puede tener en cuenta a la vez, incluidos tu prompt y su propia respuesta.
- Inferencia La inferencia es ejecutar un modelo ya entrenado para obtener una salida, por ejemplo responder a un prompt, en contraste con entrenarlo.