Ventana de contexto

La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo puede tener en cuenta a la vez, incluidos tu prompt y su propia respuesta.

  • Lo básico
  • Actualización

Una ventana de 128K contiene unos 128.000 tokens, aproximadamente un libro de 300 páginas, y una ventana de 1M es ocho veces eso. Todo lo que quieras que el modelo use, como documentos, historial de chat e instrucciones, tiene que caber dentro, junto con la respuesta que escribe.

Las ventanas más largas ayudan con documentos y bases de código grandes, pero cuestan memoria. La caché KV que guarda la conversación crece con el número de tokens, así que usar un contexto muy largo en tu propia máquina necesita mucha más memoria que solo los pesos. La ventana anunciada también es un máximo: la calidad puede bajar con entradas muy largas, así que prueba con tu propio material.

Términos relacionados

  • Token Un token es un pequeño trozo de texto, a menudo una palabra o parte de una palabra, que un modelo de lenguaje lee y escribe; los modelos miden longitud y velocidad en tokens.
  • Caché KV La caché KV es la memoria que usa un modelo para recordar los tokens anteriores de una conversación, y crece con la longitud del contexto.
  • VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.

Todos los términos