Modelo de razonamiento

Un modelo de razonamiento trabaja un problema paso a paso en una fase de «pensamiento», visible u oculta, antes de dar su respuesta final.

  • Modelos y arquitectura
  • Actualización

Los modelos de razonamiento gastan tokens extra en pasos intermedios, lo que tiende a mejorar los resultados en matemáticas, programación y otros problemas de varios pasos. Algunos modelos abiertos incluyen un interruptor para activar o desactivar el pensamiento, cambiando precisión por velocidad y coste.

El pensamiento extra consume contexto y toma tiempo, así que un modelo de razonamiento no siempre es la mejor opción para chat simple o respuestas cortas. Al comparar modelos, comprueba si la puntuación del benchmark se midió con el pensamiento activado.

Términos relacionados

  • Token Un token es un pequeño trozo de texto, a menudo una palabra o parte de una palabra, que un modelo de lenguaje lee y escribe; los modelos miden longitud y velocidad en tokens.
  • Ventana de contexto La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo puede tener en cuenta a la vez, incluidos tu prompt y su propia respuesta.
  • Agente de IA Un agente de IA es un sistema en el que un modelo planifica y ejecuta tareas de varios pasos llamando a herramientas, como ejecutar código, buscar en la web o editar archivos.

Todos los términos