Modelo de razonamiento
Un modelo de razonamiento trabaja un problema paso a paso en una fase de «pensamiento», visible u oculta, antes de dar su respuesta final.
Los modelos de razonamiento gastan tokens extra en pasos intermedios, lo que tiende a mejorar los resultados en matemáticas, programación y otros problemas de varios pasos. Algunos modelos abiertos incluyen un interruptor para activar o desactivar el pensamiento, cambiando precisión por velocidad y coste.
El pensamiento extra consume contexto y toma tiempo, así que un modelo de razonamiento no siempre es la mejor opción para chat simple o respuestas cortas. Al comparar modelos, comprueba si la puntuación del benchmark se midió con el pensamiento activado.
Términos relacionados
- Token Un token es un pequeño trozo de texto, a menudo una palabra o parte de una palabra, que un modelo de lenguaje lee y escribe; los modelos miden longitud y velocidad en tokens.
- Ventana de contexto La ventana de contexto es la cantidad máxima de texto, medida en tokens, que un modelo puede tener en cuenta a la vez, incluidos tu prompt y su propia respuesta.
- Agente de IA Un agente de IA es un sistema en el que un modelo planifica y ejecuta tareas de varios pasos llamando a herramientas, como ejecutar código, buscar en la web o editar archivos.