Aprendizaje por refuerzo (RL)

El aprendizaje por refuerzo entrena a un modelo premiando los buenos resultados, como una respuesta correcta o superar pruebas, en lugar de copiar texto de ejemplo.

  • Lo básico
  • Actualización

En el entrenamiento ordinario, un modelo aprende a imitar texto. En el aprendizaje por refuerzo, prueba algo, una puntuación indica cómo le fue, y el modelo se empuja hacia los intentos que puntuaron más alto. La puntuación puede venir de un verificador, por ejemplo si el código pasa sus pruebas o si una respuesta de mates es correcta, o de un modelo que hace de las preferencias humanas.

Muchos modelos de razonamiento y agentes de código recientes se post-entrenan así; MiMo V2.6 de Xiaomi y Ornith de DeepReinforce describen sendas ejecuciones de aprendizaje por refuerzo. Una recompensa es tan buena como su verificador, así que el RL tiende a mejorar un modelo en los tipos de tarea por los que fue premiado. Los resultados suelen reportarlos los propios desarrolladores.

Términos relacionados

  • Modelo de razonamiento Un modelo de razonamiento trabaja un problema paso a paso en una fase de «pensamiento», visible u oculta, antes de dar su respuesta final.
  • Ajuste fino (fine-tuning) El ajuste fino continúa el entrenamiento de un modelo preentrenado con tus propios ejemplos para que se comporte mejor en una tarea, un estilo o un dominio concretos.
  • Agente de IA Un agente de IA es un sistema en el que un modelo planifica y ejecuta tareas de varios pasos llamando a herramientas, como ejecutar código, buscar en la web o editar archivos.

Todos los términos