Aprendizaje por refuerzo (RL)
El aprendizaje por refuerzo entrena a un modelo premiando los buenos resultados, como una respuesta correcta o superar pruebas, en lugar de copiar texto de ejemplo.
En el entrenamiento ordinario, un modelo aprende a imitar texto. En el aprendizaje por refuerzo, prueba algo, una puntuación indica cómo le fue, y el modelo se empuja hacia los intentos que puntuaron más alto. La puntuación puede venir de un verificador, por ejemplo si el código pasa sus pruebas o si una respuesta de mates es correcta, o de un modelo que hace de las preferencias humanas.
Muchos modelos de razonamiento y agentes de código recientes se post-entrenan así; MiMo V2.6 de Xiaomi y Ornith de DeepReinforce describen sendas ejecuciones de aprendizaje por refuerzo. Una recompensa es tan buena como su verificador, así que el RL tiende a mejorar un modelo en los tipos de tarea por los que fue premiado. Los resultados suelen reportarlos los propios desarrolladores.
Términos relacionados
- Modelo de razonamiento Un modelo de razonamiento trabaja un problema paso a paso en una fase de «pensamiento», visible u oculta, antes de dar su respuesta final.
- Ajuste fino (fine-tuning) El ajuste fino continúa el entrenamiento de un modelo preentrenado con tus propios ejemplos para que se comporte mejor en una tarea, un estilo o un dominio concretos.
- Agente de IA Un agente de IA es un sistema en el que un modelo planifica y ejecuta tareas de varios pasos llamando a herramientas, como ejecutar código, buscar en la web o editar archivos.