Apprentissage par renforcement (RL)

L'apprentissage par renforcement entraîne un modèle en récompensant les bons résultats, comme une réponse correcte ou des tests réussis, au lieu de copier un texte d'exemple.

  • Les bases
  • Mis à jour le

Dans l'entraînement ordinaire, un modèle apprend à imiter du texte. Dans l'apprentissage par renforcement, il essaie quelque chose, un score dit comment ça s'est passé, et le modèle est poussé vers les essais mieux notés. Le score peut venir d'un vérificateur, par exemple si le code passe ses tests ou si une réponse de maths est juste, ou d'un modèle qui tient lieu des préférences humaines.

Beaucoup de modèles de raisonnement et d'agents de code récents sont entraînés ainsi après coup ; MiMo V2.6 de Xiaomi et Ornith de DeepReinforce décrivent tous deux des entraînements par renforcement. Une récompense ne vaut que son vérificateur, donc le RL tend à améliorer un modèle sur les types de tâches pour lesquels il a été récompensé. Les résultats sont généralement rapportés par les développeurs eux-mêmes.

Termes associés

  • Modèle de raisonnement Un modèle de raisonnement travaille un problème étape par étape dans une phase de « réflexion », visible ou cachée, avant de donner sa réponse finale.
  • Fine-tuning (ajustement fin) Le fine-tuning poursuit l'entraînement d'un modèle pré-entraîné sur vos propres exemples pour qu'il se comporte mieux sur une tâche, un style ou un domaine précis.
  • Agent d'IA Un agent d'IA est un système dans lequel un modèle planifie et exécute des tâches en plusieurs étapes en appelant des outils, comme exécuter du code, chercher sur le web ou modifier des fichiers.

Tous les termes