Modèle de raisonnement

Un modèle de raisonnement travaille un problème étape par étape dans une phase de « réflexion », visible ou cachée, avant de donner sa réponse finale.

  • Modèles et architecture
  • Mis à jour le

Les modèles de raisonnement dépensent des tokens supplémentaires sur des étapes intermédiaires, ce qui tend à améliorer les résultats en maths, en code et sur les autres problèmes à plusieurs étapes. Certains modèles ouverts incluent un interrupteur pour activer ou désactiver la réflexion, échangeant de la précision contre de la vitesse et du coût.

La réflexion supplémentaire consomme du contexte et prend du temps, donc un modèle de raisonnement n'est pas toujours le meilleur choix pour un chat simple ou des réponses courtes. En comparant des modèles, vérifiez si le score de benchmark a été mesuré avec la réflexion activée.

Termes associés

  • Token (jeton) Un token est un petit morceau de texte, souvent un mot ou une partie d'un mot, qu'un modèle de langage lit et écrit ; les modèles mesurent longueur et vitesse en tokens.
  • Fenêtre de contexte La fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un modèle peut prendre en compte à la fois, y compris votre prompt et sa propre réponse.
  • Agent d'IA Un agent d'IA est un système dans lequel un modèle planifie et exécute des tâches en plusieurs étapes en appelant des outils, comme exécuter du code, chercher sur le web ou modifier des fichiers.

Tous les termes