Benchmark (test de référence)

Un benchmark est un test standardisé servant à comparer des modèles, comme une série de questions de mathématiques, de code ou de connaissances ; les scores sont utiles mais faciles à surestimer.

  • Utiliser les modèles
  • Mis à jour le

Les développeurs publient des scores de benchmark dans leurs annonces, et des groupes indépendants mènent leurs propres tests ou recueillent des votes humains dans des arènes. Un score communiqué par le développeur est auto-déclaré, et les réglages derrière celui-ci sont souvent choisis pour montrer le modèle sous son meilleur jour.

Les benchmarks peuvent être contaminés si les questions de test fuient dans les données d'entraînement, et un score élevé ne garantit pas qu'un modèle convienne à votre tâche. Ce site étiquette comme tels les chiffres communiqués par les développeurs et recommande de tester une présélection de modèles sur vos propres exemples.

Termes associés

  • Modèle de raisonnement Un modèle de raisonnement travaille un problème étape par étape dans une phase de « réflexion », visible ou cachée, avant de donner sa réponse finale.
  • Agent d'IA Un agent d'IA est un système dans lequel un modèle planifie et exécute des tâches en plusieurs étapes en appelant des outils, comme exécuter du code, chercher sur le web ou modifier des fichiers.
  • Hallucination Une hallucination est une affirmation fausse ou inventée qu'un modèle d'IA avance avec assurance.

Tous les termes