Benchmark
Ein Benchmark ist ein standardisierter Test zum Vergleich von Modellen, etwa ein Satz Mathe-, Coding- oder Wissensfragen; die Scores sind nützlich, aber leicht überzuinterpretieren.
Entwickler veröffentlichen Benchmark-Scores in ihren Ankündigungen, und unabhängige Gruppen führen eigene Tests durch oder sammeln in Arenen menschliche Stimmen. Ein vom Entwickler gemeldeter Score ist selbst gemeldet, und die dahinterstehenden Einstellungen sind oft so gewählt, dass das Modell im besten Licht erscheint.
Benchmarks können kontaminiert sein, wenn Testfragen in die Trainingsdaten durchsickern, und ein hoher Score garantiert nicht, dass ein Modell zu Ihrer Aufgabe passt. Diese Seite kennzeichnet vom Entwickler gemeldete Zahlen als solche und empfiehlt, eine engere Auswahl von Modellen an Ihren eigenen Beispielen zu testen.
Verwandte Begriffe
- Reasoning-Modell Ein Reasoning-Modell arbeitet ein Problem Schritt für Schritt in einer sichtbaren oder verborgenen „Denk“-Phase durch, bevor es seine endgültige Antwort gibt.
- KI-Agent Ein KI-Agent ist ein System, in dem ein Modell mehrstufige Aufgaben plant und ausführt, indem es Tools aufruft, etwa Code ausführen, das Web durchsuchen oder Dateien bearbeiten.
- Halluzination Eine Halluzination ist eine selbstbewusst geäußerte, aber falsche oder erfundene Aussage eines KI-Modells.