Benchmark (prueba de referencia)
Un benchmark es una prueba estandarizada para comparar modelos, como un conjunto de preguntas de matemáticas, programación o conocimiento; las puntuaciones son útiles pero fáciles de sobreinterpretar.
Los desarrolladores publican puntuaciones de benchmarks en sus anuncios, y grupos independientes hacen sus propias pruebas o recogen votos humanos en arenas. Una puntuación comunicada por el desarrollador es autoinformada, y los ajustes detrás de ella suelen elegirse para mostrar al modelo en su mejor momento.
Los benchmarks pueden contaminarse si las preguntas de test se filtran en los datos de entrenamiento, y una puntuación alta no garantiza que el modelo encaje con tu tarea. Este sitio etiqueta las cifras comunicadas por desarrolladores como tales, y recomienda probar una lista corta de modelos con tus propios ejemplos.
Términos relacionados
- Modelo de razonamiento Un modelo de razonamiento trabaja un problema paso a paso en una fase de «pensamiento», visible u oculta, antes de dar su respuesta final.
- Agente de IA Un agente de IA es un sistema en el que un modelo planifica y ejecuta tareas de varios pasos llamando a herramientas, como ejecutar código, buscar en la web o editar archivos.
- Alucinación Una alucinación es una afirmación falsa o inventada que un modelo de IA expresa con total seguridad.