Benchmark (teste de referência)
Um benchmark é um teste padronizado usado para comparar modelos, como um conjunto de questões de matemática, programação ou conhecimento; as pontuações são úteis, mas fáceis de superinterpretar.
Desenvolvedores publicam pontuações de benchmarks em seus anúncios, e grupos independentes rodam seus próprios testes ou coletam votos humanos em arenas. Uma pontuação relatada pelo desenvolvedor é autorrelatada, e as configurações por trás dela costumam ser escolhidas para mostrar o modelo da melhor forma.
Benchmarks podem ser contaminados se as questões de teste vazarem para os dados de treinamento, e uma pontuação alta não garante que o modelo sirva à sua tarefa. Este site rotula as cifras relatadas por desenvolvedores como tais e recomenda testar uma lista curta de modelos nos seus próprios exemplos.
Termos relacionados
- Modelo de raciocínio Um modelo de raciocínio trabalha um problema passo a passo em uma fase de 'pensamento', visível ou oculta, antes de dar sua resposta final.
- Agente de IA Um agente de IA é um sistema em que um modelo planeja e executa tarefas de várias etapas chamando ferramentas, como rodar código, pesquisar na web ou editar arquivos.
- Alucinação Uma alucinação é uma afirmação falsa ou inventada produzida por um modelo de IA com toda a confiança.