Benchmark (teste de referência)

Um benchmark é um teste padronizado usado para comparar modelos, como um conjunto de questões de matemática, programação ou conhecimento; as pontuações são úteis, mas fáceis de superinterpretar.

  • Usando modelos
  • Atualizado

Desenvolvedores publicam pontuações de benchmarks em seus anúncios, e grupos independentes rodam seus próprios testes ou coletam votos humanos em arenas. Uma pontuação relatada pelo desenvolvedor é autorrelatada, e as configurações por trás dela costumam ser escolhidas para mostrar o modelo da melhor forma.

Benchmarks podem ser contaminados se as questões de teste vazarem para os dados de treinamento, e uma pontuação alta não garante que o modelo sirva à sua tarefa. Este site rotula as cifras relatadas por desenvolvedores como tais e recomenda testar uma lista curta de modelos nos seus próprios exemplos.

Termos relacionados

  • Modelo de raciocínio Um modelo de raciocínio trabalha um problema passo a passo em uma fase de 'pensamento', visível ou oculta, antes de dar sua resposta final.
  • Agente de IA Um agente de IA é um sistema em que um modelo planeja e executa tarefas de várias etapas chamando ferramentas, como rodar código, pesquisar na web ou editar arquivos.
  • Alucinação Uma alucinação é uma afirmação falsa ou inventada produzida por um modelo de IA com toda a confiança.

Todos os termos