Modelo de raciocínio

Um modelo de raciocínio trabalha um problema passo a passo em uma fase de 'pensamento', visível ou oculta, antes de dar sua resposta final.

  • Modelos e arquitetura
  • Atualizado

Modelos de raciocínio gastam tokens extras em etapas intermediárias, o que tende a melhorar os resultados em matemática, programação e outros problemas de várias etapas. Alguns modelos abertos incluem um interruptor para ligar ou desligar o pensamento, trocando precisão por velocidade e custo.

O pensamento extra usa contexto e leva tempo, então um modelo de raciocínio nem sempre é a melhor escolha para chat simples ou respostas curtas. Ao comparar modelos, verifique se a pontuação do benchmark foi medida com o pensamento ligado.

Termos relacionados

  • Token Um token é um pequeno pedaço de texto, muitas vezes uma palavra ou parte de uma palavra, que um modelo de linguagem lê e escreve; os modelos medem comprimento e velocidade em tokens.
  • Janela de contexto A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo pode levar em conta de uma vez, incluindo o seu prompt e a resposta dele.
  • Agente de IA Um agente de IA é um sistema em que um modelo planeja e executa tarefas de várias etapas chamando ferramentas, como rodar código, pesquisar na web ou editar arquivos.

Todos os termos