Modelo base (Base model)

Um modelo base é o resultado bruto do pré-treinamento, antes de ser ensinado a seguir instruções ou conversar; costuma ser o ponto de partida para o fine-tuning.

  • Modelos e arquitetura
  • Atualizado

O pré-treinamento em enormes quantidades de texto produz um modelo base que continua texto, mas não responde perguntas nem segue instruções de forma confiável. O pós-treinamento, como ajuste por instruções e, frequentemente, aprendizado por reforço, o transforma no modelo de chat ou 'instruct' que a maioria das pessoas usa. Um desenvolvedor que também lança o modelo base permite que você faça seu próprio pós-treinamento.

A palavra é usada de forma solta. Em modelos de linguagem, significa o checkpoint anterior ao ajuste por instruções, como o Inkling da Thinking Machines, lançado como base para customização. Em modelos de imagem como o Z-Image, 'base' significa o modelo não destilado, que é mais lento, mas gera resultados mais variados e é um melhor ponto de partida para fine-tuning do que a versão destilada Turbo, que é rápida.

Termos relacionados

  • Ajuste fino (fine-tuning) O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
  • Destilação A destilação treina um modelo estudante menor para imitar um modelo professor maior, mantendo grande parte da capacidade dele com uma fração do tamanho.
  • LoRA (adaptação de baixo posto) LoRA, sigla de low-rank adaptation, ajusta um modelo treinando um pequeno conjunto de pesos adicionais em vez de mudar todos os seus parâmetros.
  • Aprendizado por reforço (RL) O aprendizado por reforço treina um modelo premiando bons resultados, como uma resposta correta ou passar em testes, em vez de copiar texto de exemplo.

Todos os termos