Aprendizado por reforço (RL)
O aprendizado por reforço treina um modelo premiando bons resultados, como uma resposta correta ou passar em testes, em vez de copiar texto de exemplo.
No treinamento comum, um modelo aprende a imitar texto. No aprendizado por reforço, ele tenta algo, uma pontuação diz como foi, e o modelo é empurrado para as tentativas que pontuaram mais alto. A pontuação pode vir de um verificador, por exemplo se o código passa nos testes ou se uma resposta de matemática está certa, ou de um modelo que faz o papel das preferências humanas.
Muitos modelos de raciocínio e agentes de código recentes são pós-treinados assim; o MiMo V2.6 da Xiaomi e o Ornith da DeepReinforce descrevem execuções de aprendizado por reforço. Uma recompensa é tão boa quanto seu verificador, então o RL tende a melhorar um modelo nos tipos de tarefa pelos quais foi recompensado. Os resultados geralmente são reportados pelos próprios desenvolvedores.
Termos relacionados
- Modelo de raciocínio Um modelo de raciocínio trabalha um problema passo a passo em uma fase de 'pensamento', visível ou oculta, antes de dar sua resposta final.
- Ajuste fino (fine-tuning) O ajuste fino continua o treinamento de um modelo pré-treinado com seus próprios exemplos, para que ele se comporte melhor em uma tarefa, estilo ou domínio específicos.
- Agente de IA Um agente de IA é um sistema em que um modelo planeja e executa tarefas de várias etapas chamando ferramentas, como rodar código, pesquisar na web ou editar arquivos.