강화 학습(RL)
강화 학습은 정답이나 테스트 통과 같은 좋은 결과에 보상을 주는 방식으로 모델을 훈련합니다. 예시 텍스트를 따라 하는 대신 말입니다.
일반 학습에서 모델은 텍스트를 모방하는 법을 배웁니다. 강화 학습에서는 모델이 무언가를 시도하고, 점수가 그 결과를 평가하며, 점수가 높았던 시도 쪽으로 모델이 조정됩니다. 점수는 검사기에서 나옵니다. 예컨대 코드가 테스트를 통과하는지, 수학 답이 맞는지 등입니다. 또는 인간의 선호를 대신하는 모델에서 나올 수도 있습니다.
최근의 많은 추론 모델과 코딩 에이전트는 이런 방식으로 후속 학습(post-training)을 합니다. Xiaomi의 MiMo V2.6과 DeepReinforce의 Ornith 모두 강화 학습 실행을 설명합니다. 보상은 검사기만큼밖에 좋지 않으므로, 강화 학습은 보상을 받은 종류의 작업에서 모델을 개선하는 경향이 있습니다. 결과는 보통 개발자들이 직접 보고합니다.
관련 용어
- 추론 모델(Reasoning Model) 추론 모델은 최종 답을 내기 전에 보이거나 숨겨진 '생각' 단계에서 문제를 한 걸음씩 풀어 나갑니다.
- 파인튜닝(Fine-tuning) 파인튜닝은 사전 학습된 모델의 학습을 자신의 예제로 이어서, 특정 작업·스타일·도메인에서 더 잘 동작하도록 만드는 것입니다.
- AI 에이전트 AI 에이전트는 모델이 도구를 호출하며 다단계 작업을 계획하고 수행하는 시스템입니다. 코드 실행, 웹 검색, 파일 편집 등이 그 예입니다.