증류(Distillation)

증류는 더 작은 '학생' 모델이 더 큰 '교사' 모델을 모방하도록 학습시키는 방법으로, 크기는 훨씬 작으면서도 교사 모델의 능력 대부분을 유지합니다.

  • 모델과 아키텍처
  • 업데이트

학생 모델은 원시 데이터만이 아니라 교사 모델의 출력에서 배웁니다. 많은 소형 모델이 이 방식으로 뛰어난 성과를 내며, 이미지 모델을 빠르게 만들 때에도 쓰입니다. 증류된 FLUX Klein은 증류하지 않은 Base 버전보다 필요한 샘플링 단계 수가 훨씬 적습니다.

모델의 출력을 다른 모델 학습에 쓰는 것을 제한하는 라이선스도 있으므로, 오픈 모델에서 자신의 모델로 증류하기 전에 라이선스 조항을 확인하세요.

관련 용어

  • 파인튜닝(Fine-tuning) 파인튜닝은 사전 학습된 모델의 학습을 자신의 예제로 이어서, 특정 작업·스타일·도메인에서 더 잘 동작하도록 만드는 것입니다.
  • 파라미터 파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.

전체 용어