추측 디코딩과 멀티 토큰 예측(Speculative decoding)

추측 디코딩은 저렴한 드래프트가 여러 토큰을 미리 추측하고 전체 모델이 이를 한꺼번에 검사하게 하여 텍스트 생성 속도를 높입니다.

  • 하드웨어와 메모리
  • 업데이트

언어 모델은 보통 한 번에 토큰을 하나씩 생성하며, 각 토큰마다 모델을 완전히 한 번 통과해야 합니다. 추측 디코딩에서는 작은 드래프트 모델이나 모델 내부의 추가 예측 레이어가 다음 토큰 여러 개를 제안합니다. 그러면 메인 모델이 이를 한 번의 패스로 검사하고 자신이 동의하는 것만 유지하므로, 표준 구현에서는 출력이 모델이 혼자 썼을 때와 동일하며 단지 더 빠를 뿐입니다.

최근의 많은 모델은 이를 위해 멀티 토큰 예측(MTP) 레이어를 내장하고 있습니다. 예를 들어 Hy3와 DeepSeek V4, GLM-5 계열이 있으며, vLLM과 SGLang 같은 추론 서버가 이를 활용할 수 있습니다. 코드처럼 예측 가능한 텍스트에서 가장 효과가 크고, 약간의 추가 메모리가 필요합니다. 지원 상황과 설정은 도구마다 다르므로, 서버가 해당 모델의 MTP 레이어를 지원하는지 확인하세요.

관련 용어

  • 추론(Inference) 추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.
  • KV 캐시 KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.
  • 토큰(Token) 토큰은 언어 모델이 읽고 쓰는 작은 텍스트 조각으로, 보통 단어나 단어의 일부이며, 모델은 길이와 속도를 토큰 단위로 셉니다.

전체 용어