컨텍스트 윈도우(Context window)

컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.

  • 기초 개념
  • 업데이트

128K 윈도우는 약 12만8천 토큰, 대략 300페이지짜리 책 한 권 분량이고, 1M 윈도우는 그 여덟 배입니다. 모델이 활용하기를 바라는 모든 것, 예컨대 문서, 채팅 기록, 지시는 모두 윈도우 안에 들어가야 하며, 모델이 쓰는 답변 자리도 함께 있어야 합니다.

긴 윈도우는 대용량 문서와 코드베이스에 도움이 되지만 메모리를 대가로 요구합니다. 대화를 저장하는 KV 캐시는 토큰 수에 비례해 커지므로, 자신의 머신에서 아주 긴 컨텍스트를 쓰려면 가중치만 필요할 때보다 훨씬 많은 메모리가 듭니다. 광고하는 윈도우는 어디까지나 최대치이기도 합니다. 아주 긴 입력에서는 품질이 떨어질 수 있으니 자신의 자료로 테스트하세요.

관련 용어

  • 토큰(Token) 토큰은 언어 모델이 읽고 쓰는 작은 텍스트 조각으로, 보통 단어나 단어의 일부이며, 모델은 길이와 속도를 토큰 단위로 셉니다.
  • KV 캐시 KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.
  • VRAM VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

전체 용어