컨텍스트 윈도우(Context window)
컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
128K 윈도우는 약 12만8천 토큰, 대략 300페이지짜리 책 한 권 분량이고, 1M 윈도우는 그 여덟 배입니다. 모델이 활용하기를 바라는 모든 것, 예컨대 문서, 채팅 기록, 지시는 모두 윈도우 안에 들어가야 하며, 모델이 쓰는 답변 자리도 함께 있어야 합니다.
긴 윈도우는 대용량 문서와 코드베이스에 도움이 되지만 메모리를 대가로 요구합니다. 대화를 저장하는 KV 캐시는 토큰 수에 비례해 커지므로, 자신의 머신에서 아주 긴 컨텍스트를 쓰려면 가중치만 필요할 때보다 훨씬 많은 메모리가 듭니다. 광고하는 윈도우는 어디까지나 최대치이기도 합니다. 아주 긴 입력에서는 품질이 떨어질 수 있으니 자신의 자료로 테스트하세요.