효율적 어텐션(희소·선형·하이브리드)
효율적 어텐션 설계는 볼 토큰을 줄이거나 과거를 압축하는 방식으로, 표준 어텐션보다 훨씬 적은 메모리와 연산으로 매우 긴 입력을 읽게 해 줍니다.
표준 어텐션은 모든 토큰을 앞선 모든 토큰과 비교하므로 연산량은 입력 길이의 제곱으로 늘어나고, KV 캐시도 토큰마다 커집니다. 100만 토큰 컨텍스트에서는 비용이 매우 큽니다. 희소 어텐션은 각 토큰이 앞선 토큰 가운데 선별된 일부만 보게 합니다. 선형 어텐션과 Mamba 같은 상태 공간 레이어는 과거를 고정 크기 상태로 압축합니다. 하이브리드 설계는 소수의 풀 어텐션 층과 다수의 저렴한 층을 섞어 사용합니다.
최근의 오픈 모델들이 이 아이디어를 활용합니다. DeepSeek V4, GLM 5.3, MiniMax M3는 희소 어텐션을 쓰고, Kimi K3.1 Pro는 선형 방식인 Kimi Delta Attention과 희소 어텐션을 결합하며, Qwen3.5와 Ling 3.1 Flash는 선형 어텐션 설계를, NVIDIA의 Nemotron 3 Ultra는 Mamba-2 층과 소수의 어텐션 층을 교차 배치합니다. 장점은 KV 캐시가 작아지고 긴 컨텍스트 제공 비용이 낮아진다는 점입니다. 대신 지원이 관건인데, 이런 모델은 특정 버전의 vLLM이나 SGLang 빌드를 요구하는 경우가 많고, 매우 긴 입력에서의 품질은 직접 소재로 테스트해 보아야 합니다.
관련 용어
- KV 캐시 KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.
- 컨텍스트 윈도우(Context window) 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
- 추론(Inference) 추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.
- 전문가 혼합 모델(MoE) 전문가 혼합 모델은 수많은 전문 서브네트워크를 담고 있으면서 토큰마다 그중 몇 개만 사용하기 때문에, 아주 크면서도 빠를 수 있습니다.