루프형 트랜스포머(Looped transformer)
루프형 트랜스포머는 자기 층의 일부를 토큰마다 여러 번 다시 실행하므로, 파라미터를 더 저장하지 않고도 더 많은 계산을 수행합니다.
보통 모델은 각 토큰을 모든 층을 한 번씩 통과시킵니다. 루프 모델은 가중치를 공유하는 층 블록을 재사용해 두 번 이상 실행함으로써, 저장 파라미터를 늘리지 않고 깊이를 더합니다. NVIDIA의 Dory1.0-4B는 20개 층짜리 블록을 1~4번 다시 실행하며, 횟수는 서버를 시작할 때 고릅니다. SenseTime의 SenseNova-Loop-9B-Preview는 32개 층을 저장하고 있으며, 그중 4~27번 층은 두 번 실행됩니다.
가중치는 작게 유지되지만 토큰 하나에 더 많은 시간이 듭니다. 또 Dory에서는 각 루프가 기본값으로 자기만의 KV 캐시를 두지만, '마지막 루프만' 모드를 쓰면 메모리를 한 루프 크기로 유지할 수 있습니다. 따라서 파라미터 수는 실제 작업량을 과소평가하고, 런타임 지원도 얕습니다. SenseNova-Loop는 커스텀 코드가 필요하고, Dory의 GGUF 경로는 특정 버전으로 고정된 llama.cpp 빌드를 요구합니다. 루프 모델을 계획에 넣기 전에 자기 도구가 지원하는지 확인하세요.
관련 용어
- 파라미터 파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.
- KV 캐시 KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.
- 추론 모델(Reasoning Model) 추론 모델은 최종 답을 내기 전에 보이거나 숨겨진 '생각' 단계에서 문제를 한 걸음씩 풀어 나갑니다.
- 효율적 어텐션(희소·선형·하이브리드) 효율적 어텐션 설계는 볼 토큰을 줄이거나 과거를 압축하는 방식으로, 표준 어텐션보다 훨씬 적은 메모리와 연산으로 매우 긴 입력을 읽게 해 줍니다.