에이전트 메모리(Agent memory)

에이전트 메모리는 AI 에이전트가 사실, 선호, 과거 경험을 세션 사이에서 유지하게 해서 매번 빈 컨텍스트부터 시작하지 않도록 합니다.

  • 모델 활용
  • 업데이트

대부분의 채팅 모델은 현재 컨텍스트 윈도우에 들어가는 내용만 볼 수 있습니다. 에이전트 메모리는 대화보다 오래 남는 저장소를 추가합니다. 흔한 설계는 Mem0나 MemOS 같은 외부 메모리 프레임워크로, 대화가 오갈 때마다 모델이 무엇을 기록할지, 어떻게 표현할지, 새로운 사실이 기존 사실을 어떻게 갱신할지를 결정하고, 이후 검색 단계가 관련 항목을 다시 불러옵니다. Tencent의 Hy-Memory-30B-A3B는 이 기록 단계만을 위해 학습된 오픈 모델입니다.

다른 방식은 MemTensor의 MemT-1.0이 택한 것으로, 메모리를 모델 안에 직접 넣습니다. 고정 크기의 상태가 어텐션 레이어 옆에 있어 턴마다 갱신되고, 파일로 저장했다가 나중에 불러올 수 있으므로 과거 대화를 프롬프트에 계속 담아둘 필요가 없습니다. MemTensor는 128K 토큰 길이의 대화 기록에서 KV 캐시보다 영구 저장 용량이 약 66분의 1로 줄어든다고 설명하지만, 동시에 텍스트 기반의 강력한 메모리 시스템이 전체적으로는 여전히 앞선다고도 말합니다.

LoCoMo, LongMemEval 같은 메모리 벤치마크는 역사가 짧고, 공개된 표는 개발자 자신의 실행 결과이며 흔히 일부 샘플만 대상으로 합니다. 저장된 메모리에는 개인 정보가 담길 수 있으므로, 어디에 보관할지, 사용자가 어떻게 확인하고 삭제할 수 있는지, 에이전트가 무엇을 기억해도 되는지를 정해야 합니다.

관련 용어

  • AI 에이전트 AI 에이전트는 모델이 도구를 호출하며 다단계 작업을 계획하고 수행하는 시스템입니다. 코드 실행, 웹 검색, 파일 편집 등이 그 예입니다.
  • 검색 증강 생성(RAG) 검색 증강 생성(RAG)은 관련 문단을 검색해 프롬프트에 추가함으로써, 모델이 여러분 자신의 문서를 근거로 답하게 만듭니다.
  • 컨텍스트 윈도우(Context window) 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
  • KV 캐시 KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.

전체 용어