마트료시카 임베딩(Matryoshka embeddings)
마트료시카 임베딩은 벡터의 앞부분만으로도 단독으로 동작하도록 학습되어, 벡터를 짧게 잘라 저장 공간과 검색 시간을 아낄 수 있습니다.
보통 임베딩 벡터는 길이가 고정되어, 예컨대 1024개 숫자 전부가 필요합니다. 마트료시카 표현 학습으로 학습된 모델은 가장 유용한 정보를 앞쪽 숫자에 담아 둡니다. 마치 네스팅 돌처럼요. 앞의 256개나 128개만 남겨 약간의 정확도를 희생하면 벡터 인덱스를 몇 배나 작게 만들 수 있습니다.
EmbeddingGemma 2, Granite Embedding R2, Jina Embeddings v5의 모델 카드는 마트료시카 학습이나 차원 축소를 설명하고, Qwen3-Embedding은 벡터 길이를 고를 수 있게 해 줍니다. 모델이 학습된 길이만 쓰고, 자른 뒤에는 검색 품질을 다시 테스트하세요. 손실의 크기는 여러분의 데이터에 따라 달라집니다.
관련 용어
- 임베딩 모델(Embedding model) 임베딩 모델은 텍스트나 이미지 같은 데이터를 그 의미를 담은 숫자 목록으로 바꿔서, 비슷한 항목들이 서로 가까운 위치에 놓이게 합니다.
- 검색 증강 생성(RAG) 검색 증강 생성(RAG)은 관련 문단을 검색해 프롬프트에 추가함으로써, 모델이 여러분 자신의 문서를 근거로 답하게 만듭니다.
- 리랭커(Reranker) 리랭커는 질문과 각 결과를 함께 읽어 짧은 검색 결과 목록에 점수를 다시 매기며, 임베딩만 쓸 때보다 느리지만 더 정확합니다.