리랭커(Reranker)
리랭커는 질문과 각 결과를 함께 읽어 짧은 검색 결과 목록에 점수를 다시 매기며, 임베딩만 쓸 때보다 느리지만 더 정확합니다.
임베딩 검색은 문서를 한 번만 벡터로 바꾸고 거리로 비교하므로 빠르지만, 질문과 문서가 서로를 절대 보지 않기 때문에 미묘한 일치를 놓칠 수 있습니다. 리랭커(보통 크로스 인코더)는 질문과 후보 하나를 함께 읽고 관련성 점수를 출력합니다. 일반적인 방식은 두 단계입니다. 임베딩 모델이 상위 50개 또는 100개 후보를 가져오고, 이어서 리랭커가 정렬합니다.
리랭커는 모든 쿼리에 지연을 더합니다. 후보마다 별도의 모델 실행이 필요하기 때문에 후보 목록은 짧게 유지하세요. 다만 Jina Reranker v3.5 같은 리스트형(listwise) 리랭커는 목록 전체를 한 번에 읽습니다. 리랭커는 임베딩 모델과 별개의 모델이며 자체 라이선스가 있으므로 따로 확인하세요. 예컨대 BGE-M3 모델 카드는 상위 결과 재채점에 BAAI의 bge-reranker 모델을 안내합니다.
관련 용어
- 임베딩 모델(Embedding model) 임베딩 모델은 텍스트나 이미지 같은 데이터를 그 의미를 담은 숫자 목록으로 바꿔서, 비슷한 항목들이 서로 가까운 위치에 놓이게 합니다.
- 검색 증강 생성(RAG) 검색 증강 생성(RAG)은 관련 문단을 검색해 프롬프트에 추가함으로써, 모델이 여러분 자신의 문서를 근거로 답하게 만듭니다.
- 마트료시카 임베딩(Matryoshka embeddings) 마트료시카 임베딩은 벡터의 앞부분만으로도 단독으로 동작하도록 학습되어, 벡터를 짧게 잘라 저장 공간과 검색 시간을 아낄 수 있습니다.