Reranker

Um reranker repontua uma lista curta de resultados de busca lendo a pergunta e cada resultado juntos, o que é mais lento mas mais preciso do que só embeddings.

  • Modelos e arquitetura
  • Atualizado

A busca com embeddings é rápida porque os documentos são transformados em vetores uma vez e comparados por distância, mas pode perder correspondências sutis porque a pergunta e o documento nunca se veem. Um reranker, geralmente um cross-encoder, lê a pergunta e um candidato juntos e produz uma pontuação de relevância. A receita usual tem dois passos: um modelo de embeddings traz os 50 ou 100 primeiros candidatos, depois um reranker os ordena.

Rerankers adicionam atraso a cada consulta, porque cada candidato precisa de sua própria passada pelo modelo, então mantenha a lista de candidatos curta, embora rerankers listwise como o Jina Reranker v3.5 leiam a lista inteira de uma vez. Um reranker é um modelo separado do modelo de embeddings e tem licença própria, então verifique-a separadamente. A ficha do BGE-M3, por exemplo, aponta para os modelos bge-reranker da BAAI para repontuar os primeiros resultados.

Termos relacionados

  • Modelo de embeddings Um modelo de embeddings converte texto, imagens ou outros dados em uma lista de números que captura seu significado, de modo que itens semelhantes acabam próximos uns dos outros.
  • Geração aumentada por recuperação (RAG) A geração aumentada por recuperação permite que um modelo responda com base nos seus próprios documentos recuperando os trechos relevantes e adicionando-os ao prompt.
  • Embeddings matrioska Os embeddings matrioska são treinados para que a primeira parte do vetor funcione por si só, o que permite cortar o vetor mais curto para economizar armazenamento e tempo de busca.

Todos os termos