Embeddings matrioska
Os embeddings matrioska são treinados para que a primeira parte do vetor funcione por si só, o que permite cortar o vetor mais curto para economizar armazenamento e tempo de busca.
Um vetor de embeddings normal tem comprimento fixo, por exemplo 1.024 números, e todos eles são necessários. Um modelo treinado com aprendizado de representação matrioska concentra as informações mais úteis nos primeiros números, como bonecas russas encaixáveis. Você pode manter apenas os primeiros 256 ou 128 números, perder um pouco de precisão e deixar o índice de vetores várias vezes menor.
Os model cards do EmbeddingGemma 2, do Granite Embedding R2 e do Jina Embeddings v5 descrevem treinamento matrioska ou redução de dimensionalidade, e o Qwen3-Embedding permite escolher o comprimento do vetor. Use apenas os comprimentos para os quais o modelo foi treinado e teste novamente a qualidade da recuperação depois de truncar, porque a perda depende dos seus dados.
Termos relacionados
- Modelo de embeddings Um modelo de embeddings converte texto, imagens ou outros dados em uma lista de números que captura seu significado, de modo que itens semelhantes acabam próximos uns dos outros.
- Geração aumentada por recuperação (RAG) A geração aumentada por recuperação permite que um modelo responda com base nos seus próprios documentos recuperando os trechos relevantes e adicionando-os ao prompt.
- Reranker Um reranker repontua uma lista curta de resultados de busca lendo a pergunta e cada resultado juntos, o que é mais lento mas mais preciso do que só embeddings.