Memória de agente (Agent memory)

A memória de agente permite que um agente de IA guarde fatos, preferências e experiências passadas entre sessões, em vez de começar de um contexto em branco a cada vez.

  • Usando modelos
  • Atualizado

A maioria dos modelos de chat só enxerga o que cabe na janela de contexto atual. A memória de agente adiciona um armazenamento que sobrevive à conversa. O desenho comum é um framework de memória externa como Mem0 ou MemOS: após cada interação, um modelo decide o que anotar, com quanta precisão redigir e como os fatos novos devem atualizar os antigos, e uma etapa de recuperação traz de volta mais tarde as entradas relevantes. O Hy-Memory-30B-A3B, da Tencent, é um modelo aberto treinado apenas para essa etapa de escrita.

Uma abordagem diferente, adotada pelo MemT-1.0 da MemTensor, embute a memória no próprio modelo. Um estado de tamanho fixo fica ao lado das camadas de atenção, é atualizado a cada turno e pode ser salvo em um arquivo e carregado depois, então a conversa antiga não precisa ficar no prompt. Segundo a MemTensor, com um histórico de 128K tokens isso exige cerca de 66 vezes menos armazenamento persistente que um cache KV, mas a empresa também diz que sistemas de memória baseados em texto ainda lideram no geral.

Benchmarks de memória como LoCoMo e LongMemEval são recentes, e as tabelas publicadas vêm das execuções dos próprios desenvolvedores, muitas vezes em subamostras. Memórias armazenadas podem conter informações pessoais, então decida onde elas ficam, como os usuários podem inspecioná-las ou excluí-las e o que o agente tem permissão de lembrar.

Termos relacionados

  • Agente de IA Um agente de IA é um sistema em que um modelo planeja e executa tarefas de várias etapas chamando ferramentas, como rodar código, pesquisar na web ou editar arquivos.
  • Geração aumentada por recuperação (RAG) A geração aumentada por recuperação permite que um modelo responda com base nos seus próprios documentos recuperando os trechos relevantes e adicionando-os ao prompt.
  • Janela de contexto A janela de contexto é a quantidade máxima de texto, medida em tokens, que um modelo pode levar em conta de uma vez, incluindo o seu prompt e a resposta dele.
  • Cache KV O cache KV é a memória que um modelo usa para lembrar os tokens anteriores de uma conversa, e ele cresce com o comprimento do contexto.

Todos os termos