智能体记忆

智能体记忆让 AI 智能体在不同会话之间保留事实、偏好和过往经验,而不是每次都从空白上下文开始。

  • 使用模型
  • 更新于

大多数聊天模型只能看到当前上下文窗口里放得下的内容。智能体记忆则增加了一个比对话存活更久的存储。常见的设计是 Mem0 或 MemOS 这样的外部记忆框架:每次交流之后,由一个模型决定记下什么、措辞多精确,以及新事实应该如何更新旧事实,之后再通过检索步骤把相关条目取回来。腾讯的 Hy-Memory-30B-A3B 就是一个只为这个写入步骤训练的开放模型。

另一种做法是 MemTensor 的 MemT-1.0 所采用的,把记忆直接做进模型:一个固定大小的状态位于注意力层旁边,每轮对话后更新,可以保存成文件、以后再加载,所以旧对话不必一直留在提示词里。MemTensor 称在 128K token 的历史长度下,它的持久存储比 KV 缓存少约 66 倍,但它也说强大的文本记忆系统总体上仍然领先。

LoCoMo 和 LongMemEval 这样的记忆基准还很新,公布的表格来自开发方自己的测试,而且常常只用了子样本。存下来的记忆可能包含个人信息,所以要决定它们存放在哪里、用户怎样查看或删除,以及智能体被允许记住什么。

相关术语

  • AI 智能体 AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。
  • 检索增强生成(RAG) 检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
  • 上下文窗口 上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
  • KV 缓存 KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。

全部术语