MemT-1.0

MemTensor 的原生记忆模型,把固定大小的记忆状态做进模型内部,Nano 基于 Qwen3.6,Flash 基于 DeepSeek-V4-Flash。

一句话概括. MemT-1.0 是一对内置记忆的开放 AI 模型。它不用每次重读整段对话,而是维护一个紧凑的记忆状态,每轮对话后更新,之后还可以保存和加载。其中一个模型基于阿里的 Qwen3.6,另一个基于 DeepSeek-V4-Flash。

概述

MemTensor 是 MemOS 记忆框架背后的公司,于 2026 年 10 月 15 日在 Hugging Face 发布了 MemT-1.0-Nano,Flash 模型在 10 月 17 日跟进,技术报告在 10 月 19 日发布。每个模型都以一个现有的混合专家模型为骨干,Nano 用 Qwen3.6-35B-A3B,Flash 用 DeepSeek-V4-Flash,并加入可训练的记忆参数,Nano 为 451M,Flash 为 3.61B。局部记忆块保存一个多通道记忆矩阵,随着对话进行不断变化;超记忆块则增加了可训练的查询、键和值投影,以及擦除、写入、遗忘和输出门。生成时,记忆注意力读取当前状态,并把结果加到骨干模型的注意力输出上,每轮结束时由 Gated DeltaNet-2 更新把新信息写入状态。

MemTensor 称,无论历史多长,持久状态的大小都保持不变。在 128K token 的历史长度下,报告给出 Nano 的持久存储比完整上下文 KV 缓存少约 66 倍,端到端约快 1.86 倍。在 11 个记忆基准上,模型卡称 Flash 和 Nano 在它评测的参数化记忆方法中分列第一和第二,报告称它们与检索增强方法相比有竞争力,但模型卡也承认,强大的文本记忆系统总体上仍然领先,尤其是在需要从长历史中检索详细证据的任务上。一个编程智能体演示把检索到的经验存进原生记忆,所以不占用任务提示词的空间。

两个模型都需要自定义代码。模型卡要求 Python 3.11 或更高、CUDA 13 版本的 PyTorch 2.11.0、Transformers 5.12.1 和 trust_remote_code,它的会话对象可以在开启记忆的情况下聊天,把状态保存为 safetensors 文件,并在不加载明文对话的情况下恢复。权重只有 bf16,Nano 约 70.2 GB,Flash 约 576 GB,MemTensor 没有发布量化版本。Nano 采用 Apache 2.0,Flash 采用 MIT,与各自的骨干模型一致。截至 2026 年 11 月 11 日的 30 天内,Hugging Face 统计 Nano 约有 8.9 万次下载,Flash 约 5.7 万次。配置文件带有骨干模型的位置上限,Nano 为 262,144 token,Flash 为 1,048,576 token,但模型卡本身没有写明上下文长度。

适合做什么

  • 研究把记忆做进模型内部、而不是通过检索外挂的研究者
  • 需要跨会话保存用户事实,又不想把对话记录留在提示词里的助手,可以用保存和恢复记忆文件的方式
  • 长时间运行的智能体,因为模型卡中的编程方案会复用过去的经验,而不把它加进任务上下文
  • 想要在已知骨干模型上使用 Apache 2.0 或 MIT 许可证记忆模型的团队

需要注意

  • 模型卡称强大的文本记忆系统总体上仍然领先,尤其是任务需要从长历史中取得详细证据时,所以要拿检索基线做对比测试
  • 记忆以潜在状态而不是可读文本的形式保存,模型卡里也没有展示如何查看或删除某一条记忆
  • 它需要自定义代码、精确的库版本和 CUDA 13,而且只有 bf16 权重,所以本站较小的 4 位显存估算并不适用
  • 基准结果是以图片形式发布的,模型卡正文里没有数字,速度和存储的数字都是 MemTensor 自己的

性能数据来自开发方,未经独立验证。

需要多少内存?

以下为 MemT-1.0-Nano 版本的估算。混合专家模型虽然每个 token 只用到部分专家,但所有专家都必须装进内存:总参数量决定所需内存,激活参数量决定速度。

版本 参数量 BF16 FP8 / INT8 4-bit (Q4) 可运行于
MemT-1.0-Nano BF16 35.1B 激活 3B 81 GB 40 GB 24 GB 游戏显卡
MemT-1.0-Flash BF16 288B 激活 17B 662 GB 331 GB 199 GB 大内存台式机

估算方法:权重大小加约 15% 的运行开销。实际占用会随上下文长度增长,也取决于所用的软件。

显存计算器

许可证,用大白话说

最常见的宽松型许可证之一。你可以使用、修改模型并基于它销售产品,只需遵守少量条件。

进一步了解 Apache 2.0

常见问题

MemT-1.0 是什么?
MemT-1.0 是一对内置记忆的开放 AI 模型。它不用每次重读整段对话,而是维护一个紧凑的记忆状态,每轮对话后更新,之后还可以保存和加载。其中一个模型基于阿里的 Qwen3.6,另一个基于 DeepSeek-V4-Flash。
MemT-1.0 可以商用吗?
可以。MemT-1.0 采用 Apache 2.0 发布,这是一种宽松许可证。只要遵守常规条件(例如保留许可证声明),就可以商用。
MemT-1.0 是开源的吗?
MemT-1.0 采用 Apache 2.0 发布,该许可证经开源促进会(OSI)认可。训练数据和训练代码不一定公开,因此更准确的说法是“采用开源许可证的开放权重模型”。
我能在自己的电脑上运行 MemT-1.0 吗?
可以,但需要一块好显卡。最小版本 MemT-1.0-Nano 在 4 位精度下约需 24 GB 内存,适合 24 至 32 GB 的游戏显卡,或 32 GB 及以上内存的 Mac。
MemT-1.0 是什么时候发布的?
MemT-1.0 由 MemTensor 于 2026年10月15日 发布。
MemT-1.0 的上下文窗口有多长?
MemT-1.0 支持最长 256K token 的上下文窗口。

官方链接

来源

规格数据来自以下一手资料。文中提到的基准测试结果由开发方自报。

发布时间等信息最近核实于 2026年11月11日。

相关模型

模型 发布时间 参数量 上下文 许可证 最小版本所需内存
Hy-Memory Tencent 30.1B 激活 3B 256K Apache 2.0 (宽松) 20 GB 游戏显卡
Qwen3.6 Alibaba Qwen 27.8B – 36B 激活 3B 256K Apache 2.0 (宽松) 19 GB 游戏显卡
DeepSeek V4 DeepSeek 284B – 1.6T 激活 49B 1M MIT (宽松) 176 GB 大内存台式机
Ornith 1.5 DeepReinforce 9.65B – 403B 激活 17B 256K MIT (宽松) 6.66 GB 笔记本或手机