我的位置: 上观号 > > 文章详情

给大模型装上“长效记忆”,这个开源让AI越用越会成长

转自: 2026-10-21 16:15:21

来源:人民日报

不用反复粘贴历史对话,大模型也能记住过往经验、持续迭代能力。10月20日,上海研发团队推出记忆原生模型MemT 1.0系列并正式开源,为大模型能力持续增长开辟新路径。

MemT 1.0包含288B参数的MemT-1.0-Flash与36B参数的MemT-1.0-Nano两款模型。团队在Transformer架构中嵌入原生记忆模块,让注意力机制与记忆注意力并行计算,把可更新、可持久保存的内部记忆融入模型前向传播。这套创新架构依托逐token稳定更新机制、混合存储扩容方案,搭配两阶段训练策略,实现信息写入、更新与选择性遗忘。

评测数据亮眼:在11项记忆基准测试中,两款模型包揽参数化记忆方法前两名。在编程智能体任务中,MemT-1.0-Nano在SWE-bench Verified数据集上成功率显著提升;面对128K、256K超长历史场景,推理速度大幅提速,记忆存储开销仅为完整上下文方案的约1/66。

长久以来,多数大模型依赖一次性上下文窗口读取信息,难以沉淀长期经验。MemT 1.0的突破,推动人工智能从单次推理走向持续积累、自主成长,可赋能智能客服、自动化研发、个性化服务等场景。目前,模型权重已在Hugging Face开放获取。团队透露,后续将攻坚长期记忆能力、扩容降本,探索跨任务经验整合,助力AI技术落地产业。