上下文语言模型：通过自主管理上下文提升性能、降低计算成本

作者：Sergio De Simone

CLM 提出将上下文建模为可自主编辑的动态文件，使 LLM 内生具备上下文管理能力，摆脱对人工设计压缩、检索或外存机制的依赖。实验表明其在任务性能与计算效率上均优于传统方法。

CLM 支持改写历史、保留关键事实、删除冗余信息；用户可通过自然语言指令引导上下文策略；可迭代生成并复用上下文管理技能文档。

适合大模型系统架构师、LLM 应用工程师、AI 平台研发人员阅读。

Meta、麻省理工学院与华盛顿大学的研究人员提出 上下文语言模型（Context Language Model，CLM），一种使语言模型能够自主管理和编辑自身上下文的新方法 。该方法不再依赖预定义的摘要、压缩和信息检索机制，在性能和计算效率方面均取得显著提升。

研究人员实现了一种让 LLM 自主管理上下文的机制，将上下文视为一个可以无限制更新的文件。这种方法为传统的上下文管理策略提供了一种替代方案，传统策略（如压缩、外存卸载和检索）用于防止上下文无限增长，但各有局限。摘要可能会丢失关键细节或引入错误，压缩通常使用预定义的规则集，而外部存储则需要智能体决定哪些信息需要重新载入上下文。

与之不同，CLM 可以改写历史消息、保留重要事实、删除无关信息、维护进度记录，并习得属于自身的上下文管理策略。研究人员强调，大模型能够学习超出现有人工设计方案的策略，有可能突破“现有的人类先验认知”。

将上下文管理从外部辅助控制转为模型的内在行为， 天然支持用于上下文管理的上下文学习和参数学习。我们首先表明，用户只需要告知智能体期望的策略，就能引导上下文管理行为。此外，CLM 可以迭代生成一份上下文技能文档，捕捉可用的上下文管理流程供后续复用。

CLM 能够习得的新能力包括：创建内部笔记、删除无关中间结果并保留有用内容、记录失败实验与待探索思路等。

研究人员探索了三种不同的上下文管理方法。第一种是零样本上下文管理，即 CLM 不接收特定训练。第二种是上下文学习，即通过自然语言指导 CLM 如何管理上下文，并通过迭代技能优化循环来改进策略。第三种是强化学习，即以任务成功为主要目标、计算效率为额外优化标准来学习上下文管理策略。

研究人员使用多个基准测试对 CLM 进行了评估，结果显示性能与计算效率均大幅提升。零样本 CLM 取得了以下成绩：

在 BrowseComp-Plus 数据集上，准确率提升 11.4%，浮点运算量减少了 21.5%；在 12 小时的 EdgeBench 任务上，得分提升 5%，浮点运算量减少 59%；在 24 小时多仓库智能体集群任务上，同等算力下性能提升幅度高出 65%。

采用上下文学习的 CLM 在 ContextBench 任务上最高提升 35.9 个百分点的准确率，同时算力消耗更低。强化学习方案将 Qwen3.5-9B 在 BrowseComp-Plus 上的准确率从 28.8% 提升至 42.5%，相对提升 47.6%，浮点运算量还减少了 12%。

研究人员也指出若干尚未解决的难题。首先，CLM 有可能丢弃后续无法找回的重要信息。其次，允许 CLM 编辑自身上下文会带来新的安全风险：可编辑上下文“会成为另一类通道，让提示词注入或模型自生成指令在多轮对话中持续留存”。最重要的是，更强的上下文控制权并不等价于更好的模型表现，模型仍可能在保留、修改或丢弃信息上做出错误判断。

在 X.com 上对该公告的评论中 ，@Rennix7t 警告说“论文中的准确性和算力结果来自特定任务”，而 @omarsar0 认为该方向很有研究价值，但对端到端信任模型自主管理上下文持保留态度，认为仍需更完善的解决方案。

在 Reddit 上， Combinatorilliance 认为 CLM 尚未达到生产就绪状态 ，他指出，重写上下文会使模型缓存失效，并且“研究人员所用的缓存技巧本身并不完美，存在一些需要考量的缺陷”。

查看英文原文： https://www.infoq.com/news/2026/10/context-language-models/

促进软件开发及相关领域知识与创新的传播

关于我们 我要投稿 合作伙伴 加入我们 关注我们

联系我们 内容投稿：editors@geekbang.com 业务合作：hezuo@geekbang.com 反馈投诉：feedback@geekbang.com 加入我们：zhaopin@geekbang.com 联系电话：010-64738142 地址：北京市朝阳区望京北路9号2幢7层A701

InfoQ 近期会议 上海 · QCon 全球软件开发大会 2026.10.22-24 北京 · AICon 全球人工智能开发与应用大会 2026.12.18-19

全球 InfoQ InfoQ En InfoQ Jp InfoQ Fr InfoQ Br

Copyright © 2026, Geekbang Technology Ltd. All rights reserved. 极客邦控股（北京）有限公司 | 京 ICP 备 16027448 号 - 5 京公网安备 11010502039052号 | 产品资质

</html