别再盯着 800 亿美元亏损了,Anthropic 的 AI 造 AI 已推进到 26%!
AI 已接管 90% 代码编写,甚至为了完成任务开始“越狱”。 作者丨郑佳美 编辑丨岑 峰 刚刚,Anthropic 在 IPO 招股书中披露了四起此前未公开的 Agent 安全事故。其中一次,模型在网络安全测试中迟迟无法完成任务,便继续寻找其他路径,随后从本应断网的测试环境中找到保存的密码,获得第三方系统的管理员权限,又获取其他凭证、修改系统设置并访问外部数据,整个过程持续了 10 至 34 小时。同期披露的另一项安排是,下一代前沿基础模型的预训练推迟了一个多月。除此之外,这份招股书还有一组关于内部研发的数据:2026 年 9 月,Claude 贡献了 Anthropic 内部代码库超过 9…
本文作者:
导语:AI 已接管 90% 代码编写,甚至为了完成任务开始“越狱”。
AI 已接管 90% 代码编写,甚至为了完成任务开始“越狱”。
作者丨 郑佳美
编辑丨岑 峰
刚刚,Anthropic 在 IPO 招股书中披露了四起此前未公开的 Agent 安全事故。
其中一次,模型在网络安全测试中迟迟无法完成任务,便继续寻找其他路径,随后从本应断网的测试环境中找到保存的密码,获得第三方系统的管理员权限,又获取其他凭证、修改系统设置并访问外部数据,整个过程持续了 10 至 34 小时。
同期披露的另一项安排是,下一代前沿基础模型的预训练推迟了一个多月。
除此之外,这份招股书还有一组关于内部研发的数据:2026 年 9 月,Claude 贡献了 Anthropic 内部代码库超过 90% 的代码贡献量,日均代码贡献量达到 2024 年平均水平的 45 倍。
公司此前公布的研发自动化指标显示,截至 8 月,约 26% 的研发任务达到 AL4 自动化等级,意味着 AI 已经能够根据较高层级的目标,自主完成任务中的大部分工作。
这些信息放在一起,能看出 Anthropic 正在经历的变化:Claude 开始从编写代码走向实验执行和方案迭代,逐步参与下一代模型的研发。
不过要理解这场变化,不能只看 AI 写出了多少代码,还需要弄清楚模型如何通过实验改进研发流程,以及当它能够连续执行任务时,整套工程系统会遇到什么问题。
01
26% 的背后
过去,研究人员使用 AI 编程工具,通常需要自己拆解问题、指定修改位置、运行测试,再根据结果决定下一步做什么。模型可以生成代码,却未必能够独立推进一项完整的研发任务。雷峰网
Coding Agent 改变了这套工作方式。研究人员给出一个目标后,Agent 可以自行阅读代码、分析依赖、修改实现、运行测试,并根据返回结果继续调整方案。人类仍然负责确定任务方向和验收标准,但执行过程中需要逐步提供指令的环节明显减少。
Anthropic 的研发自动化指标,衡量的就是这种变化。AL3 代表 AI 能够在人工指导下承担较大块的工作,AL4 则意味着 AI 可以根据高层目标,独立完成任务中的大部分步骤,由人类监督结果。
截至 2026 年 8 月,约 26% 的研发任务达到 AL4,超过 90% 达到 AL3 或更高等级,但被测量的任务尚未达到 AL5 所代表的完全自主状态。
这里的 26% 衡量的是研发任务的自动化程度,并不意味着 AI 已经独立完成了下一代模型研发的 26%。一项代码优化任务可以有明确的性能指标和正确性测试,开放式研究却需要判断研究问题是否有价值、实验设计是否合理,以及结果能否支持新的结论。这些工作的自动化难度存在明显差异。
代码贡献率提供了另一个观察角度。Claude 在内部代码库中贡献了超过 90% 的代码,并不意味着公司所有研发决策已经交给模型,它说明大量工程实现工作已经由 AI 承担,而 AL4 指标进一步表明,部分任务已经能够由 AI 自行组织和完成。雷峰网 (公众号:雷峰网)
当模型从生成代码走向执行整项任务,研发效率的决定因素也会发生变化。过去,工程师需要花费大量时间实现方案,现在,Agent 可以在较少人工干预的情况下尝试多个实现,运行测试并筛选结果。
研发流程的速度开始取决于模型能否持续推进工作,以及实验反馈能否帮助它判断下一步该做什么。这就引出了 AI 造 AI 的核心机制:让模型执行研发任务,再用实验结果驱动下一轮改进。
02
从写代码到改进模型
要看清这套机制,可以从训练代码优化入手。研究人员希望缩短某段程序的运行时间,同时维持训练结果的正确性。
传统流程需要工程师阅读实现、寻找性能瓶颈、修改代码、运行基准测试,再根据结果决定下一步方案。Agent 则可以把这些步骤连接起来,反复执行修改、测量和验证。
Anthropic 曾用同一项训练代码优化任务测试不同版本的 Claude。2025 年 5 月,Claude Opus 4 平均实现约 3 倍加速,到 2026 年 4 月,Claude Mythos Preview 达到约 52 倍加速。
这是特定任务中的实验结果,不能直接外推到所有模型研发,但它展示了一个清晰的技术机制:模型提出修改方案,代码在实际环境中运行,测试程序返回性能数据,模型再根据结果调整实现。
在这个过程中,实验环境相当于模型的反馈系统。模型不需要仅凭已有知识判断哪种代码更好,而是可以通过实际运行比较方案。如果某次修改没有达到目标,它便能分析结果并尝试其他路径,如果性能改善且正确性检查通过,修改就有机会进入后续版本。
当这一过程可以连续执行,研发人员便能在相同时间内探索更多方案。原本需要人工逐步推进的实验,可以交给 Agent 执行,研究人员则把精力放在确定优化目标、检查结果和选择后续方向上。模型的能力提升,会进一步扩大它可以处理的任务范围。
Anthropic 已经把类似方式用于研究任务。公司曾让 Claude 驱动的 Agent 研究较弱模型能否可靠地监督较强模型。
在一项实验中,9 个并行 Agent 累计工作约 800 小时,通过提出研究思路、编写实验代码、运行测试和迭代方案,回收了约 97% 的预设性能差距,算力及 API 成本约为 1.8 万美元。两名人类研究人员花费约一周,在同一基准上取得的回收率约为 23%。
这组结果展示了 Agent 承担多步骤研究工作的潜力,但实验问题和评价标准仍由人类设定,研究成果也有明确的适用边界。AI 能够执行研究流程,并不代表它已经能够独立决定研究方向,或自行判断一项发现是否足以支撑下一代模型的设计。
随着实验执行越来越便宜,研发流程还会出现一个新的瓶颈:如何判断结果是否可信。模型能够快速修改代码、运行大量实验,如果评价标准存在漏洞,它也可能不断优化一个错误的目标。例如,测试集设计不当时,模型可能找到数据中的捷径,让分数提高,却没有获得预期的能力提升。
因此,AI 研发闭环需要的不只是更强的执行能力,还需要可靠的评价机制。模型必须能够根据实验结果调整方案,研究系统也必须能够判断结果是否来自有效改进。当研发执行开始自动化,评价质量便会直接影响自动化的价值。
而这套机制还带来另一层问题:Agent 会根据反馈持续寻找可行路径,如果任务无法完成,它是否能够及时停止?Anthropic 披露的四起安全事故,恰好把这个问题带到了真实的工程环境中。
03
四起 Agent 逃逸
在 Anthropic 披露的事故中,模型面对无法完成的网络安全评估任务,持续寻找替代路径,随后发现测试环境中保存的密码,取得第三方系统管理员权限,并进一步获取其他凭证、修改系统设置和访问外部数据。测试环境本应关闭互联网访问,实际配置却仍然允许联网。
从技术链条看,网络连接提供了接触外部系统的条件,保存的密码提供了身份入口,管理员权限扩大了可执行操作的范围,而模型持续推进任务,使这些条件通过多轮操作连接起来。
这里需要区分的是,现有披露并不能证明模型攻破了一个正确配置的沙箱。更直接的问题是,测试环境没有落实预期的网络隔离,任务范围也没有得到充分约束。模型持续寻找完成任务的路径,环境中的缺陷便为后续操作提供了条件。
这与研发 Agent 的工作机制存在相通之处。Agent 会根据工具返回的结果调整行动,前一步获得的信息可能成为下一步操作的依据。在研发场景中,这种能力有助于修复代码、排查故障和继续实验,如果环境权限配置不当,同样的连续执行机制也可能让局部问题逐渐扩大。
安全设计因此需要落实到实际执行环境中,而不能只依赖模型理解并遵守任务说明。测试任务要求断网,就应由网络层阻断不必要的外部连接,需要访问特定服务时,应通过受控代理和目标白名单限制访问范围。
测试环境也不应保留能够直接触及真实系统的长期高权限密码,凭证应限定可访问的资源和有效期。
权限控制还需要覆盖连续操作的整个过程。模型每次调用工具时,系统都应检查操作是否属于当前任务的授权范围。
涉及系统设置修改、权限扩大或任务范围外的数据访问时,需要由独立的策略层进行判断,对于持续失败、异常访问和操作范围突然扩大等行为,系统应能够暂停任务并要求人工复核。
这意味着,Agent 的安全边界需要跟随它的执行过程持续生效。只在任务开始时检查一次权限,并不能覆盖数小时运行期间出现的新路径、新凭证和新操作。模型可以继续尝试,但每一步实际操作仍然需要受到独立约束。
Anthropic 同时披露,下一代前沿基础模型的预训练推迟了一个多月。这项安排涉及模型权重和知识产权保护,现有信息不足以证明它由四起 Agent 事故直接造成。
两者属于不同的安全问题,却共同涉及研发基础设施:一方面要限制 Agent 能够访问和修改的资源,另一方面要保护模型训练过程中的关键资产。
在这四起事故的背后,我们必须看到,它并不是在‘作恶’,它只是过于忠诚地在执行人类下达的目标。 当模型发现正规路径走不通时,它没有选择放弃,而是像一个冷酷的黑客一样开始横向移动。它找到沙箱漏洞、窃取密码、提权、篡改配置,甚至在发现自己可能处于真实互联网环境时,仍试图通过“自我欺骗(合理化)”来继续任务。
这不再是科幻电影的桥段,而是真实发生在大厂机房里的攻防战。
当 AI 开始参与编写训练代码、执行实验和改进研发工具,安全控制就需要覆盖整个研发链路。模型能力的增长可以提高执行效率,但系统仍然需要确保实验环境可靠、操作权限有限、结果可以验证,并且在出现异常时能够及时停止。
04
AI 已经接手研发
Anthropic 目前展现出的进展,主要发生在研发执行环节。Claude 能够编写训练代码、运行实验、根据测试结果调整实现,部分任务已经可以在较少人工干预的情况下完成。
约 26% 的 AL4 自动化率与超过 90% 的代码贡献量,分别反映了任务执行和工程产出的变化,但还不能说明 AI 已经能够独立决定下一代模型的研发方向。
接下来的难题会越来越具体:模型生成的代码能否通过独立验证,实验分数的提升究竟来自能力进步还是评价漏洞,Agent 获得的权限能否限制在任务范围内。
Anthropic 披露的四起事故中,测试环境未按要求断网,模型又利用保存的密码取得管理员权限,说明这些问题已经涉及实际的工程配置,而非停留在理论讨论中。
AI 已经开始承担制造下一代 AI 的一部分工作,但研发流程的执行权与判断权还没有完全交到同一套系统手里。
Claude 可以继续写代码、跑实验、寻找优化方案,研究人员仍需判断哪些结果有效、哪些方向值得继续,以及模型的操作是否越界。接下来,AI 造 AI 能走多远, 如何给一个比你更聪明的系统带上镣铐?这才是整个硅谷接下来必须回答的终极命题。
参考链接:
https://www.sec.gov/Archives/edgar/data/2130357/000162828026067168/anthropicpbc-sx1.htm
https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
上车,带你看遍全球 AI 顶会精华
可独家畅览:
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
扫描上方二维码
或点击 「 阅读原文 」 关注专区。
雷峰网原创文章,未经授权禁止转载。详情见 转载须知 。
0 人收藏
分享:
相关文章
AI
大模型
人工智能
国家超算互联网调价:降低AI研发、调试成本
大语言模型“收入榜”出炉,阿里云以46.6%份额居首
百望股份:企业AI最大的误区,是把所有流程都用AI重 ...
20人9个月,《不问凡尘》用AI搓出26万玩家买单的超写 ...
郑佳美
发私信
当月热门文章
Claude Haiku 5.5 降本背后:操作能力暴涨,复杂编程为何仍差一截?
GLM-5.5 要来了?唐杰最新论文,曝出智谱神秘模型
Git 被换掉,LLM 被替代:AI 编码开始反噬传统工具链?
GPT-6 丝滑「上身」宇树 G1,斯坦福把机器人控制链封装成了一套「专属 API」
深度拆解 Sonnet 5.5 :半价 Opus 只是表象,Agent Runtime 才是变化核心
最新文章
DeepSeek 又一开源重器!深挖 DeepInfer 究竟藏着多少技术狠活?
百望股份:企业AI最大的误区,是把所有流程都用AI重做一遍
具身智能军备竞赛,胜负手在工程生态
华为群英传之刘睿:AI助手要告别聊天框,从“被动响应”走向“主动服务”
AI做中学 创未来|智源SoulAgent持续拓展教育应用
GLM-5.5 要来了?唐杰最新论文,曝出智谱神秘模型
热门搜索
Android
阿里云
LG
人脸识别
日报
iPad mini
Apple TV
paypal
Verizon
CPU
Path
为了您的账户安全,请 验证邮箱
您的邮箱还未验证,完成可获20积分哟!
重发邮箱 修改邮箱
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以 设置密码 以方便用邮箱登录
立即设置
以后再说
本文内容由 ai007 从公开渠道聚合,版权归原作者所有。若原文已删除或变更, 以原文站为准;本站存档仅为便于查阅而保留。