百度无人车搞出“黑客帝国”！世界模型实时推演全局，跑一天抵三年

连路人都有自己的想法

杰西卡 发自 凹非寺

100万公里 ——

大约是地月平均距离的2.6倍，足够沿着赤道绕地球25圈。

一套L4无人驾驶系统，如果要完成如此规模的真实路测，意味着什么？

按照单辆车 每天行驶150公里 计算，相当于连续行驶超过 6600天 。即便投入上百辆测试车同时上路，也要 耗时两个多月 。何况真实道路上的复杂情况，很多时候也不会按照测试计划出现。

很长一段时间内，这都是无人驾驶规模化发展面临的一道现实难题。每一次车队运营范围扩大、驾驶系统更新，往往都伴随着大量需要验证的交通场景。

但如今，这种在真实世界中费时费力的验证方式，有了新的思路。

刚刚， 百度Apollo正式披露了全新世界模型ApolloWorld 。它能够利用AI构建持续变化的虚拟交通环境，让无人车在其中经历不同天气、道路和交通参与者，完成一整趟Robotaxi行程。

无人车的加速、减速或者变道，都可能改变周围交通参与者的选择，进而演化出不同的结果。

啊这……看起来像是 自由度很高的交互式游戏 。

而这座虚拟城市，如今已经有了实际用途。

据介绍，ApolloWorld已开始应用于萝卜快跑无人车的全球化测试与验证，把更多原本需要在真实道路上完成的训练和验证，放到云端进行。

最直观的变化就是 效率 。

按照百度披露的数据， ApolloWorld一天完成的虚拟路测里程，相当于一辆配备安全员的真实测试车连续行驶大约三年。

这代表一度需要依靠大量车辆、人员和时间积累的部分测试任务，现在借助计算资源就能并行开展。

与之配合的车端技术也有了进展。百度新一代L4端到端模型架构，已在国内一定规模的车辆上投入实际运营，正逐步替换此前的传统方案。

世界模型提供虚拟训练和验证环境，驾驶模型在其中反复接受考验，再进入真实道路运行，直观理解就是 用AI来教AI开车 。

对于业务覆盖全球28座城市的萝卜快跑而言，这套技术体系恰好出现于全球化扩张加快的阶段。

随着无人车走进更多城市，研发需要应对的交通环境愈发复杂。而在真实道路上，最值得研究的那些意外，却常常最难遇见。

一座没有剧本的虚拟城市，跑一天抵三年

看过电影 《黑客帝国》 的朋友，大概都对那个由程序构成的世界印象深刻。不管是街道、建筑、车辆还是行人，看起来都和真实世界毫无二致，其背后却是一套 庞大的计算系统 在运转。

没想到只是二十多年过去，这套剧本中的虚拟世界，真的从电影走入了现实。

百度展示的ApolloWorld，生成的就是 各种供无人车行驶的虚拟城市 。不同之处在于， 虚拟城市里的交通参与者还能根据环境自行作出判断 。

比如一辆无人车行驶到高架入口，旁边支路上的汽车正准备汇入主路。

如果无人车选择驶上高架，支路车辆获得足够空间，就会顺势驶入主路。

但如果无人车改变路线，沿右侧辅路继续行驶，占据了原本的汇入空间，另一辆车也会改变决定，减速停车等待：

百度智能驾驶事业群组杰出架构师、世界模型负责人 杨泽博士 介绍，在这套系统中，世界模型团队采用了 多智能体驱动 的技术方案，虚拟道路上的车辆、行人等交通参与者，都被建模为具有 决策和互动能力的AI智能体 。

每个智能体都有自己的行动目标和行为逻辑，也会根据其他交通参与者的动作调整决定。

不仅是交通参与者，虚拟城市的交通状况也能自行调整，比如设置不同的稀疏、适中或密集的车流，或者改变其他车辆的驾驶风格，让其开得更谨慎或是更激进。

类似的复杂交互，以往可能需要无人车反复上路、等待特定情况出现，现在都可以主动组织到虚拟环境中。

不过真正要完成Robotaxi任务，仅仅是根据环境实现变道、避让等操作还远远不够。

真实情况下，一趟行程可能持续二三十分钟，途中经过数十个路口。

无人车每一次决策，都可能改变后续遇到的交通情况。它需要在连续变化的环境中完成整段驾驶任务，需要与大量交通参与者交互，前一次的驾驶决策还可能影响后面的行程。

ApolloWorld此次展示的，正是 完整行程级别的虚拟路测 。

在深圳滨海大道、香港机场附近等不同场景中，几辆无人车可以从同一地点出发，驶向不同目的地，周围交通参与者的行为、道路环境的变化，以及相机、激光雷达的观测数据，都由世界模型持续生成。

杨泽博士提到，支撑这套系统运行的，是 智能体交互建模、多视角多模态生成，以及完整驾驶闭环等技术的协同 。

简单理解，就是世界模型根据已有环境状态和车辆动作，预测下一时刻的交通变化；驾驶模型读取生成的传感器数据后，做出转向、加速或者制动决策，再把动作反馈给世界模型。

为了让生成速度跟上驾驶决策，百度还通过 知识蒸馏 等方法加快模型推理，使虚拟环境能够 实时响应 车辆动作。

一套AI负责构建道路环境、不断提供新的驾驶考验，另一套AI则在其中反复练习，两者的关系就像 教练与学员 。如此循环，无人车就能在持续变化的环境里完成驾驶任务。

如果驾驶系统在某个场景下作出错误判断，研发人员还可以 保留相同初始条件进行复现 ，调整周围车辆的行为，观察系统在不同情况下的表现。

没有固定剧本、可交互、可纠错、可溯源，这样的虚拟城市，由此具备了成为无人车训练场的条件。

不过，能持续运转只是前提之一。更关键的问题在于，什么样的世界模型，才能真正承担起无人驾驶的训练与验证？

给世界模型一个可验证的标准

仿真技术 原本就是无人驾驶研发的重要组成部分。

早在生成式世界模型成为行业热点之前，工程师就习惯于把真实道路上的交通场景记录下来，搬进虚拟环境中反复测试。

但这种研发方式存在一个长期难题。

长期以来，自动驾驶仿真中常见的一类方法，仍然依赖真实道路数据的 非响应式回放 。

简单来说，即便无人车改变了驾驶策略，周围车辆仍按照原始记录的轨迹行驶，交通环境不会作出相应调整。

这恰恰是问题所在。

真实道路上的驾驶是一场 持续交互 ，无人车改变动作，其他车辆也可能跟着改变决定。如果测试环境无法响应，便很难检验驾驶系统在动态交通中的真实表现。

而生成式世界模型解决的正是这种局限，让虚拟交通参与者根据无人车的动作重新作出判断，使驾驶系统能够在不断变化的环境中接受检验。

百度智能驾驶事业群组首席架构师、IDG技术委员会主席王亮博士，将其概括为 “可交互的生成” 。

这是百度从无人驾驶的实际需求出发，对世界模型的一种理解。

而放眼整个AI领域， “世界模型” 这个词被用得越来越宽泛。

能够生成逼真视频的模型，可以叫世界模型；能够构建三维空间、让人自由漫游的系统，也可以叫世界模型；能够根据外部动作，持续推演环境变化的技术，同样被称为世界模型……

几类技术看起来都在构建虚拟世界，实际具备的能力却不在同一个层次。

李飞飞团队曾将世界模型分为 渲染器、模拟器和规划器 三种类型，分别侧重视觉生成、环境状态推演以及行动规划，也从另一个角度说明了这个概念所覆盖的技术范围之广。

概念边界不断扩展，带来的问题也逐渐显现。模型生成的世界足够逼真，是否就意味着它真正理解物理规律？能够连续生成交通画面，是否就意味着它能根据无人车的动作，推演不同的驾驶结果？

对于无人驾驶研发，这些差别可不是无关紧要的技术分类。

如果模型无法准确响应车辆动作，或者生成的交通变化不符合真实物理规律，即便画面再逼真，也很难成为可靠的训练与验证依据。

百度对世界模型标准的重视，恰恰源于这种实际需求。

在百度的技术思路中， 世界模型需要什么能力，首先取决于它最终要承担什么任务 。既然目标是训练没有安全员的L4无人车，就必须明确模型需要理解怎样的交通关系、遵守哪些物理规律，以及能否支撑长时间、实时交互的驾驶任务。

先把目标任务、能力边界和工程要求想清楚，再围绕这些要求构建技术体系。 这种正向设计的思路，也让百度此次提出的世界模型，从一开始就有清晰的目标指向。

这种思路也有其现实背景。

李飞飞曾将无人驾驶汽车比作一个进行二维避障的方盒子，以此说明汽车与能够完成复杂三维操作的机器人之间的区别。

王亮博士则认为，无人驾驶的困难，远不止驾驶动作本身。

没有安全员的Robotaxi身处完全开放的道路，需要持续面对大量具有独立意图的交通参与者。看似普通的变道决策，背后也可能涉及多辆车之间的判断与博弈。

而比动作复杂度更重要的，还有 安全责任 的变化。

王亮博士拿纪录片 《徒手攀岩》 作了一个类比。

影片中的攀登者挑战一面高约900米、近乎垂直的岩壁。为了完成挑战，他经历了漫长而枯燥的练习。

在王亮博士看来， L2辅助驾驶就像有保护绳的攀岩 。攀岩者可以尝试漂亮、惊险的动作，因为保护措施仍然存在；辅助驾驶车辆的主驾也有人，关键时刻能够接管。

然而L4无人驾驶就像是 无保护攀登 ——“保护绳”被撤掉了，主驾空空如也。

驾驶动作看起来没有发生根本变化，背后的风险和安全要求，却已不可同日而语。那些不在聚光灯下的反复训练、每一处细节的验证，最终都要为整套系统的可靠性负责。

王亮博士曾参与L2量产研发，又长期投入L4纯无人系统，对两者之间的鸿沟有切身体会。

也正因如此，在他看来，世界模型能否真正用于L4训练，需要一套更加严格、明确的判断方法。

百度提出了面向物理AI的 “2+3”世界模型评价框架 。

其中，“2”指的是 因果性和交互性 两项基础条件。

因果性 强调模型能够根据已知状态推演后续变化； 交互性 则要求外部动作能够持续改变环境，让不同的决定产生不同结果。

而“3”分别代表 物理准确性、持久性和实时性 ，用于衡量模型能否真正承担物理世界中的任务。

毕竟世界模型再逼真，如果对真实物理规律的理解出现偏差，测试结果就可能失去参考价值。

雨天就是一个典型例子。

路面湿滑会改变车辆的制动距离，雨滴还会干扰激光雷达的回波，让点云出现大量噪点。如果虚拟世界只有下雨的画面，车辆却依然按照晴天的条件制动、感知，虚拟测试也就失去了意义。

看似不起眼的细节，恰恰是世界模型研发最难啃的部分。

王亮博士给出的判断是，世界模型的概念并不稀缺，各家都能投入研发，而真正可能形成壁垒的，是渲染速度、长时记忆、物理真实性等 长期积累的工程能力 。

就拿激光雷达来说，激光遇到雨滴后的反射干扰，涉及相当复杂的物理现象。要让世界模型准确学会这些变化，远远比生成视觉上逼真的大雨要更费工夫。

类似的工程打磨，被王亮博士称为 “dirty work” 。所谓技术壁垒，往往也只有在这些问题被逐一解决的过程中，才会慢慢显现。

由此，百度提出的“2+3”世界模型评价框架，实际上为世界模型进入L4研发划出了具体的能力门槛，也为这套技术应该如何设计、如何验证，提供了一条清晰的工程路径。

在世界模型的定义仍然模糊、技术路线不断分化的阶段，百度能够给出这样一套面向真实任务的判断方法，本身就体现了长期L4研发积累的价值。

另外，一趟完整Robotaxi行程可能持续数十分钟。世界模型必须在长时间推演中维持环境连贯，还要及时响应车辆动作。

物理准确性、持久性和实时性，最终都将影响虚拟训练的价值。

百度此次提出的“2+3”，也为一项仍在不断扩展定义的技术，给出了面向真实L4任务的工程坐标。

不只是百度，全球无人驾驶头部企业如今都在探索这一方向。

今年2月，Waymo正式发布Waymo World Model。它基于Google DeepMind的Genie 3进行适配，支持根据驾驶动作、场景布局和自然语言调整虚拟环境，并生成相机和激光雷达数据。

把两家最新披露的世界模型放在一起，ApolloWorld面向完整Robotaxi任务的特点愈发鲜明了。

△根据双方公开技术资料整理，图表由AI生成

比较下来，如果把世界模型看作无人车的考场，Waymo更突出如何制造复杂考题，百度则展示了一套覆盖完整出行任务的考试体系。

且ApolloWorld已进入萝卜快跑的实际测试与验证流程。背后的“2+3”工程评价框架，又对虚拟环境的因果性、交互能力和工程性能提出了明确要求。

由此，无人驾驶的测试，开始逐渐减少对真实道路上随机出现的复杂交通情况的依赖。

而新的考验也随之出现。究竟哪些偶然发生的情况，才是值得被识别、理解并反复验证的？

比里程更难复现的偶然

百度还向量子位透露，团队在真实路测中，曾经遇到过一个非常特别的案例。

洒水车经过施工区域时，路边的锥筒在水流的冲击下，滑向了无人车的行驶路线。洒水车、施工锥筒这些都是再寻常不过的道路元素，偏偏碰到一起，造就了一个很难预料的场景。

这类偶然情况，工程师也很难提前写进测试脚本。即便真实发生过一次，也难按照原来的条件重新安排。

百度的计划就是让世界模型能够重现类似的场景，让无人车反复接受检验。

这个例子背后，是无人驾驶研发中一个悬而未决的问题。

真实道路上的风险千变万化，但不是所有交通情况都具有相同的研发价值。部分极为罕见的意外，可能涉及严重安全风险；另一些寻常场景，则会频繁影响车辆的通行效率和乘坐体验。

虚拟城市能够生成大量交通情况，可这反而带来了新的取舍：哪些问题值得重点研究？这个判断会直接决定哪些场景能真正进入训练与验证过程。

那怎么筛？

只能 吃经验 。

据百度披露，其业务已覆盖全球 28座城市 ，累计完成超过2300万次出行服务，累计行驶里程突破 3.5亿公里 ，其中全无人驾驶里程超过2.4亿公里。

3.5亿公里，大家可能没有概念，举个例子，时速300公里的高铁，要连续跑 133年 才能跑完。

这是百度无人车十年积累下的数据，沉淀了不同地区的道路环境、交通习惯，以及长期运营中遇到大量复杂交互的经验。

百度地图多年积累的道路与地理信息，也为不同区域的虚拟场景构建提供了基础。

伴随车队规模增长，这些真实交通经验持续进入世界模型，经过筛选、整理和推演，转化为更多训练与验证任务。

针对同一段真实经历，研发人员可以改变车辆速度、周围交通流或道路条件，观察驾驶系统在不同情况下如何应对。经过反复训练和验证，新的驾驶模型再投入实际运营；车队驶入更多城市，又会带回此前没有遇到过的情况。

由此，那些原本只发生过一次的交通经历，有了被反复研究、持续利用的价值。

随着真实运营不断积累，模型获得更多训练材料；驾驶能力的提升，又有机会推动更快部署，进一步扩大数据来源。

运营积累越深，模型获得的有效训练材料越多；世界模型能力提升，又有机会提高驾驶系统的迭代效率，进一步推动实际运营规模扩大。

规模与模型能力相互促进， Scaling Law 的增长逻辑由此逐渐显现。 而百度十余年的无人驾驶积累，也正在世界模型时代显现出新的价值。