Transformer 架构还能咋改？严骏驰团队提供两条思路 | CNCC 2026

2026-11-04 15:48 雷锋网约 13 分钟读完

训练算力节省1/3。作者丨张璐编辑丨张驰增加参数、扩展专家数量、投入更多训练数据，是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队，沿着这些方向持续扩大规模并不容易。在现有 Transformer 架构之上寻找其他扩展维度，是上海交通大学人工智能学院教授严骏驰，在前不久的CNCC 2026演讲中分享的研究思路。在题为《大模型新架构探索：JTok & xHC》的报告中，严骏驰介绍了两项工作：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。两项研究都关注一个问题：新增容量能否以较…

本文作者：

导语：增加参数、扩展专家数量、投入更多训练数据，是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队，沿着这些方向持续扩大规模并不容易。

训练算力节省1/3。

编辑丨张驰

增加参数、扩展专家数量、投入更多训练数据，是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队，沿着这些方向持续扩大规模并不容易。

在现有 Transformer 架构之上寻找其他扩展维度，是上海交通大学人工智能学院教授严骏驰，在前不久的CNCC 2026演讲中分享的研究思路。

在题为《大模型新架构探索：JTok & xHC》的报告中，严骏驰介绍了两项工作：JTok 为 token 引入可学习的参数表，通过查表和逐元素运算调制模型更新；xHC 则扩展残差流，以稠密读取、稀疏写回的方式提高模型容量。

两项研究都关注一个问题：新增容量能否以较低的额外计算代价，带来持续的训练收益。

严骏驰也讨论了这些方法的实际限制：小规模实验中的优势能否在更大规模上保持，训练算力的节省如何与推理延迟、访存开销相权衡，以及系统工程如何影响架构创新的效果。

以下为演讲整理。雷峰网 (公众号：雷峰网)

在现有架构上，

寻找新的扩展维度

今天分享的是我们在大模型新架构方面的一些探索。把它称为“新架构”，可能有一点夸大，实际上主要是在现有架构上做调整和改进。

为什么没有直接去做颠覆性的架构？一方面，我们没有那么多算力和能力；另一方面，即使把架构大幅修改，也未必能在工业界真正用起来。现在从底层硬件、驱动、算子，到上层模型软件，整个生态都沿着 Transformer 展开。改动太大，生态适配就会面临困难。

所以，我们希望先做一些有限的改动，观察它们是否有效，为工业界后续更大幅度的创新提供前期探索。

大模型常见的扩展方式：

一是增加参数、加深模型，但训练会更困难，因此需要残差连接、超连接等通路帮助信息传播；

二是把模型做宽，增加专家，通过稀疏激活控制计算量；

三是增加数据，开展更大规模的训练。

这三条路对高校都不算友好，因此，我们希望在 Transformer 的基本框架上探索不同的扩展维度。

这里有一个原则，就是尽量保持简单。加入很多人为设计的先验或技巧，可能在小规模模型上有效，但当参数和数据规模扩大后，优势就被吞掉了。我们要关注的是，这些改动能否随着规模扩大，持续发挥作用。

这次介绍的两项工作，分别是 JTok 和 xHC。

前者沿 token 对应的参数表扩展容量，后者沿残差流维度扩展容量。它们都尝试把新增容量放到主干的大规模矩阵乘法之外。

JTok：用查表扩展容量，

让训练收益保持下去

JTok 的思路很简单：在 Transformer 主干旁边增加一条分支，为每个 token 配置可学习的向量，按照 token 的编号查表，取出向量，再通过逐元素运算调制这一层的前馈网络更新。

例如，一个 token 有自己的编号，我们就可以直接用编号找到对应向量。向量中的元素是新增参数，可以通过梯度反向传播更新。这样就能引入较多参数，同时避免为这些新增参数再进行大规模矩阵乘法。

这里扩展的是 token 对应的可学习参数表。参数量虽然增加了，但调用方式比较便宜：查表、归一化，再做逐元素乘法。旁路还可以与主干并行计算，不必等主干算完后才开始，因此从推理实现上看比较友好。

具体来说，取出的向量先经过归一化，再通过可学习的逐维缩放产生调制信号。门控作用在前馈网络的残差增量上，之后再加回主干。这些操作比较简单，也便于保留原来的主干计算。

我们还借鉴了混合专家模型的思路，提出 JTok-M：在查表之外加入路由，动态选择部分分支参与计算。这会增加一些复杂性，但也能进一步改善模型效果。

判断这种扩展是否有价值，不能只看训练初期下降得快不快。很多架构改进在前几个训练阶段看起来很好，损失曲线更陡，但随着训练数据增加，几条曲线最后合到了一起，早期优势就消失了。我们自己也遇到过这样的情况。

因此，一个重要问题是：当模型和数据规模继续扩大时，收益还能不能保持？这也是工业界非常关心的事情。

我们在不同规模的稠密模型和 MoE 模型上进行了实验。报告展示的结果中，JTok 的损失曲线持续低于底座；在两个 MoE 底座上，JTok-M 又进一步优于 JTok。这种差距在训练后期没有消失，说明它的收益不只体现在初期收敛速度上。

除了损失，还要看下游任务。预训练损失降低是一方面，模型能否在实际任务中表现更好，是另一个方面。我们的工作本质上是预训练方法，也需要通过下游评测和微调，检验它是否真正有用。实验中，多个任务出现了比较明显的提升，有些任务的改善比单看损失更突出。

我们还用规模定律的方式考察它的收益。通常，训练损失与参与计算的参数量、训练 token 数有关，训练算力可以近似看作这两者乘积的若干倍。在固定算力预算下，模型大小与训练数据量之间需要权衡。

IsoFLOPs 方法是在每个算力预算下扫描不同的模型大小，找到损失最低的配置，再把各个预算下的最低点连接起来，得到算力最优前沿。比较两种架构，就可以比较它们的前沿位置。

在 MoE 实验中，底座与 JTok-M 的前沿在对数坐标下都呈现很强的线性关系，两条拟合线的斜率接近，JTok-M 的前沿整体下移。同一算力预算下，损失稳定降低约 2.2%；达到同样损失时，JTok-M 所需训练算力约为底座的 65%，也就是节省约 35%。

不过，这些规模定律目前主要还是经验公式，不能把它们理解成已经有了完整的理论解释。

这项工作也有明显的不足。虽然训练端能够节省算力，但在我们的工程实现中，推理延迟仍增加了约 7%。对于大规模商业应用，这可能是很大的代价。尤其是预训练技术越来越成熟后，大家会更加关注模型上线后的推理成本。

另外，新增参数表也会带来存储和带宽压力。我们在内存、显存占用等方面做了工程处理，但仍有优化空间。现在做大模型，基础设施非常重要：算法想法再好，如果底层系统支撑不好，很多想法也难以有效验证。

xHC：残差流从四路扩展到

十六路，怎样才划算

第二项工作是 xHC，也就是 Expanded Hyper-Connections。我个人觉得，这个方向可能还有更大的空间。

标准的残差连接，是给网络增加一条跳过子层的通路。Hyper-Connections，也就是 HC，在这个基础上引入可学习的映射，并把残差流扩展成多路，让信息更充分地流动。

但这一系列工作有一个值得追问的细节：通常都采用四路残差流。为什么是四路？为什么不是两路、八路，或者更多？这个扩展维度本身，还需要进一步研究。

这里先介绍 mHC。随着模型规模变大，使用超连接结构时，训练可能发生震荡甚至不收敛。mHC 的思路是对映射矩阵施加约束，使其成为双随机矩阵，也就是每行、每列的元素之和都为 1。它通过 Sinkhorn 操作，交替对行、列进行归一化，帮助改善训练稳定性。

但即使有了这样的约束，残差流也不是越多越好。我们的观察是，mHC 从两路增加到四路时，收益比较明显；从四路增加到八路，收益就小了。继续增加到十六路、三十二路，开销会很高，投入产出比却不理想。

我们分析，主要有两个原因。

第一个是信息冗余。新增通路中的更新存在很强的相关性，注入信息的有效维度受到限制。通路看起来增加了，但并没有带来同等程度的信息多样性，因而扩展收益逐渐减弱。

第二个是计算开销。相关映射生成的代价随通路数呈立方级增长，从四路增加到十六路，成本差别就很大。如果收益又越来越小，这样的扩展就不划算。

因此，我们需要同时改善信息表达和计算方式。

xHC 的一个设计，是沿 token 序列做时序特征增强，让更新能够利用更多信息。具体来说，在 MLP 输出后引入多尺度因果卷积，形成多个增强分量，让不同残差流能够组合这些分量，提高更新的多样性。

另一个关键设计是“稠密读取、稀疏写回”。以默认配置为例，我们把残差流扩展到十六路，每一层读取全部十六路的信息，但只激活四路参与残差混合和写回。其中两路固定激活，另外两路由路由器动态选择；未激活的流继续传向下一层。

为什么读取要保持稠密？如果读取也稀疏，上一层刚更新的信息，下一层可能读不到，跨层的信息传播就可能被切断。让读取覆盖全部残差流，同时只更新其中一部分，才能兼顾信息流通和计算代价。

在这个设计下，相关映射只基于激活的流生成，主要计算代价由激活数量决定，而不必随着全部残差流数量一起立方增长。读取与写回之间的非对称设计，是保持扩展收益、控制成本的关键。

实验表明，这样的扩展可以带来持续收益。即使残差流增加到十六路，xHC 的损失仍能有效下降，新增计算量则相对有限。报告中的训练曲线显示，这种优势能够在较长训练过程中保持。

在下游评测中，18B MoE 模型的平均分由 mHC 的 44.8 提升到 xHC 的 48.8；28B 模型则由 50.5 提升到 53.6。在报告对应的规模定律实验中，达到相同损失，xHC 相对标准 Transformer 节省约 33% 的训练算力，相对 mHC 节省约 16%。

当然，残差流变宽仍有访存代价。我们做了稀疏化、Flash 版本和算子融合等工程优化，尽量降低开销，但十六路 xHC 的访存量仍高于四路 mHC。完成算子融合等优化后，相比 mHC，吞吐性能的额外开销约为 1.3%。这让它在实际应用中更有可能被接受，但也仍有进一步优化的空间。

两种扩展方式，

还可以继续结合

这两项工作，都是在现有架构上寻找不同的扩展维度。JTok 增加按 token 编号索引的参数表，xHC 增加模型逐层携带的残差状态宽度。它们各自面临的系统约束也不同：前者主要是参数表的存储和读取带宽，后者主要是各子层的访存量。

对高校来说，直接和工业界比较数据量、算力规模很困难，探索新的容量扩展方式，是值得做的事情。但架构设计仍然需要大规模实验和系统工程支撑，既要看训练收益，也要看真实任务表现及部署成本。

我个人还有一个感受：架构越精巧，可能对训练 token 的质量要求就越高。

接下来，一个自然的方向是把这两项工作结合起来。它们作用于不同维度，具有一定的正交性。我们也在探索其他架构，希望有兴趣的同行一起参与。

国际机器人顶会 CoRL 2026 即将召开，欢迎参会的研究者、学生，以及关注 AI 前沿进展的读者加入我们的交流群。

在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。

大会期间，我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见，也在群里见。

? 进群传送门：扫码进群或添加微信 szhsn610 ，备注：CoRL+单位/学校+姓名+方向。

未经「GAIR DAO」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「GAIR DAO」后台留言取得授权，转载时需标注来源并插入本公众号名片。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

0 人收藏

CNCC2026

人工智能

Transformer

CNCC2026新闻发布会在京举行大会核心亮点全面发布

致网科技贯通“算力—模型—智能体”全链路，获国家 ...

追觅科技亮相2026世界互联网大会人工智能嘉年华，以 ...

独家丨元环智能获数亿元融资：用「元模型」让 AI长出 ...

张璐

发私信

当月热门文章

宾大茅佳源：从单次演示到 83% 真机泛化，破解具身智能数据困局｜IROS 2026

模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026