英伟达MoE融合内核：拆解大模型训练效率升级的技术逻辑与真实边界

大模型参数规模从百亿级向万亿级扩张的过程中，混合专家（MoE）架构已经成为主流的扩容方案，但随之而来的训练成本也水涨船高，万卡级集群训练一次千亿参数级别的MoE模型，算力成本动辄数千万元，每一个百分点的效率提升，都对应真金白银的成本节省。2026年6月英伟达发布的新型MoE融合MLP内核，标称可将MoE训练的内核级吞吐量提升1.3-2倍，很快成为AI基建领域的关注焦点，但围绕该优化的实际价值，也出现了不少对宣传口径的讨论。厘清这项优化的运作逻辑、性能边界与真实产业影响，能够帮助从业者更精准地评估其应用价值，避免被宣传话术误导。

MoE训练的核心瓶颈：为什么MLP层成了效率洼地

要理解这次优化的价值，首先要搞清楚MoE架构的训练流程到底卡在哪里。

和传统稠密Transformer模型所有参数都参与每一个token计算的逻辑不同，MoE架构将Transformer的前馈网络（即MLP层）拆成了数十个甚至上百个独立的“专家”模块，每一个输入token只会被路由算法分配给其中少数几个专家进行计算。这种设计让模型的总参数可以扩容到万亿级别，而实际参与计算的激活参数仍保持在百亿级别，既能提升模型容量，又能控制单位token的计算成本，也因此成为当前大模型扩容的首选方案。

但这种分而治之的架构，也给训练过程引入了远多于稠密模型的开销。MoE的训练过程可以类比成一个分工作业的加工厂：稠密模型的训练是一条固定的流水线，每个加工步骤的输入输出都是标准化的，工人不用等待任务分配，干完上一个零件直接干下一个；而MoE的训练是动态派单的分工作业，每个工人（专家）只处理分配给自己的零件（token），每做完一道工序，就要把半成品搬到中央仓库（GPU的HBM显存），等所有工人都做完当前批次的所有任务，再统一调度到下一个工序，期间还要不断核对每个工人的工作量有没有失衡，避免有的工人闲死、有的工人忙死。这种反复搬运半成品、等待同步的时间，很多时候比加工本身的时间还要长。

其中效率浪费最严重的环节，正是MLP层的计算。传统的未融合MLP算子的执行流程分为三步：第一步从HBM读取输入token，做第一次线性变换，把结果写回HBM；第二步从HBM读取上一步的结果，做SwiGLU激活函数计算，再把结果写回HBM；第三步从HBM读取激活后的结果，做第二次线性变换，把最终输出写回HBM。整个过程要反复读写HBM三次，而HBM的读写速度虽然远高于普通内存，但和GPU计算单元的运算速度相比仍然差了两个数量级——相当于工人加工零件只需要1分钟，来回跑仓库搬零件却要花2分钟，大部分时间都在等数据。

除此之外，MoE架构的专家调度机制还会引入额外的同步开销：每个GPU上的多个专家要等所有分配到的token都处理完，才能进入下一个批次的计算，只要有一个专家因为任务分配过多还在运行，其他所有专家都要 idle 等待，进一步拉低了整体硬件利用率。在大规模分布式训练场景下，跨节点的token路由、负载均衡、梯度同步带来的开销会进一步放大这些问题，最终导致整个集群的硬件利用率往往不到30%，大量算力都浪费在了等待和数据搬运上。

融合内核的运作逻辑：把三步并作一步的效率优化

英伟达这次推出的融合内核，本质上就是针对上述MLP层的效率痛点，用算子融合的技术思路消除大部分不必要的内存和同步开销。

所谓算子融合，简单来说就是把原来拆分的多个计算步骤，合并成一个完整的算子，放在GPU的同一个流多处理器（SM）上完成，中间结果直接存在SM的高速共享内存里，不用反复写回HBM，也减少了多个算子之间的同步等待时间。还是用加工厂的类比：原来的加工流程是切完零件送仓库，备料再去仓库拿，加工完再送回去，融合就是把切菜、备料、加工三个步骤放在同一个工作台上完成，中间半成品直接放在手边的工具箱里，全程不用跑中央仓库，省掉了所有搬运和等待的时间。

这次的优化之所以能实现远超通用编译器的效果，核心在于英伟达采用了专为高性能算子开发设计的CuTe DSL（领域特定语言）。这是英伟达在Hopper架构推出的底层开发工具，相当于给开发者提供了一套可以直接控制GPU缓存分配、指令调度、内存访问模式的精细接口，不用再依赖通用CUDA编译器的自动优化，能够把硬件的性能压榨到极致。此前已经被广泛应用的FlashAttention系列算子，就是用类似的融合思路，把注意力计算的多个步骤合并，减少HBM读写，实现了数倍的性能提升，这套技术路径已经经过了多个生产级场景的验证，不存在原理层面的硬伤。

这次发布的MoE融合MLP内核，就是基于CuTe DSL针对MoE架构的特性做的三层定制优化：首先是把MLP层的两次线性变换、一次SwiGLU激活计算三个步骤完全融合，中间结果全部存在SM的高速共享内存里，全程只需要从HBM读一次输入、写一次输出，把HBM读写的次数从三次降到一次，直接消除了大部分内存访问开销；其次是优化了MoE专家的调度逻辑，把同一个专家的多个小批次计算合并处理，减少了不同专家之间的同步等待时间；第三是针对SwiGLU、GEGLU等当前大模型普遍采用的GLU类激活函数做了指令级优化，进一步提升了计算效率。

根据英伟达官方发布的测试结果，相比传统的未融合MLP实现，该内核可实现1.3-2倍的内核级训练吞吐量提升，适配当前几乎所有主流大模型的激活函数设计[1]。该性能目前仅由英伟达官方披露，暂未出现第三方独立复现结果，实际增益以生产测试为准。

收益传导的边界：内核级加速不等于全链路提速

宣传口径中最容易被混淆的概念，就是内核级加速和全链路训练加速的差异。内核级加速指的是单一MLP算子本身的计算速度提升，只覆盖了整个训练流程中的一个环节；而全链路训练加速指的是从数据加载、前向计算、反向传播、梯度同步到参数更新的整个训练流程的整体速度提升，二者的传导效率存在明确的天花板，绝不能简单划等号。

根据行业公开的大规模分布式MoE训练性能拆解，MLP层的计算开销在不同规模的训练集群中占比差异极大。在128卡及以下的中小集群中，跨节点通信开销相对较低，MLP层计算约占全链路训练时长的40%-50%；而在万卡级的大模型生产训练场景中，跨节点的token路由、专家负载均衡、梯度同步与任务调度的开销通常占总时长的40%以上，部分负载不均衡的场景下甚至可达50%，此时MLP层的计算占比会被压缩到40%甚至更低。

按照这个占比折算，如果MLP内核实现了2倍的理想加速，在128卡的中小集群中，折算的全链路训练吞吐量提升上限约为20%-25%；而在万卡级生产场景中，全链路提升的上限仅为10%-15%。如果再叠加训练过程中的数据加载延迟、框架调度开销等其他损耗，实际的端到端增益还会进一步降低，极端负载不均衡场景下甚至可能不足10%。这意味着，官方标称的2倍内核级加速，永远不可能等同于2倍的整体训练速度提升，二者的传导效率存在不可突破的物理边界。

除此之外，该优化还有三层不可忽视的应用边界： 第一是硬件适配边界。由于内核基于Hopper架构主推的CuTe DSL开发，仅能在H100及以上架构的GPU上运行，A100及更早架构的GPU无法兼容。根据行业公开的AI算力基建调研数据，当前全球超过40%的商用训练集群仍采用A100及更早架构的GPU，存量硬件的替换周期通常为18-24个月，这意味着大部分存量训练集群用户暂时无法享受该优化带来的收益。 第二是性能基线边界。目前英伟达尚未明确对比的“未融合方案”具体指代：若基线为性能较差的社区开源未融合MLP实现，那么标称的加速比可能存在10%-15%的高估空间；若基线为英伟达此前的官方最优算子实现，那么该优化的实际价值会更高。这一细节的缺失，也是当前性能数据存在不确定性的核心原因之一。 第三是适配成本边界。目前主流的大模型训练框架如Megatron-LM、DeepSpeed尚未公开推出该内核的官方适配方案，如果要单独替换MLP算子，单团队的适配成本约为1-2人周，但如果要和英伟达同期推出的NVFP4 4位训练技术、TwELL稀疏格式等优化叠加使用，还需要修改整个训练栈的精度配置、稀疏路由逻辑，适配成本会上升至2-4人周，且需要经过大量的精度验证才能投入生产使用，这对中小团队来说是一笔不小的投入。

真实的产业影响：谁会买单，谁会被改变

明确了收益边界之后，就能更清晰地判断这项优化的真实产业价值，既不需要过度高估其影响，也不需要完全否定其意义。

最有动力适配该优化的，是年算力采购规模超亿元的头部大模型厂商和头部云厂商的高端训练集群。对这些用户来说，1-2人周的适配成本仅占单模型训练预算的1%-2%，完全可以被成本下降覆盖。以训练一个500B参数的MoE大模型为例，若在32卡以上的H100集群中实现15%-25%的全链路提速，对应可节省140-260万人民币的算力成本，年训练投入超10亿的头部厂商，单年可节省的成本甚至可达上亿元，足够覆盖所有适配和验证投入。

但对年训练投入在千万元级别的中小厂商，以及仍在使用A100及更早架构GPU的用户来说，该优化的吸引力非常有限：一方面存量硬件无法兼容，另一方面适配成本占其单模型训练预算的比例会升至10%以上，远高于带来的成本节省，暂时没有动力调整现有成熟的训练栈。

从产业竞争的角度看，该优化的核心价值并非单纯的成本下降，而是进一步强化了CUDA生态在高端MoE训练市场的差异化优势。此前AMD MI300系列GPU主打同规格下10%-20%的MoE训练性价比优势，试图切入头部大模型厂商的高端训练市场，但英伟达仅靠软件优化就将同硬件的端到端效率提升了15%以上，直接抹平了AMD在硬件层面的性价比差，而客户从CUDA生态切换到ROCm生态的迁移成本并未下降，这确实进一步加大了AMD在单卡算力800TFlops以上的高端训练市场的切入难度。不过需要明确的是，这一影响仅限定于高端市场：在A100及以下的中低端训练替代市场，该优化因硬件兼容限制完全不生效，AMD的性价比优势并未受到任何冲击。

对于第三方算子优化服务商来说，该优化确实压缩了通用MLP层算子优化的生存空间，但跨节点通信调度、混合架构适配、中小模型定制化优化等需求并未被覆盖，第三方服务商仍有足够的差异化竞争空间。对于云厂商来说，中小云厂商大概率会直接采用英伟达的官方内核，进一步加深对CUDA软件栈的绑定，而头部云厂商仍会投入资源优化跨节点通信等未被官方覆盖的瓶颈，不会完全丧失训练优化的差异化能力。

目前公开信息显示，英伟达同期发布的550B参数旗舰MoE模型Nemotron 3 Ultra的所有官方宣传材料，均聚焦于推理侧的性能提升，未提及该融合内核在其训练过程中的应用。从公开时间线看，该内核的发布晚于Nemotron 3 Ultra的训练完成时间，存在技术发布滞后于产品开发的可能性，但这一细节也成为行业判断该技术是否已进入大规模生产可用阶段的重要观察点。

后续需要追踪的核心验证指标

目前公开可获得的技术信息仅覆盖官方披露的测试数据和分布式训练的公开开销模型，多个关键变量仍待验证，其实际应用进展会直接影响该技术的价值评估： 第一，第三方独立机构的复现结果。未来3个月内，是否有第三方开发者或研究机构在标准MoE预训练任务中，复现官方标称的1.3-2倍内核级加速比，以及在32卡以上的H100集群中实现15%以上的端到端训练提速，是验证性能真实性的核心依据。如果第三方复现的内核级加速比低于官方标称的下限1.3倍，那么该优化的实际价值会大幅缩水。 第二，官方披露的测试边界细节。如果英伟达后续公开了对比基线的具体定义、测试所用的硬件平台、MoE专家数、激活比例等核心参数，将能够直接消除当前性能数据的不确定性。若最终确认基线为社区开源的低性能实现，那么标称的加速比将存在10%-15%的高估。 第三，主流训练框架的适配进度。Megatron-LM、DeepSpeed等主流大模型训练框架是否会在未来半年内推出该内核的官方适配方案，以及适配后的实际增益和精度损失情况，将直接决定该技术的普及速度。如果主流框架迟迟不推出官方适配，该优化的应用范围将仅限于有能力自行修改训练栈的头部厂商。 第四，生产级应用案例。英伟达下一代Nemotron系列MoE模型是否会公开采用该内核进行训练，以及头部大模型厂商是否会在其生产训练集群中大规模应用该优化，是验证该技术生产可用性的核心指标。如果未来6个月内仍未出现公开的大规模应用案例，那么该优化很可能仅停留在开发者技术文档层面，无法对产业格局产生实质影响。 第五，竞品的应对动作。AMD是否会在未来6个月内推出ROCm生态下的同类MoE融合算子优化，将直接决定该优化对CUDA生态壁垒的强化程度。如果AMD能快速跟进同类优化，那么英伟达在高端训练市场的优势会被再次抹平。

总的来说，这次英伟达推出的MoE融合内核，是一次针对大模型训练核心痛点的成熟软件优化，其技术路径经过了多个生产场景的验证，确实能在适配的硬件场景下带来明确的效率提升，但该优化的收益边界也非常清晰，既不可能带来宣传中所谓的“训练效率翻倍”，也远未达到改变AI算力市场竞争格局的程度。对AI从业者来说，更合理的态度是基于自身的硬件配置和训练规模，评估适配的投入产出比，同时持续追踪上述核心指标的应用进展，根据实际验证结果调整技术路线，而不是被单一的宣传数据左右决策。