返回热力追踪
关注AI产品
AWS优化Amazon EKS上MoE强化学习 实现吞吐量提升40%
AWS工程师将DeepEP通信与Elastic Fabric Adapter网络、Amazon EKS容器服务整合，为DeepEP v2提供了AWS网络原生支持，在48台P5en实例测试中，大模型RLHF和GRPO训练的强化学习rollout吞吐量提升了40%。目前该优化仅在指定配置下测试验证，存在一定应用边界。
编辑视角
RLHF和GRPO这类大模型对齐训练中，MoE强化学习的rollout阶段是耗时、成本较高的环节，AWS的这项优化能有效提升训练效率，降低大模型对齐训练的时间成本，对企业搭建大模型训练平台有参考价值。
深度解读
本次优化的核心是AWS将DeepEP的专家间通信路径适配为基于libfabric的通信，结合AWS Elastic Fabric Adapter的高性能网络，在Amazon EKS集群上实现了MoE强化学习的扩展优化。测试环境使用了48台P5en实例，其中16台用于策略训练，32台用于推理rollout生成，最终验证获得吞吐量40%的提升，解决了大规模MoE强化学习通信瓶颈问题，对大模型后训练的高成本环节降本增效有实际意义。本次优化存在应用边界：只有在具备AWS EFA网络、Amazon EKS容器服务以及DeepEP v2的特定环境下才能生效，目前仅在AWS自有实例配置下完成测试，尚未公开开源代码或通用适配方案，第三方非AWS环境无法直接复用该优化。后续可观察AWS是否会将该优化开源或推广到更多训练场景，以及第三方用户的实际使用反馈。
核心要点
- AWS整合Amazon EKS、EFA与DeepEP优化MoE强化学习
- 针对DeepEP v2适配了libfabric通信，提供AWS网络原生支持
- 测试环境使用48台P5en实例，rollout吞吐量提升40%
- 适用于大模型RLHF和GRPO训练的强化学习阶段，可降本增效
- 目前仅适配AWS自有环境，暂未提供通用适配方案
延伸阅读
- Accelerate multimodal RL training with SkyRL on Amazon SageMaker HyperPod — 同属AWS强化学习训练优化内容，技术方向相关