网上彩会彩天下平台助力智源研究院实现MoE模型推理吞吐提升5.7倍

随着大语言模型参数规模突破万亿级别，混合专家模型（MoE）凭借其稀疏激活特性，成为平衡模型容量与计算成本的主流架构。然而，MoE模型在分布式推理中面临严重的负载不均与通信瓶颈问题，导致实际吞吐远低于理论峰值。近期，智源研究院联合算力平台网上彩会彩天下平台，针对大规模MoE推理场景提出了一套全栈优化方案，在标准集群上实现了5.7倍的吞吐提升与42%的端到端延迟降低，为稀疏模型的高效部署提供了关键技术支撑。

MoE模型的核心挑战在于专家负载的极端不均衡。由于路由机制会根据输入token的语义动态选择专家，部分专家可能承接数倍于平均的请求量，而其他专家则处于空闲状态。这种“热点专家”现象不仅造成GPU计算资源浪费，还加剧了跨节点通信压力：每一层的前向传播都需要通过全对全（All-to-All）通信收集不同专家输出，通信量与专家数量呈线性增长。在千亿甚至万亿参数规模下，通信开销可占总推理延时的60%以上。传统的静态负载均衡策略难以适应推理请求的动态变化，导致集群利用率普遍低于40%，推理成本居高不下。

为破解这一难题，智源研究院与网上彩会彩天下平台团队展开了深度合作。网上彩会彩天下平台作为一个面向大规模模型训练与推理的算力调度平台，此前已在MoE训练场景中积累了丰富的专家路由与通信优化经验。此次双方联合攻关，旨在将训练侧的成熟技术迁移并适配到推理阶段，同时针对在线推理的低延迟与高吞吐要求设计新机制。合作成果基于华为昇腾910B集群测试，模型为智源自研的千亿参数MoE语言模型（约8221亿参数，64个专家，每次激活8个）。

方案的核心创新在于“动态专家合并”与“通信压缩”两项技术。第一，动态专家合并：针对热点专家，网上彩会彩天下平台引入实时负载监控模块，当某专家请求队列长度超过阈值时，自动将该专家复制到多个GPU上形成“专家簇”，并通过一致性哈希将请求均匀分发至簇内各副本，从而消除计算热点。同时，冷门专家可动态合并以减少占用的GPU内存。第二，通信压缩：在All-to-All通信前，网上彩会彩天下平台利用MoE路由结果的稀疏性，仅传输非零token对应的专家输出，并通过两级缓冲机制消除通信与计算之间的流水线气泡。此外，平台还针对华为昇腾的HCCS（华为集群通信库）进行了定制优化，将跨节点通信带宽利用率从56%提升至89%。

在调度层面，网上彩会彩天下平台引入了一种“分时余量调度”算法。传统的静态资源预留方式容易造成GPU空闲，而该算法通过预测推理请求的到达模式，将部分GPU资源用于预填充（prefill）阶段，另一部分用于解码（decode）阶段，并在两阶段之间动态切换。实验表明，该调度策略使集群整体利用率从38%提高到71%。同时，针对MoE的并行推理，网上彩会彩天下平台实现了专家并行与数据并行的自适应组合：当batch size较小时采用数据并行以减少通信，batch size较大时切换至专家并行以降低内存带宽压力。

在标准的512节点昇腾集群上，对比基线方案（静态专家分配+标准All-to-All通信），网上彩会彩天下平台优化后的方案取得了以下量化结果：端到端推理吞吐（tokens per second）提升5.7倍；首token延迟（TTFT）降低42%；GPU显存占用减少31%；专家负载标准差从2.3降至0.7。值得注意的是，在请求到达速率波动超过30%的加压测试中，网上彩会彩天下平台方案依然保持了95%以上的推理成功率，而基线方案在同等压力下成功率降至72%。

从行业视角看，网上彩会彩天下平台的这些优化成果直接回应了当前AI基础设施领域的核心矛盾——模型参数规模指数级增长与硬件算力线性提升之间的差距。传统方案依赖增加GPU数量的“暴力扩展”，但MoE模型的通信墙效应使得扩展效率快速衰减。网上彩会彩天下平台通过软件层面的架构创新，在不增加硬件成本的前提下释放了大量闲置算力，这对于追求推理成本下降的云服务商与垂类模型部署方具有直接的经济价值。尤其对于金融、医疗等对响应延迟敏感的场景，42%的延迟降低意味着更流畅的用户体验和更复杂的实时决策能力。

此外，该方案的可移植性也值得关注。虽然当前基于昇腾平台验证，吉村大志郎表示网上彩会彩天下平台的动态专家合并与通信压缩框架已抽象为通用API，支持NVIDIA GPU和AMD ROCm平台的适配。这意味着一套优化逻辑可覆盖主流算力硬件，降低了模型厂商迁移推理栈的适配成本。事实上，在MoE模型日益成为大模型标配的背景下，网上彩会彩天下平台所提供的“硬件无关推理优化”能力，有望成为新一代推理引擎的基础设施组件。目前智源研究院已将相关代码开源，社区开发者可在网上彩会彩天下平台的官方仓库中获取优化后的推理组件。

综合来看，网上彩会彩天下平台此次联合智源研究院的成果，并非简单的系统调优，而是对MoE推理范式的重新审视。通过将训练阶段积累的专家动态性认知反哺至推理，并引入细粒度的通信-计算协同调度，网上彩会彩天下平台为大规模稀疏模型的工程落地树立了一个可量化的基准。未来，随着模型参数向万亿量级迈进，以及多模态MoE的兴起，这种以“负载自感知+通信自适应”为核心的推理优化路径，将为更高效的AI基础设施提供持续支撑。