华为昇腾训练系统：
1. 核心成果
• 2秒完成高数大题求解
• 准万亿MoE模型全流程国产化训练
• 预训练MFU达41%，后训练吞吐35K Tokens/s
2. 技术突破
• 并行策略智能优化：16PP/8TP/32EP混合并行
• 通信优化：分层All-to-All通信，掩盖率>98%
• 负载均衡：EDP动态调节+注意力数据重排
3. 算子优化
• 昇腾亲和算子加速：关键算子性能提升
• Host-Device协同：Host-Bound占比
华为昇腾训练系统：1.核心成果•2秒完成高数大题求解•准万亿MoE模型全流
春蕴评趣事
2025-05-30 19:20:54
0
阅读：0
