华为的“秘密武器”——盘古UltraMoE模型,7180亿参数直逼万亿

吕程看趣事 2025-05-31 09:20:42

华为的“秘密武器”—— 盘古 Ultra MoE 模型,7180 亿参数直逼万亿门槛。

更大的亮点就是这模型从训练到完成,全程都在昇腾 AI 计算平台上,主打一个 “自产自销”,稳扎稳打,

当然华为这次也是个 “敞亮人”,不仅秀出模型,还公开了架构和训练方法的技术报告。其中重点提到了昇腾 CloudMatrix 384 超节点,突破大稀疏比 MoE 强化学习(RL)后训练框架技术瓶颈,直接把 RL 后训练送进超节点集群时代,不得不说这一系列技术突破,真的是太牛了……

0 阅读:4

评论列表

biyoyo

biyoyo

2025-06-01 10:12

利好全世界,利空大A

吕程看趣事

吕程看趣事

感谢大家的关注