华为的“秘密武器”—— 盘古 Ultra MoE 模型,7180 亿参数直逼万亿门槛。
更大的亮点就是这模型从训练到完成,全程都在昇腾 AI 计算平台上,主打一个 “自产自销”,稳扎稳打,
当然华为这次也是个 “敞亮人”,不仅秀出模型,还公开了架构和训练方法的技术报告。其中重点提到了昇腾 CloudMatrix 384 超节点,突破大稀疏比 MoE 强化学习(RL)后训练框架技术瓶颈,直接把 RL 后训练送进超节点集群时代,不得不说这一系列技术突破,真的是太牛了……
华为的“秘密武器”—— 盘古 Ultra MoE 模型,7180 亿参数直逼万亿门槛。
更大的亮点就是这模型从训练到完成,全程都在昇腾 AI 计算平台上,主打一个 “自产自销”,稳扎稳打,
当然华为这次也是个 “敞亮人”,不仅秀出模型,还公开了架构和训练方法的技术报告。其中重点提到了昇腾 CloudMatrix 384 超节点,突破大稀疏比 MoE 强化学习(RL)后训练框架技术瓶颈,直接把 RL 后训练送进超节点集群时代,不得不说这一系列技术突破,真的是太牛了……
评论列表
猜你喜欢
【8评论】【1点赞】
【11评论】【20点赞】
【74评论】【24点赞】
【39评论】【10点赞】
【1评论】
【10评论】
【23评论】【25点赞】
【18评论】【1点赞】
作者最新文章
热门分类
社会TOP
社会最新文章
biyoyo
利好全世界,利空大A