微软自己的底座又训完一轮:MAI-Base-2,MoE,总参数2.8万亿、激活800亿。八月九月用1.6万张GB200跑了38天,号称预训练FLOPs效率比DeepSeek-V4-Pro-Base高4到12倍,数据全是自家有机语料、不蒸别人。
现在还在后训练,权重没放。苏莱曼那条线喊了很久自己造模型,这次至少把底座规模拉到万亿档了。下一发MAI-Base-3已经在备。
微软自己的底座又训完一轮:MAI-Base-2,MoE,总参数2.8万亿、激活800亿。八月九月用1.6万张GB200跑了38天,号称预训练FLOPs效率比DeepSeek-V4-Pro-Base高4到12倍,数据全是自家有机语料、不蒸别人。
现在还在后训练,权重没放。苏莱曼那条线喊了很久自己造模型,这次至少把底座规模拉到万亿档了。下一发MAI-Base-3已经在备。