众力资讯网

SGLang第一时间宣布为蚂蚁集团旗下Ant Ling团队的 Ling-3.1-

SGLang第一时间宣布为蚂蚁集团旗下Ant Ling团队的 Ling-3.1-flash 提供 Day-0 支持。该模型总参数约 5600 亿、每 token 激活约 250 亿,支持最高 100 万上下文,定位混合推理,面向真实 Agent、办公与编码场景。

Ling-3.1-flash官方采用 MXFP4 处理专家层、block-FP8 处理稠密层,权重体积从约 534GB 压缩到约 292GB,实测可从 8 张 Hopper GPU 缩减到 4 张完成部署。蚂蚁团队补充测试显示,8 卡场景平均首 token 延迟 604 毫秒,4 卡场景吞吐约 1.36 QPS(不同负载下结果有差异)。这意味着一台主流 4 卡 Hopper 服务器就能跑起这个 5600 亿级 MoE,而激活参数仅 250 亿量级,推理成本与更小模型更接近。模型同期在 GDPVal-AA、FrontierSWE、Terminal-Bench 4.0 等真实 Agent、办公与编码基准上表现突出,并已同步开源权重至 Hugging Face 与 ModelScope,vLLM 也获官方致谢支持。