Qwen3.8-27B大模型开源,DGX SPARK实测
一觉醒来,Qwen3.8-27B大模型开放权重了,据说这个大模型能力超级强大,长链路agent执行不掉链子。正好周末在家折腾下。
有了之前折腾的经验,上手完全没难度。docker下载适配的vllm镜像,然后在ModelScope上下载Qwen3.8-27B-FP8的权重的。然后一条命令拉起。全程丝滑,完全无报错。我的命令贴在截图里了,大家也可以讨论,这些参数是我调整了好久固定下来的。vllm的docker镜像注意要用刚发的适配了Qwen3.8的。
然后接入公司搭建的API平台,方便统计。
最后在自己常用的QwenPaw中,选择Qwen3.8-27B,可以开始实际测试了。
跑了几个日常用到的Agent任务,分别一次性巡检7台交换机,9台交换机,外加一台交换机的深度巡检。说下感受,慢是真的慢[笑哭]首字时延看统计基本都在1s以上,35B-A3B因为每次只激活3B参数,首字时延都在0.5S的样子,不过效率上还是优秀[赞],之前用的是Qwen3.6-35B-A3B每次都会有些小插曲,不停的修复脚本,再执行,我基本上每次盯在电脑前,这次换到27B虽然只有10-20token/s的速度,但是执行的比较稳,不用反复盯着,几个任务基本上一次性执行成功,遇到之前写的有问题的脚本,修复后自动完成了任务。对比下来,貌似广告里的场景可以实现了,就是大模型在干活儿,我在喝咖啡,反正隔时间直接来验收成果就好。[笑哭]
受限于DGX SPARK的带宽,这东东还是比较适合Qwen家的35B-A3B模型,期待3.8版本开源。目前准备留着3.8-27B用着,坐等moe模型了[大笑],或者再买个显存带宽大的算力机,哈哈哈
大模型 DGX Qwen3 .8


