lmdeploy v0.15.0发布:长上下文缓存、Deep
lmdeploy v0.15.0发布:长上下文缓存、DeepSeek V4、MTP、TurboMind与服务能力全面升级
• 支持长上下文与MTP前缀缓存命中
• 支持投机解码中的引导解码
• 支持DeepSeek V4
• 支持MemDecode
• 增强TurboMind的内存、对象缓存、调度、并行配置与张量处理能力
• 新增AgRs all2all后端
• 优化TTFT、流式响应解析、FP8 MoE与TP相关流程
• 完善Ascend与Ascend A3平台支持
• 增加Qwen3.5 MTP与GDR相关能力
• 修复前缀缓存、通信、服务ID、模型加载、多模态消息、健康检查、MTP状态、KV量化与异步关闭等问题
• 服务端新增生成默认配置能力,并调整为无状态推理
• 完善测试、构建镜像、依赖管理、文档和CI配置
福大大架构师每日一题


