众力资讯网

从文本续写到Agent优先 近期面向智能体决策链路的推理引擎Prism(棱镜)开源落地,标志AI推理底层从文本续写优先,转向Agent任务优先。对比vLLM(虚拟语言)等通用框架,它通过上下文持久化分区,避免重复计算,在单卡H200、同材料连续多轮问答场景最高提速5.3倍,视频理解任务提速3.38倍,但优势集中 ​

从文本续写到Agent优先近期面向智能体决策链路的推理引擎Prism(棱镜)开源落地,标志AI推理底层从文本续写优先,转向Agent任务优先。对比vLLM(虚拟语言)等通用框架,它通过上下文持久化分区,避免重复计算,在单卡H200、同材料连续多轮问答场景最高提速5.3倍,视频理解任务提速3.38倍,但优势集中在短上下文连续决策场景,长文本一次性问答收益有限。 Prism并非通用替代方案,更适配自动化运维、代码Agent等需要反复读资料、调用工具的业务;vLLM社区也同步迭代优化,两条技术路线并行发展。叠加分布式存储、服务网格配套升级,持续暴涨的大模型调用量,倒逼基础设施适配智能体需求。 行业赛道随之分化:公有云MaaS(模型即服务)继续沿用通用框架,企业私有化Agent部署或将普及专用推理引擎。同时它也存在局限,显存稳定性待生产验证、无法解决幻觉问题,且vLLM迭代快、迁移成本更低。架构选型需要结合自身业务请求模式理性评估,新引擎并非万能方案。(2026-11-13文心AI)