众力资讯网

数博会找项目:中科曙光这套存算协同方案,打中了客户的成本痛点 做算力集成这行,每

数博会找项目:中科曙光这套存算协同方案,打中了客户的成本痛点
做算力集成这行,每年逛数博会最核心的目的,就是找能落地、能帮客户解决痛点的好方案。今天中科曙光发布的ParaCache词元加速方案,是我觉得最有商业潜力的产品之一。
现在接触的客户,不管是政务、金融还是企业AI服务,普遍有两个痛点:一是推理并发上不去,用户多了就卡顿;二是长上下文任务跑不动,升级显存成本太高,很多预算不够的客户只能降配体验。ParaCache刚好精准命中这两个痛点:不用大换硬件,通过分布式KV缓存池化,跨节点复用计算结果,高并发场景吞吐量能提27倍;四级缓存分层调度,把冷数据从显存挪到更便宜的存储里,小内存设备也能稳跑长Token任务,硬件成本直接打下来。而且原生兼容LMCache,现有集群改造量很小,客户的试错成本很低。
目前这套方案已经在曙光8000十万卡集群上验证过,成熟度没问题。接下来不管是老集群做效能升级,还是新集群做规划,存算协同都会是必选项,这个赛道的需求会很快释放出来,提前布局的厂商应该能吃到第一波红利。
存算解决方案 中科曙光ParaCache