众力资讯网

ParaCache大招落地,中科曙光这次够狠。 每年逛数博会这种行业大展,我都会

ParaCache大招落地,中科曙光这次够狠。
每年逛数博会这种行业大展,我都会留意一个变化:大家今年反复讨论的东西,往往就是明年的采购重点。
这次数博会很明显,话题已经从“模型有多大、集群有多少卡”,慢慢转到了每套系统究竟能产出多少有效Token。中科曙光选择在这个节点放出ParaCache,时机卡得挺准。
过去说存储,大家想到的是容量、可靠性和读写速度。ParaCache却把存储直接拉进了大模型推理过程:已经算好的KV Cache可以留存下来,在后续对话、相似请求和不同节点之间反复调用。存储保存的不再只是原始数据,还包括模型已经完成的计算结果。中科曙光所说的“从存数据到存智能”,就是这个思路。
存算协同已经不再是口号了。120K长文本下首词元时延最高降低98.5%,高并发Token吞吐量最大提升27倍,这些都是存储主动参与计算以后带来的结果。
再看中科曙光此前拿下IO500两项第一,赛迪顾问又把它排在分布式存储领导者象限,并给出AI存储连续三年第一、教育存储连续四年第一的评价,的确是存储圈的“顶流”了。前面拼的是数据供给速度,这次开始拼计算结果的管理和复用。
词元经济真要跑起来,不能只靠扩大算力供给。把已经算过的内容管起来、用起来,少做重复劳动,同样重要。ParaCache抢的,正是这个刚刚打开的新位置。
中科曙光ParaCache