【[254星]KVSplit：让你的Mac运行更大语言模型、更长上下文！亮点：1

爱生活爱珂珂 2025-05-17 21:59:01

【[254星]KVSplit：让你的Mac运行更大语言模型、更长上下文！亮点：1. 8位键+4位值的差异化精度，内存减少59%；2. 性能提升，比FP16快5.7%；3. 专为M1/M2/M3 Mac优化，支持Metal】

'KVSplit: Run larger LLMs with longer contexts on Apple Silicon by using differentiated precision for KV cache quantization. KVSplit enables 8-bit keys & 4-bit values, reducing memory by 59% with

0 阅读：0

猜你喜欢

爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注

作者最新文章

1
【[333星]CodeCafé：实时协作代码编辑器，让在线编程变得像聊天一样轻松
2
【[96星]DeepNote：以笔记为中心的深度检索增强型生成框架，让知识探索更
3
【[842星]Veusz：为科研人员打造的高效科学绘图工具。亮点：1. 支持超过
4
【[110星]LocalRecall：为Agent打造的100%本地化记忆层和知
5
【[113星]llm-sort：用AI语义排序，让文本排列更有逻辑。亮点：1.
6
【[120星]boldsoftware/sketch：一个为开发者量身打造的“A
7
【[409星]llm-min.txt：使用类似于 min.js 的方法对技术文档
8
【Probability, Statistics & Linear Algebr
9
【AlphaEvolve 是一个基于 Gemini 的 AI 编程 Agent，
10
转发赠书携手送出3本《百面大模型》，截止2025.5.23 12:00，*可可粉

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
华为自研鸿蒙电脑，没有键盘！是一整块可折叠的超大屏幕，然后内置大面积线性马达，通
2
昨天，华为终端发布华为nova全球代言人易烊千玺手持华为nova14系列的海报
3
字节的工资是真的高啊！
4
没想到，英伟达真宣布了！5月13日，英伟达CEO黄仁勋宣布向沙特出口1.8万
5
一如既往的奢华，这内饰科技感中也不失奢华。
6
笑死，躺大机器人之事在哆啦A梦中亦有记载​​​
7
网传华为nova14部分规格曝光：全系内存12GB，超大杯麒麟9系芯片+红枫多光
8
2025年国产四款手机对比：性能与拍照大比拼！你更喜欢哪款手机拍照呢？
9
中国仪仗队在莫斯科阅兵，有个细节，现场俄罗斯人，基本用苹果手机，中方摄影师，用的
10
今天华为发布的这张海报还真引起了不小的轰动，也让大家对即将发布的鸿蒙电脑发了广泛

科技最新文章

1
6.5寸的屏幕塞进了7200mh高硅超大电池，这次不仅听劝给你金属边框，还把金属
2
大胆做个预测！荣耀400系列的价格大概就是这样了：荣耀40012GB＋256
3
特朗普找过库克谈话了，不希望苹果继续在印度建厂。他还跟库克说，“我们是好朋友，苹
4
美国又上演霸权闹剧了！5月13日，美国商务部工业安全局突然撕毁AI规则，搞出“全
5
华为技术封锁之后，安卓为什么静悄悄了：1、昆仑玻璃不跟了。2、北斗卫星不跟了
6
看到所谓小米SU7Ultra维权车主，对话截图应该有两个意思。1、你们交付员工
7
想问下大家用过3.5K档手机的2K屏嘛~没用过的话，快来看看同价位段唯一2KL
8
既然美国拿华为开刀，我们也可以拿英伟达开刀！！！在5月13日，美国商务部发布了
9
裸机党的福利来了！荣耀400系列这次直接对手机壳宣战！荣耀400系列这次的“
10
雷军官宣小米自研芯片玄戒O1雷总这大晚上的突然官宣，主打一个猝不及防。小米自研芯