【[402星]llm-d：Kubernetes原生高性能分布式LLM推理框架，助

爱生活爱珂珂 2025-05-21 12:59:09

【[402星]llm-d：Kubernetes原生高性能分布式LLM推理框架，助力大规模语言模型推理部署。亮点：1. 采用vLLM优化的推理调度器，提升性能；2. 支持解耦式服务，灵活部署；3. 提供独立和共享两种KV缓存方案，优化资源利用】

'Kubernetes-Native Distributed Inference at Scale'

GitHub: github.com/llm-d/llm-d

Kubernetes 分布式推理 LLM优化 AI创造营

0 阅读：0

猜你喜欢

爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注

作者最新文章

1
【[139星]ggify：从Huggingface Hub下载模型并转换为GGM
2
【[32星]StreamingKokoroJS：在浏览器中实现无限文本转语音的开
3
【[1.5k星]Tasks.md：一个基于Markdown文件的自托管任务管理看
4
【[98星]Awesome_MLLMs_Reasoning：汇聚多模态大语言模型
5
【[680星]Jules Awesome List：收集了一系列用于 Jules
6
【[61星]PrimeIntellect-ai/pccl：实现基于IP的容错集体
7
【[283星]Juvio：让Jupyter Notebook变得可复现、依赖清晰
8
【[151星]Dolphin：一款高效解析文档图像的新型多模态模型，能够将复杂的
9
【[916星]ByteDance-Seed/Bagel：字节跳动开源的多模态大模
10
【[2.3k星]HuLa：一款基于Tauri v2+Vue3的跨平台即时通讯桌面

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
华为自研鸿蒙电脑，没有键盘！是一整块可折叠的超大屏幕，然后内置大面积线性马达，通
2
一个人躺在沙发上玩手机。
3
昨天，华为终端发布华为nova全球代言人易烊千玺手持华为nova14系列的海报
4
不得不承认，AI越来越强了。
5
字节的工资是真的高啊！
6
618手机大促，不同价位手机，超值推荐！你觉得618购买手机性价比高吗？
7
没想到，英伟达真宣布了！5月13日，英伟达CEO黄仁勋宣布向沙特出口1.8万
8
一如既往的奢华，这内饰科技感中也不失奢华。
9
笑死，躺大机器人之事在哆啦A梦中亦有记载​​​
10
感受下小米YU7的大小[doge]​​​

科技最新文章

1
快手要求员工每天必须刷一小时短视频，不达标影响绩效？都上升到考核了肯定不是什么员
2
荣耀这次太狠了，华为都被它比下去了，Nova14有点颜面无存啊看看荣耀400和华
3
鸿蒙NEXTPura80最新爆料，Nova14还没捂热，重磅一年一度pura
4
荣耀疯了，旗舰技术下放不要钱呀？华为nova14系列下放红枫原色影像，把旗舰
5
为什么6.55英寸的荣耀400是7200mAh电池，而友商都不到6500呢？新发
6
宝子们！荣耀400和华为Nova14正面battle啦，看完配置真的被荣耀惊到！
7
手速快的朋友已经下单nova14pro了，作为整个nova14系列中性价比最高的
8
小米YU7首发量产天际屏【小米汽车二期工厂处于收尾状态，工作人员称YU7发布
9
我以为预约会是20000台，也以为预约会是40000台。但是，万万没想到，华为折
10
一觉醒来，黄仁勋慌了，他万万没想到，打败自己的不是DeepSeeK，不是昇腾。