Mooncake

Mooncake

开发框架/库 免费
大模型推理KV Cache开源存储社区
访问官网

搭配玩法

5
查看全部 5 条
Mooncake + Conductor Conductor+ vLLM vLLM + CPU+ DRAM主内存+ SSD固态硬盘+ Mooncake Store+ LLaMA3-70B

把KV缓存变成集群共享资源,全局调度复用前缀缓存,降低TTFT与prefill计算

缓存不再限于本机,可跨节点迁移复用;预填充与解码分离避免互相干扰,调度器优先选有可复用缓存的节点

✓ 平均TTFT减少约14%✓ 平均prefill GPU时间减少48% ✕ 带宽低于100Gbps时TTFT明显恶化✕ 请求很少共享前缀时收益有限
Mooncake + OceanStor M900+ 昇腾超节点

解决 KV 调度和预取问题,提前分层预取让数据进入高速介质

Mooncake 是行业常用推理框架,华为在其基础上继续解决 KV 调度和预取,按显存、内存、SSD 性能分层预取

✓ Token 命中率提升约一倍✓ 降低首 Token 时延
Mooncake + SGLang SGLang + 国产加速卡+ ParaStor

64K上下文单卡7并发下KV Cache卸载实现16倍吞吐提升,首Token延迟10秒内

ParaStor接入Mooncake承接长尾KV Cache卸载,SGLang负责推理,分布式存储解决内存成本高与单机SSD容量限制

✓ KV Cache卸载吞吐提升16倍✓ 无需修改上层程序即可快速适配
Mooncake + RDMA+ Kimi-K2

Mooncake 用 TransferEngine P2P RDMA 做权重更新,Kimi-K2 场景约 7 倍加速

NCCL 适合高带宽集体通信,P2P RDMA 实现点对点高效传输,disk-delta 降低权重更新传输量

✓ Kimi-K2 场景 P2P 约 7 倍✓ 支持异构并行 Reshard

产品简介

大模型推理KV Cache开源存储社区

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价