Mooncake
开发框架/库 免费大模型推理KV Cache开源存储社区
搭配玩法
5把KV缓存变成集群共享资源,全局调度复用前缀缓存,降低TTFT与prefill计算
缓存不再限于本机,可跨节点迁移复用;预填充与解码分离避免互相干扰,调度器优先选有可复用缓存的节点
✓ 平均TTFT减少约14%✓ 平均prefill GPU时间减少48% ✕ 带宽低于100Gbps时TTFT明显恶化✕ 请求很少共享前缀时收益有限
Mooncake + OceanStor M900+ 昇腾超节点
解决 KV 调度和预取问题,提前分层预取让数据进入高速介质
Mooncake 是行业常用推理框架,华为在其基础上继续解决 KV 调度和预取,按显存、内存、SSD 性能分层预取
✓ Token 命中率提升约一倍✓ 降低首 Token 时延
64K上下文单卡7并发下KV Cache卸载实现16倍吞吐提升,首Token延迟10秒内
ParaStor接入Mooncake承接长尾KV Cache卸载,SGLang负责推理,分布式存储解决内存成本高与单机SSD容量限制
✓ KV Cache卸载吞吐提升16倍✓ 无需修改上层程序即可快速适配
Mooncake + RDMA+ Kimi-K2
Mooncake 用 TransferEngine P2P RDMA 做权重更新,Kimi-K2 场景约 7 倍加速
NCCL 适合高带宽集体通信,P2P RDMA 实现点对点高效传输,disk-delta 降低权重更新传输量
✓ Kimi-K2 场景 P2P 约 7 倍✓ 支持异构并行 Reshard
产品简介
大模型推理KV Cache开源存储社区