搭配方案

共 5 条
Mooncake + Conductor Conductor+ vLLM vLLM + CPU+ DRAM主内存+ SSD固态硬盘+ Mooncake Store+ LLaMA3-70B

把KV缓存变成集群共享资源,全局调度复用前缀缓存,降低TTFT与prefill计算

缓存不再限于本机,可跨节点迁移复用;预填充与解码分离避免互相干扰,调度器优先选有可复用缓存的节点

✓ 平均TTFT减少约14%✓ 平均prefill GPU时间减少48% ✕ 带宽低于100Gbps时TTFT明显恶化✕ 请求很少共享前缀时收益有限
Mooncake + OceanStor M900+ 昇腾超节点

解决 KV 调度和预取问题,提前分层预取让数据进入高速介质

Mooncake 是行业常用推理框架,华为在其基础上继续解决 KV 调度和预取,按显存、内存、SSD 性能分层预取

✓ Token 命中率提升约一倍✓ 降低首 Token 时延
Mooncake + SGLang SGLang + 国产加速卡+ ParaStor

64K上下文单卡7并发下KV Cache卸载实现16倍吞吐提升,首Token延迟10秒内

ParaStor接入Mooncake承接长尾KV Cache卸载,SGLang负责推理,分布式存储解决内存成本高与单机SSD容量限制

✓ KV Cache卸载吞吐提升16倍✓ 无需修改上层程序即可快速适配
Mooncake + RDMA+ Kimi-K2

Mooncake 用 TransferEngine P2P RDMA 做权重更新,Kimi-K2 场景约 7 倍加速

NCCL 适合高带宽集体通信,P2P RDMA 实现点对点高效传输,disk-delta 降低权重更新传输量

✓ Kimi-K2 场景 P2P 约 7 倍✓ 支持异构并行 Reshard
Mooncake + Miles Miles + Ray Object Store

Mooncake 接入 Miles 替代 Ray Object Store,优化强化学习 Rollout 数据流

Ray Object Store、网络传输和权重同步容易形成系统瓶颈,Mooncake 提供高吞吐低延�迟数据面

✓ 支持同步和 Fully Async 两种✓ 降低内存分配和拷贝开销