Conductor

Conductor

开发框架/库 免费
面向 Mac 端的多 AI 编码 agent 并行编排与管理工具
访问官网

搭配玩法

1
Conductor + Mooncake Mooncake+ vLLM vLLM + CPU+ DRAM主内存+ SSD固态硬盘+ Mooncake Store+ LLaMA3-70B

把KV缓存变成集群共享资源,全局调度复用前缀缓存,降低TTFT与prefill计算

缓存不再限于本机,可跨节点迁移复用;预填充与解码分离避免互相干扰,调度器优先选有可复用缓存的节点

✓ 平均TTFT减少约14%✓ 平均prefill GPU时间减少48% ✕ 带宽低于100Gbps时TTFT明显恶化✕ 请求很少共享前缀时收益有限

相关 MCP 与 Skill

1

产品简介

面向 Mac 端的多 AI 编码 agent 并行编排与管理工具

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价