把KV缓存变成集群共享资源,全局调度复用前缀缓存,降低TTFT与prefill计算
缓存不再限于本机,可跨节点迁移复用;预填充与解码分离避免互相干扰,调度器优先选有可复用缓存的节点
面向 Mac 端的多 AI 编码 agent 并行编排与管理工具