大模型PD分离部署,统一KV缓存跨节点传输,优化MoE推理吞吐
Prefill与Decode实例分离可独立扩缩容,统一KV缓存传输库在NVLink/RDMA间智能选择,保障SLO与吞吐
DeepSeek-V3是DeepSeek团队最新模型,在指令遵循和代码能力上全面超越前代,基于近15万亿tokens预训练,评测表现优异