搭配方案
共 6 条同一份权重可用不同框架部署,按场景选框架
不同框架在吞吐、并发上限、显存占用上表现不同,按使用场景选择
✓ 同一权重可按成本结构选框架✓ 个人电脑有省事方案 ✕ 框架间量化对比少,需自己压测
在算力服务器上部署推理服务,把模型权重载入GPU并以API供Agent调用
Agent不直接本地运行大模型,而是通过接口派发任务,推理服务对外暴露API地址
✓ 模型即服务,Agent无需知道模型跑在哪✓ 流式返回,体验更跟手 ✕ 调用轮次越多、上下文越长,消耗算力越大
将 ReplaySSM 集成到推理框架中,加速混合模型 SSM 层解码
ReplaySSM 把状态表示为检查点加输入缓冲区,解耦输出计算与状态更新,降低内存访问压力并简化回滚
✓ batch 256 时解码步提速 1.2✓ 降低状态内存访问压力,简化回滚逻辑 ✕ batch size 为 1 时没有带来
在Blackwell上服务DeepSeek V4 Pro,每秒Token输出量提升高达50%
✓ 每秒Token输出量提升高达50%