搭配方案

共 6 条
TensorRT-LLM + Ollama Ollama+ vLLM vLLM+ llama.cpp llama.cpp + 数据中心

同一份权重可用不同框架部署,按场景选框架

不同框架在吞吐、并发上限、显存占用上表现不同,按使用场景选择

✓ 同一权重可按成本结构选框架✓ 个人电脑有省事方案 ✕ 框架间量化对比少,需自己压测
TensorRT-LLM + vLLM vLLM + GPU显存+ API+ Triton

在算力服务器上部署推理服务,把模型权重载入GPU并以API供Agent调用

Agent不直接本地运行大模型,而是通过接口派发任务,推理服务对外暴露API地址

✓ 模型即服务,Agent无需知道模型跑在哪✓ 流式返回,体验更跟手 ✕ 调用轮次越多、上下文越长,消耗算力越大
TensorRT-LLM + vLLM vLLM+ GLM-5.3-Flash GLM-5.3-Flash + ReplaySSM+ FlashInfer

将 ReplaySSM 集成到推理框架中,加速混合模型 SSM 层解码

ReplaySSM 把状态表示为检查点加输入缓冲区,解耦输出计算与状态更新,降低内存访问压力并简化回滚

✓ batch 256 时解码步提速 1.2✓ 降低状态内存访问压力,简化回滚逻辑 ✕ batch size 为 1 时没有带来
TensorRT-LLM + Cursor Cursor + Together AI

帮助Cursor加速从模型优化到生产终端的路径

✓ 加速从模型优化到生产终端的路径
TensorRT-LLM + DeepSeek V4 Pro DeepSeek V4 Pro + Blackwell

在Blackwell上服务DeepSeek V4 Pro,每秒Token输出量提升高达50%

✓ 每秒Token输出量提升高达50%
TensorRT-LLM + SGLang SGLang+ vLLM vLLM + NVL72域内专家分布执行

在NVL72域内分布专家执行,扩大agent并发请求的有效批处理规模

利用Wide Expert Parallelism、DeepEP等技术均衡专家负载,扩大并发批处理规模