TensorRT-LLM

TensorRT-LLM

开发框架/库 1.4w
NVIDIA 开发的 LLM 推理优化引擎,vLLM 的直接竞品
访问官网

搭配玩法

6
查看全部 6 条
TensorRT-LLM + Ollama Ollama+ vLLM vLLM+ llama.cpp llama.cpp + 数据中心

同一份权重可用不同框架部署,按场景选框架

不同框架在吞吐、并发上限、显存占用上表现不同,按使用场景选择

✓ 同一权重可按成本结构选框架✓ 个人电脑有省事方案 ✕ 框架间量化对比少,需自己压测
TensorRT-LLM + vLLM vLLM + GPU显存+ API+ Triton

在算力服务器上部署推理服务,把模型权重载入GPU并以API供Agent调用

Agent不直接本地运行大模型,而是通过接口派发任务,推理服务对外暴露API地址

✓ 模型即服务,Agent无需知道模型跑在哪✓ 流式返回,体验更跟手 ✕ 调用轮次越多、上下文越长,消耗算力越大
TensorRT-LLM + vLLM vLLM+ GLM-5.3-Flash GLM-5.3-Flash + ReplaySSM+ FlashInfer

将 ReplaySSM 集成到推理框架中,加速混合模型 SSM 层解码

ReplaySSM 把状态表示为检查点加输入缓冲区,解耦输出计算与状态更新,降低内存访问压力并简化回滚

✓ batch 256 时解码步提速 1.2✓ 降低状态内存访问压力,简化回滚逻辑 ✕ batch size 为 1 时没有带来
TensorRT-LLM + Cursor Cursor + Together AI

帮助Cursor加速从模型优化到生产终端的路径

✓ 加速从模型优化到生产终端的路径

产品简介

NVIDIA 开发的 LLM 推理优化引擎,vLLM 的直接竞品

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价