TensorRT-LLM

TensorRT-LLM

开发框架/库 1.4w
NVIDIA 开发的 LLM 推理优化引擎,vLLM 的直接竞品
访问官网

搭配玩法

1
TensorRT-LLM + SGLang SGLang+ vLLM vLLM + NVL72域内专家分布执行

在NVL72域内分布专家执行,扩大agent并发请求的有效批处理规模

利用Wide Expert Parallelism、DeepEP等技术均衡专家负载,扩大并发批处理规模

产品简介

NVIDIA 开发的 LLM 推理优化引擎,vLLM 的直接竞品

用户评价

还没有评价
这款产品刚收录,成为第一个评价的人
写第一条评价