TokenSpeed
开发框架/库 免费TokenSpeed 是面向智能体（agentic）推理场景的高性能 LLM 推理引擎。它通过编译器驱动的并行建模、高性能调度器和可插拔的内核系统，优化单卡吞吐量（TPM）并保持低延迟（TPS）。该引擎针对 NVIDIA Blackwell 架构深度优化，其 MLA 内核已被 vLLM 等主流推理框架采纳，适合需要高并发、长上下文处理的生产级 AI 应用部署。
产品简介
TokenSpeed 是面向智能体（agentic）推理场景的高性能 LLM 推理引擎。它通过编译器驱动的并行建模、高性能调度器和可插拔的内核系统，优化单卡吞吐量（TPM）并保持低延迟（TPS）。该引擎针对 NVIDIA Blackwell 架构深度优化，其 MLA 内核已被 vLLM 等主流推理框架采纳，适合需要高并发、长上下文处理的生产级 AI 应用部署。