进阶 docs.arcee.ai 2026-10-23 07:38:36 · 39 阅读

第13章 推理引擎

关于完整文档索引,请参考 llms.txt。此页面也提供 Markdown 版本。

推理引擎

根据硬件配置、性能目标及集成需求,Arcee 模型可部署于多种主流推理引擎。各引擎各具优势,涵盖从高吞吐量 GPU 服务到轻量级本地 CPU 推理等多种场景。下表汇总了各选项的推荐环境与使用案例,助您为应用选择最佳部署路径。

推理引擎推荐场景 vLLM适用于高吞吐量需求的 GPU 服务器,如可预测提示词、批处理及结构化工作流 SGLang适用于动态、多轮的 GPU 工作负载,如聊天应用与智能助手 llama.cpp适用于 CPU 或边缘设备,支持量化推理及无 GPU 环境下的高效推理

如需了解更多支持硬件及推荐配置,请查阅硬件先决条件。

上一篇llama.cpp 下一篇vLLM 最后更新于 6 个月前

评论 (0)