进阶 docs.arcee.ai 2026-10-23 07:38:36 · 33 阅读
第12章 消费级硬件
完整的文档索引请参见 llms.txt。该页面也支持 Markdown 格式下载。
Consumer Hardware
Consumer GPU Performance
本节汇总了 Trinity 模型在常见单 GPU 消费级硬件上的运行表现。
测试环境如下: GPU | 显存 NVIDIA RTX 3090 | 24 GB NVIDIA RTX 4090 | 24 GB NVIDIA RTX 5090 | ~32 GB
测试结果按推理框架分类:
vLLM Benchmarks 使用 vLLM 运行 Trinity Nano 的性能数据,涵盖请求吞吐量、Token 吞吐量及延迟指标。
llama.cpp Benchmarks 使用 GGUF 量化版本运行 Trinity Nano 和 Trinity Mini 的性能数据,覆盖解码速度、上下文扩展及生成任务等工作负载。
所有展示的结果均基于单 GPU 测试,以反映典型工作站和桌面部署场景。
Benchmark Coverage
基准测试数据集包含以下维度: * 吞吐量与延迟测量 * 量化级别测试 * 解码速度基准 * 上下文扩展测试 * 真实生成任务(如问答、代码生成、长文本生成)
Previous | Hardware Prerequisites Next | vLLM 最后更新于 7 个月前