三块“电子垃圾”级二手 V100 搭建 $1,042 家庭实验室,跑 Qwen 3.6 35B 达每秒 100 token
一位家庭实验室玩家用三块二手 Nvidia V100 在 Qwen 3.6 35B 上跑出了约每秒 100 个 token 的成绩。这套自组平台总价仅 $1,042,用的全是"电子垃圾"级 GPU。在同平台上,更小更密集的 Qwen 3.6 27B 约为每秒 24 个 token;而相同任务下,V100 的能耗大约只有同数量 P100 的一半。
一台约 $1k 的 GPU 主机,塞满"电子垃圾"卡(V100、P100),竟能与现代硬件/推理 API 掰手腕。跑分结果含功耗数据:来自 r/homelab
这篇博文《Scaling 'E-Waste': LLMs on Multiple Decommissioned GPUs》在单块 Supermicro 双 Xeon 主板上对比了九种配置——一到三块 K80、P100 或 V100-16GB。测试基于 llama.cpp,涵盖 130 多项 LLM 测试,涉及 Qwen 2.5、Gemma 4 以及 Qwen 3.6,精度覆盖 Q4/Q8/F16,上下文长度从 4K 到 128K,同时记录了每次运行的 GPU 能耗。博主目前日常在 V100 上运行 Qwen 3.6 35B,但也指出退役 GPU 的堆叠扩展终究有其上限。
这里的"电子垃圾"指退役的企业级 GPU——它们很受欢迎,但比起昂贵的现代显卡性能确实弱一些。作为对七月那轮 15 块"电子垃圾"GPU 测试的后续,这次对 Nvidia Tesla V100 的测试中,所有配置的主板和 CPU 保持不变——Supermicro X10DRG-Q 搭配两颗 Intel Xeon E5-2687W 12 核处理器,电源为 Corsair HX1500i。
性能评判标准是能否达到"实时交互"水平,这里定为每秒 70 个 token。至于为什么用三块 GPU:主力测试模型 Qwen 3.6 35B 在 Q8(8-bit 量化)下,一块或两块都跑不起来。
以下是作者给出的价格清单。需要注意的是,这些价格"并不完全等同于你今天在 eBay 上能找到的行情",而且总价只算了两个 CPU 中的一个,内存、存储、机箱和散热都没算在内。
Swipe to scroll horizontally部件 |
3x K80 |
3x P100 |
3x V100-16GB |
三张 GPU |
$270(每张 $90) |
$403.50(每张 $134.50) |
$655.16(每两张 $436.77) |
主板 |
$211 |
$211 |
$211 |
电源 |
$147.70 |
$147.70 |
$147.70 |
单个 CPU |
$28.20 |
$28.20 |
$28.20 |
搭建者总价 |
$657 |
$790 |
$1,042 |
加上第二个 CPU |
$685 |
$819 |
$1,070 |
这些老卡之所以便宜,是因为它们"发热量大,而且不带散热器",所以搭建者为每张卡 3D 打印了一个风道,还在此基础上开发了一款独立的散热器。
测试方法如下:每次测试预填充 4K、32K、64K 或 128K 的上下文,然后生成 512 个 token,重复运行 10 次取结果。Qwen 3.6 35B 是混合专家(MoE)模型,每个 token 只激活 350 亿总参数中的约 30 亿。下面列出的成绩都是 Q8 量化下的数据。