← 文章 / 芯片硬件
Tom's Hardware 1小时前 · 2026-11-20 03:20:34 · 0 阅读

三块“电子垃圾”级二手 V100 搭建 $1,042 家庭实验室,跑 Qwen 3.6 35B 达每秒 100 token

一位家庭实验室玩家用三块二手 Nvidia V100 在 Qwen 3.6 35B 上跑出了约每秒 100 个 token 的成绩。这套自组平台总价仅 $1,042,用的全是"电子垃圾"级 GPU。在同平台上,更小更密集的 Qwen 3.6 27B 约为每秒 24 个 token;而相同任务下,V100 的能耗大约只有同数量 P100 的一半。

一台约 $1k 的 GPU 主机,塞满"电子垃圾"卡(V100、P100),竟能与现代硬件/推理 API 掰手腕。跑分结果含功耗数据:
来自 r/homelab

这篇博文《Scaling 'E-Waste': LLMs on Multiple Decommissioned GPUs》在单块 Supermicro 双 Xeon 主板上对比了九种配置——一到三块 K80、P100 或 V100-16GB。测试基于 llama.cpp,涵盖 130 多项 LLM 测试,涉及 Qwen 2.5、Gemma 4 以及 Qwen 3.6,精度覆盖 Q4/Q8/F16,上下文长度从 4K 到 128K,同时记录了每次运行的 GPU 能耗。博主目前日常在 V100 上运行 Qwen 3.6 35B,但也指出退役 GPU 的堆叠扩展终究有其上限。

这里的"电子垃圾"指退役的企业级 GPU——它们很受欢迎,但比起昂贵的现代显卡性能确实弱一些。作为对七月那轮 15 块"电子垃圾"GPU 测试的后续,这次对 Nvidia Tesla V100 的测试中,所有配置的主板和 CPU 保持不变——Supermicro X10DRG-Q 搭配两颗 Intel Xeon E5-2687W 12 核处理器,电源为 Corsair HX1500i。

性能评判标准是能否达到"实时交互"水平,这里定为每秒 70 个 token。至于为什么用三块 GPU:主力测试模型 Qwen 3.6 35B 在 Q8(8-bit 量化)下,一块或两块都跑不起来。

以下是作者给出的价格清单。需要注意的是,这些价格"并不完全等同于你今天在 eBay 上能找到的行情",而且总价只算了两个 CPU 中的一个,内存、存储、机箱和散热都没算在内。

Swipe to scroll horizontally 搭建者搭建三卡平台时各部件的花费

部件

3x K80

3x P100

3x V100-16GB

三张 GPU

$270(每张 $90)

$403.50(每张 $134.50)

$655.16(每两张 $436.77)

主板

$211

$211

$211

电源

$147.70

$147.70

$147.70

单个 CPU

$28.20

$28.20

$28.20

搭建者总价

$657

$790

$1,042

加上第二个 CPU

$685

$819

$1,070

这些老卡之所以便宜,是因为它们"发热量大,而且不带散热器",所以搭建者为每张卡 3D 打印了一个风道,还在此基础上开发了一款独立的散热器。

测试方法如下:每次测试预填充 4K、32K、64K 或 128K 的上下文,然后生成 512 个 token,重复运行 10 次取结果。Qwen 3.6 35B 是混合专家(MoE)模型,每个 token 只激活 350 亿总参数中的约 30 亿。下面列出的成绩都是 Q8 量化下的数据。

原始来源: Tom's Hardware

评论 (0)