← 文章 / 芯片硬件
Tom's Hardware 1天前 · 2026-11-21 06:28:37 · 8 阅读

律师用12张二手V100打造9450美元私有AI服务器,全量运行DeepSeek V4.1 Flash专家模型

一位律师把自己的私有 AI 服务器从 8 张二手 Nvidia V100 升级到了 12 张,现在能以 4-bit NVFP4 精度运行 DeepSeek V4.1 Flash 的全部专家模型。代码生成速度最高可达每秒 184 tokens,长文档的首次响应时间也缩短了一半左右。按他花费的 9450 美元计算,这套配置仅相当于三台 DGX Spark 一半的价格,但在单请求解码速度上却能超过已公布的 DGX Spark 组合方案。

GPU 太多的律师:用 12 张 V100 跑 DeepSeek-V4.1-Flash,15360 个专家模型全部以 NVFP4 精度放进显存。单条代码流速度 157-184 tok/s,超过任何已公布的 4 台 DGX Spark 组合,是 3 台 Spark 速度的两倍、价格的一半。读取 128K 文件仅需 28 秒。
来自 r/LocalLLM

很多经典电影三部曲都是三部曲,而 Nick Mermiges 似乎也想凑齐这个数字。他的最初配置此前已经通过增加内存等手段升级过,如今为了实现更完整的精度,他又一次扩充了系统。这次的最新升级是增加了第三块 V100 板卡——每块 4 张,总共 12 张。他的这套“疯狂”操作,或许自有其章法。

原本 8 张 32GB 显卡只能装下 254 GiB,但所选模型的专家权重在 Nvidia 发布 NVFP4 之后需要 278.9 GiB。他之前的做法是把所有专家权重以 2-bit 精度放在显卡上,再将使用最频繁的 5,949 个专家(约 38.7%)换成 NVFP4,直到显存装满为止。现在,按照他的设想,全部 15,360 个专家都能以完整精度驻留在显卡上,用他 GitHub 仓库里的说法,“没有任何一个被进一步压缩”。他在自己网站上的一篇长文中表示,这些专家权重的数值“与 DeepSeek 官方发布的一致”,只是模型的其他部分仍采用压缩形式。

细心的读者会发现 V100 的一个局限,他也明确指出了:V100 没有 FP4 或 FP8 张量核心。每个 NVFP4 数值都必须先在软件中解包成半精度。紧凑存储的专家权重仍然划算,“但原因在于显卡读取的字节数更少,而不是计算更快。”这也解释了为什么一张 2018 年的显卡能跑 Blackwell 时代的格式。

模型的各层依然分配到各块主板上,这次是第 0–13、14–27 和 28–39 层,每块主板负责的部分再拆分给自家的 4 张卡。同一主板上的显卡通过 Nvidia 的高速互连 NVLink 相连,而跨主板的数据传递则经由主机的 PCIe,通过两个独立的 PCIe 交换芯片完成。前两块主板共用一颗 PEX88096 交换芯片,因此它们之间的传递不出这颗芯片;但第三块主板挂在一颗独立的 PLX 8749 后面,所以第二次传递还得穿过主机的 PCIe 桥,这会带来额外延迟。

不过这些折腾都是值得的——调整参数后(每张卡的功耗上限从 150 W 提高到 175 W,频率上限从 1,522 MHz 降到 1,452 MHz),性能和精度都有明显提升。

他的实测数据显示:在 256K 上下文下,首个代码 token 的生成时间为 58 秒,比上次升级后的 108.4 秒快了近一倍。上下文超过 32K 后,prompt 读取速度约为每秒 4500 tokens,是最初那套配置(约每秒 2200 tokens)的两倍多,不过其中部分提升可能要归功于更高的功耗上限。至于代码解码,1K 时快了 23%,但 32K 及以上基本没有提升,所以真正的收益其实是缩短了等待首 token 的时间。
原始来源: Tom's Hardware

评论 (0)