Arm 称其 AGI CPU 在 Agentic AI 测试中机架性能达 AMD EPYC 9755 近两倍
Arm 上周宣布,其面向 Agentic AI 工作负载的数据中心 CPU——AGI CPU,在机架单位性能上达到了 AMD EPYC 9755 的近两倍。这一结论基于七项工作负载中测量的芯片性能及服务器功耗假设。该声明源自 Arm 新的 CPU 评估方法学下的模拟机架测试结果,该方法学是在 Fujitsu、Meta 和 OpenAI 支持下制定的。
这些结果经由 Arm 委托的独立分析机构 Signal65 验证,但并未确立 AGI CPU 在 Agentic AI 领域的全局领先地位,因为其结论仅适用于选定的处理器、工作负载和配置。此外,测试采用了 Arm 开发的具体评估方法学,而 Arm 认为该方法学应成为衡量性能的新标准。然而,AMD 和 Intel 等其他芯片厂商基于不同的 基准测试 发布性能声明。那么,Agentic AI 正在如何变革 CPU 性能基准测试,Arm 提议测量什么,不同方法之间又该如何比较?
Arm 的新 CPU 评估方法学
Agentic AI 正在改变现代 AI 数据中心中 CPU 的角色,要求其处理复杂的多步骤工作流。除了由加速器负责推理外,AI Agent 还需在隔离环境中执行工具、检索数据并维护状态,其行为类似虚拟用户。CPU 负责处理这些关键的周边工作负载,从运行工具、响应数据库或 API 请求,到准备数据以及为加速器协调工作。
随着 agentic 能力带动这类工作负载快速增长,衡量 CPU 性能的标准也在变化:不能只看能并发运行多少个 agent,还要看实际完成了多少有效工作。Arm 认为,CPU 性能越来越取决于系统能在保持响应速度的前提下持续完成多少有效工作。如果同时支持大量 agent,却导致它们的执行被拖慢、或加速器闲置等待 CPU,那意义也不大。此外,功耗、散热和物理空间也限制了运营商能部署的硬件规模,这让性能问题延伸到了机架层面。
Arm 在 Fujitsu、Meta 和 OpenAI 的支持下提出了一套 CPU 性能评估方法,核心是使用有代表性的 agent 工作负载、可复现的 CPU 测量,以及对照端到端任务结果进行验证。具体来说,这套方法会识别 agent 使用的工具和服务,在受控条件下测量它们的 CPU 性能,再检验这些性能提升是否真的帮助 agent 完成任务。比如,数据库测试可以测出系统处理事务的速度,而端到端评估则会进一步验证更快的数据库访问是否真正改善了依赖它的工作流。
执行这套方法的第二个环节——让对比结果可复现——也存在挑战:agent 每次运行时可能选择不同的命令,或走不同的任务路径;模型推理和远程服务也会带来延迟。Arm 建议回放录制好的 agent 操作,把 CPU 性能从这些不确定性中剥离出来,让不同系统执行完全一致的工作序列。其白皮书给出了选择和解读这些测量的框架,至于行业公认的基准测试套件和评分方式,还有待业界共同制定。
为评估其框架中描述的 CPU 工作,Arm 在自家的 AGI CPU 和 AMD EPYC 9755 上运行了七种工作负载,涵盖工具类应用、agentic 工作流、推理/规划,以及用于测量 agent 执行沙箱创建开销的 Sandbench。这些测试既有成熟的服务器应用,也有针对 agent 工作流的基准测试。
Swipe to scroll horizontally工作负载 |
代表内容 |
指标 |
MySQL |
支撑智能体工具的底层事务数据库 |
每秒事务数 |
NGINX |
Web 与 API 请求处理 |
每秒请求数 |
Milvus |
用于检索的向量搜索 |
每秒查询数 |
Terminal-Bench 2 |
在隔离容器中运行的 72 种智能体任务类型,同时并发 128 个副本 |
任务完成时间 |
SWE-bench replay |
软件工程智能体工作流,共 259 个任务 |
每分钟任务数 |
fastText |
CPU 端词表示训练 |
每秒处理词数 |
vLLM CPU overhead |
绕过模型计算后的 CPU 服务开销 |
每秒请求数 |
vLLM 测试结果衡量的是模型执行前后的 CPU 工作负载,而非 GPU 推理吞吐量。同理,报告中“推理/规划”类别归类的是支持性的 CPU 工作负载,并不评估模型本身的推理智能程度。
Arm AGI CPU vs AMD EPYC 9755
受硬件供应限制,Arm 在测试中使用了两种 AGI CPU 配置:128 核芯片(主频 2.8 GHz,搭配 DDR5-7200 内存)用于 Terminal-Bench 2 和 SWE-bench replay 测试;136 核芯片(主频 3.2 GHz,搭配 DDR5-8000 内存)用于其余五项测试。AMD 对比组则使用单路 128 核 EPYC 9755 处理器,搭配 DDR5-6400 内存。两个平台运行相同的基准测试脚本,但采用了不同的软件环境。Arm 使用自定义的 Linux 7.1.3 内核,大多数测试基于 Ubuntu 24.04,SWE-bench 基于 Ubuntu 26.04;AMD 主要记录配置为 Ubuntu 24.04 配合 Linux 6.8,具体设置因测试项目而异。
在芯片层面,与 AMD 对应型号相比,Arm AGI CPU 在七项测试中的五项中取得领先。以 EPYC 9755 为基准,Arm 在 Terminal-Bench 上领先 9%,SWE-bench 上领先 13%,fastText 上领先 97%;但在 MySQL 和 Milvus 吞吐量上分别落后 12% 和 5%。综合七项归一化性能比率计算,AGI CPU 平均每芯片性能优势为 20%(即 1.20 倍)。
Swipe to scroll horizontally工作负载 |
单芯片实测性能 vs EPYC 9755 |
对比 EPYC 9755 的机架级模拟性能 |
MySQL |
0.88x |
1.43x |
NGINX |
1.20x |
1.95x |
Terminal-Bench 2 |
1.09x |
1.93x |
SWE-bench replay |
1.13x |
2.00x |
Milvus |
0.95x |
1.54x |
vLLM CPU overhead |
1.16x |
1.88x |
fastText |
1.97x |
3.19x |
算术平均值 |
1.20x |
1.99x |
在机架层面,Arm 的模拟性能平均为 AMD 的 1.99 倍,且在全部七项工作负载中均占优。该模型采用的服务器功耗估算值为:128 核 Arm 配置 950 W,136 核版本 1,050 W,AMD 为 1,700 W(含内存及其他系统组件)。在预留 24 kW 机架预算约 8% 用于网络和电力分配后,可部署 23 台或 21 台 Arm 服务器,而 AMD 服务器则为 13 台。
对于 SWE-bench,2.00 倍的机架级结果是通过将约 1.13 倍的芯片级结果乘以 23/13 得出的。性能提升主要源于在相同功耗预算下能部署更多服务器。此外,这些预测基于模拟的整机功耗,而非两机架满载状态下的实际吞吐量测量数据。
Arm 的模型还赋予 AMD 服务器约两倍的内存配置:AMD 约为 2 TB,而 Arm 为 1 TB。该分配方案按每个硬件线程 4 GB 计算,其中每个 AMD 核心支持两个线程,每个 Arm 核心支持一个线程。这使得 AMD 的内存功耗预算为 336 W,Arm 为 192 W。Signal65 还计算了按物理核心分配内存的情况。在此配置下,AMD 的内存和功耗预算降低,Arm 的平均模拟机架优势从 1.99 倍降至约 1.81 倍。2 TB AMD 配置的实际效用取决于工作负载对内存的真实需求,因为 SMT 本身并不要求双倍内存。
为验证这些结果,Signal65 远程观摩了 Arm 的测试过程,并审查了原始日志、结果文件、脚本和配置记录。一个独立审查团队用自己的代码重新实现计算,在 0.5% 的误差范围内复现了全部七项结果。不过,Signal65 并未在自己实验室里做独立的硬件复测。此外,它也只能独立确认 EPYC 9965 系统的 BIOS 和内存设置,Arm 和 EPYC 9755 系统的相关设置无法独立核实。加上软件层面的差异,这些缺口在一定程度上削弱了“结果可完全归因于处理器本身”这一结论的确定性。
Arm 与 AMD、Nvidia 的方法之争
Arm 认为自己的方法论应成为行业标准,但在如何评价 agentic CPU 性能这件事上,业界并非只有一种声音。比如 AMD 主打每瓦特、每美元、每机架的 agent 数量,其 EPYC 9006 页面脚注指出,用可用的 CPU 线程数作为 agent 容量的代理指标,实际吞吐量取决于工作负载和系统配置。AMD 另一项工作负载分析则基于 100 kW 机架建模,通过对六个基础设施工作负载取几何平均,宣称 EPYC 9965 的性能达到 Nvidia Vera 的 2.37 倍。
Nvidia 则强调 Vera 的单线程性能和内存带宽,并称一个 256 CPU 的机架可支持超过 22500 个并发 CPU 环境。这些数字衡量的对象各不相同,并不能直接推出谁更有优势。各家厂商在工作负载、功耗假设和汇总方法上都有差异,使得 CPU 之间的直接对比变得复杂。此次对比对象是 AMD 128 核的第五代“Turin”处理器,而 AMD 今年发布了专为 agentic AI 打造的第六代 EPYC 9006 “Venice”系列。