智能体 AI 时代，CPU 性能该怎么测？Arm 给出了新答案

2026年10月30日行业动态作者：益企研究院阅读：3,000

过去三年，所有关于 AI 算力的讨论，几乎都围着 GPU 转。

但一个容易被忽视的事实正在发生：根据美国知名风险投资机构a16z 援引的 OpenRouter 数据，自 2026 年 2 月以来，智能体（Agent）的 Token 使用量已经增长了约 14 倍。

这些增长不是来自”聊天”，而是来自数百万个全天候持续工作的智能体——它们写代码、查数据库、调接口、跑测试、执行任务。而支撑这一切”动手干活”的部分，恰恰是长期站在聚光灯之外的 CPU。

一、智能体不再是”会聊天的模型”

Arm 云 AI 解决方案架构总监 Ravi Malhotra 在媒体说明会上给了一个很精准的定义：AI 智能体就像拥有持久计算环境的虚拟用户——保持状态、检索上下文、调用工具、执行任务、评估结果，直到任务完成。

这意味着什么？当数十亿个这样的”虚拟用户”同时上线，每一次搜索、代码执行、数据请求，都会转化为实实在在的服务器负载。智能体不会替代云原生工作负载，而是在现有需求之上再叠加一层。

目前行业里最热的五类智能体用例，对 CPU 的”考题”各不相同：

一句话：没有两个智能体是完全一样的。

过去我们衡量 AI 算力，看的是每秒 Token 数、每瓦 Token 数、每美元 Token 数。

但智能体时代，Token 生成只是任务的一半。另一半是：把这些 Token 变成真实世界的行动——调工具、查库、跑沙箱、编排任务流。这些活，几乎全落在 CPU 上。

Arm 提出的新方法论，核心是两层测试：

组件级基准：单独测 Web 服务器（Nginx）、数据库（MySQL）、向量数据库（Milvus）、模型服务框架（vLLM）、沙箱（Docker/Firecracker）等真实组件，排除模型推理和网络干扰，精确衡量 CPU 本身；
端到端智能体基准：用 SWE-bench、Terminal-Bench 这类业界公认的智能体基准，验证组件性能能否转化为真实的任务完成率。

而且关键不在”峰值性能”，而在持续性能——在满足 SLA 的前提下，系统能持续并发完成多少工作。吞吐量随利用率上升而崩掉的 CPU，理论算力再高也没意义。

Signal65 的独立测试对比了 Arm AGI CPU 与 AMD EPYC（霄龙）Turin 9755，两个平台跑完全相同的基准脚本，结果相当值得关注：

为什么机架级优势比单核优势大得多？答案在”效率”二字：单核功耗更低 → 同样机架功耗预算下塞进更多核心 → 核多 × 核快 = 机架级碾压。

这也是为什么报告强调要看”机架级视角”——数据中心的约束永远是功耗、散热和物理空间，客户部署和付费的单位是机架，不是单颗芯片。

1. 选型要算”机架账”，不是”单芯片账”。 能效、内存利用率、单机架可容纳的服务器数量，这些因素对总拥有成本（TCO）的影响，往往大于单颗芯片的跑分。

2. CPU 快慢，直接影响 GPU 的钱包。 在软件开发这类场景里，模型生成代码后，CPU 要执行编译、构建、测试。如果 CPU 慢了，昂贵的 GPU 就在空转等它——”让 GPU 一直忙起来”，前提是 CPU 接得住。

3. 别迷信单一分数。 Arm 自己也强调，这套方法论不是行业标准，而是一个评估起点。正确的姿势是：先判断你的用例属于哪一类原型，再看对应组件和端到端基准的表现。评测跟着用例走，而不是跟着营销数字走。

AI 算力

的叙事正在悄悄换幕：从”谁的 GPU 多”，到”谁的智能体跑得多、跑得稳、跑得省”。当评估标准从 Token 数转向”机架级持续完成任务的能力”，CPU 的价值回归，才刚刚开始。