智能体时代,重构企业AI算力基础设施
2026年,AI的发展正迎来一个关键拐点:大语言模型的应用迈入智能体(Agent)时代。人们已熟悉大语言模型应用是“生成式AI”,以Chatbot为代表的对话式互动是典型模式,核心在于提示词与长上下文,调用大模型完成一次性或回合制的内容生成。而智能体将AI的实际输出从生成内容转向自动化执行,实现了从参谋、助理,向执行者的进化。
Gartner预测,在2026年将有40%企业应用会集成AI智能体。未来的企业面对的将不是部署几个模型、嵌入几个业务的问题,而是可能需要构建由成千上万个智能体组成的“AI原生组织”。大量的智能体将在后台持续运行、自主规划、协同执行,对支撑AI应用的底层基础设施提出了全新的要求。AI基础设施的核心能力需要从关注能够支撑多大规模、多高并发的大模型部署,转向支撑智能体规模化运行,兼顾高吞吐量Token持续生产。
智能体时代,CPU与GPU的共处之道
面向智能体时代的AI基础设施,首先是要将CPU拉回C位。智能体的任务拆解之后,除了任务调度、进程管理,还有大量的信息查询、逻辑判断、工具调用等任务需要交给CPU完成,而GPU负责的Token生成在整个任务链中的用时占比相对下降。有研究指出,在智能体任务中,CPU处理时间可达总延迟的90%,能耗占比44%。传统AI服务器内的CPU与GPU的部署比例大概是1:8或者1:4,而在智能体时代,既需要海量的 GPU 执行大模型推理,还需要 CPU 服务器来承担智能体主机的负载。CPU的内核数量实质性地决定了智能体部署数量的上限,并影响GPU的实际利用率。在确保智能体稳定运行的前提下,智能体的自主性和持续性会推动数据访问量和Token需求量激增,让AI与业务流程结合更为紧密。
其次是将CPU融入智算中心。在过去几年中,GPU的功耗需求远高于CPU,后者单机柜功耗通常在10kW以内,而前者单节点功耗就已经突破此数,使得二者所需要的机房设施出现分化。“东数西算”正是这种差异的一种表现,CPU通算主要用于数据处理,要求低延迟,功耗需求也较低,可以部署在东部发达地区;GPU智算计算量大、时延要求不敏感,功耗大,建议部署在西部能源充足地区。GPU对Scale-Up的需求则进一步促使部署密度刻意提升,使得GPU机柜的功率密度突破100kW,已经步入数百kW,并向MW级演进,液冷逐步成为GPU机柜的必选项。在智能体应用中,CPU与GPU需要紧密协同,继续将它们分别部署在不同的数据中心或机房当中将会带来过多的延迟——面向智能体时代的CPU服务器必须打破通算、智算的刻板印象,需要积极适应智算中心的基础设施环境,包括供电、散热等应该向GPU服务器对齐。

浪潮信息在2026开放计算技术大会(OCTS26)上发布的CPU原生液冷整机柜服务器就很好地体现了上述思路。原生液冷设计重构了计算系统,CPU、内存、网络、光模块等模块全域液冷覆盖,大幅提升机柜空间散热能力和部署密度。以内存为例,传统垂直安装适用于风扇散热,原生液冷架构下通过水平安装降低了整体高度,使得液冷OCM2.0开放算力模组配置双路CPU、32条内存、含冷板的配置下,可实现近1/2U的厚度。在此基础上,2U机箱内可部署8个双路模组,即16颗CPU,在48U机柜中,可以支持部署多达384颗处理器,整柜功耗334kW。作为参考,业界主流AI机柜的单柜功耗已经达到100kW。也就是说,基于原生液冷设计的CPU整机柜适合与GPU超节点共处一室,共享相同的供电、供液基础设施,确保发挥最佳协同效益。
从单点模型到群智协同
智能体可以自主分解任务,并调用不同的模型、扩展包(Skill)以完成一系列子任务。这涉及到模型的选择,以及多种模型的协同。
以浪潮信息的元脑企智EPAI(Enterprise Platform of AI)最新上线的多模融合API为例,智能路由首先会根据任务的特征,分配不同的模型。譬如比较简单的查询、文图识别等任务,可以调用较小规模的模型,节省算力消耗;对于编写代码之类的任务,则需要调用较大规模的模型,以获得更满意的输出结果。
参数规模较大的模型固然有较高的能力,但不同的模型也各有特点,面对多样化的任务、场景,单一模型难以在所有维度上都表现最优。争取在不同模型之中各取所长也是近期智能体逐步开始重视多模型协同的原因。这类协同的典型模式包括多模型融合和智能体集群。目前比较成熟的是多模型融合,其输出质量通过评审多个模型的独立输出、交叉验证来保证。智能体集群更像是若干模型之间进行“讨论”,经过多轮交互后,可能有机会“涌现”高质量的成果,但存在质量不稳定、算力消耗大的问题。元脑企智EPAI选择的是多模融合,将同一任务并行分发至多个候选大模型,由各模型独立生成答案,再通过评审融合环节比较候选结果中的共识、分歧、遗漏和独特观点,形成统一输出。
经过评审融合的输出,其质量会显著优于单体模型的输出。这不但弥合了不同模型的长短板,也解决了更大规模单体SOTA模型训练难度越来越大的痛点。当然,将单个任务同时发给多个模型处理,也会相应导致算力消耗倍增。但整体而言,如果能够通过一次性的高Token投入获得较满意的结果,实际成本是低于反复尝试的。在Chatbot时代,同时使用多个不同模型、反复调整提示词和补充上下文,早已是常规操作。评审模型更像是将“货比三家”的操作自动化罢了——在元脑企智EPAI中,用户通过一次 API 调用即可完成上述流程。
高质量Token生产引擎
在第一节当中曾经提到过,智能体的普及会带动Token需求量的激增。相应的,企业用户也在思考两个问题:如何尽可能提升Token输出质量,以及推动算力设施私有化部署。
去年兴起的AI超节点概念解决的就是Token生产率更高的问题,通过提供更高带宽互联、更大规模显存,利用专家并行、PD分离甚至AF分离等技术手段提升效率。浪潮信息在去年推出的元脑SD200超节点AI服务器通过3D Mesh高性能互连系统,支持64张AI芯片高密度算力扩展,能够很好地满足大模型高吞吐量、低延迟推理的需求。元脑SD200超节点可以提供4TB的统一显存空间,可以支持多个主流万亿参数大模型同时驻留,可以很好地满足前面提到的多个候选模型做并行推理、融合评审的需求。

在这个月初,浪潮信息进一步展示了元脑SD200超节点的优化成果:完成主流领先开源大模型Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等的高性能优化,并在Kimi K2.6万亿参数大模型上,将单Token生成时间压低至4.77ms,首Token延迟降低35%。这种优化尤其适合Agent场景的需要,降低了子任务的排队时间,让多轮交互变得更为流畅。

对于急于实现“Token自由”的企业,浪潮信息近期推出了元脑SD200超节点企业版,在起售价格、部署要求等方面相对元脑SD200超节点大为降低。这是一台支持16块AI加速卡统一Scale-Up的智算节点,基于Open Fabric Switch构建,实现了统一寻址和低时延跨卡通信。相较于传统的基于PCIe的8卡、16卡机型,元脑SD200企业版在部署超大规模参数模型时更便利,卡间协同(如EP、PD等)也更高效,将企业级部署的推理效率提升到新的阶段。
结语
智能体概念引起重视仅一年左右的时间,随着龙虾的爆火,充分展现了自动化处理的魅力,让智能体发展进入快车道。在经历了诸如“一人公司”的炒作之后,智能体在企业的真实落地应该是迈向群智协同时代,也需要AI基础设施进入新的阶段。已被人们所熟知的GPU超节点代表着强劲的大脑,需要尽快补齐的是丰富的神经(模型路由与融合)和发达的肌肉(高密度CPU机柜)作为行动的载体。
浪潮信息发布的CPU原生液冷整机柜以堪称创纪录的部署密度,为智能体提供了高并发、易扩展的通用算力底座,以承载海量智能体的调度编排、工具调用和沙箱运行。元脑SD200超节点也提供了丰俭皆宜的选择。通过统一寻址的大容量显存、高带宽,支撑多模型并行推理和高吞吐的Token生成,源源不断地为智能体提供高质量的思考、输出。在元脑企智EPAI的组织下,算力分工明确,模型各司其职,智能体持续协同,推动AI从单点应用走向规模化、流程化落地。