中美开放整机柜服务器实践与演进

2022年10月17日行业动态作者：张广彬阅读：184

本文是OCP China Day 2022开放整机柜分论坛回顾的第三部分，正文提炼嘉宾的主要观点，建议关注“E企研究院”以观看演讲视频为主。

我们知道，OCP（Open Compute Project，开放计算项目）“原生”的机柜规范Open Rack的主要用户是Facebook（Meta），而BAT共同发起的天蝎整机柜项目（Project Scorpio）主要用户是百度。所以，天蝎整机柜和Open Rack的发展，可以在很大程度上代表中美（开放）整机柜服务器的现状。

天蝎5.0整机柜：中国开源整机柜技术创新与突破

百度资深系统工程师郑建武的分享分为四部分：

整机柜的发展历程；
整机柜的问题和挑战；
浸没液冷整机柜介绍；
未来架构思考。

天蝎整机柜与Open Rack基本同龄，从2012年的第一代到今年在探索试点的浸没，正好十年，经过了6个版本的迭代，主要介绍突出的三个阶段。

2012年的风冷整机柜，集中散热、集中供电，还有集中交付，算下来整体的TCO收益大概是5～15%；
2019年在做的冷板液冷整机柜，风液结合，目前看来有5%的收益；
今年在探索的浸没整机柜，全液冷，算下来长期收益在10%左右。

整机柜的问题和挑战分为三个维度：

政策：为实现“双碳”目标，数据中心要逐渐液冷化；环保政策，对液冷的部署提出新挑战。
芯片功耗：芯片堆核设计，功耗随之攀升；如CPU 350W（瓦）、GPU 500W，单节点功耗增加明显。
机柜密度：单柜12kW（千瓦）时，节点密度低，风冷对液冷收益变薄；提升单柜密度，24～36kW逐渐成为主流。

（天蝎）浸没液冷整机柜外尺寸为2500×1400×850（长宽高，单位mm），52U（单位SU，具体见《开放整机柜简史》一文介绍），21英寸节点，也兼容19英寸（通用）服务器。

布局上，集中供电的电源（PSU）和交换机放在中间。供电铜排（busbar）在机柜底部，为一体式（不分段），采用灵活的Clip而非硬锁连接。54伏供电，整机功率36千瓦，未来Eagle Stream（EGS，对应英特尔新一代CPU）可以扩展到60千瓦乃至72千瓦。双输入钛金（Titanium）电源进一步提高集中供电效率，但也兼容通过PDU配电的传统供电方式。

浸没式液冷的核心是冷却液的选择，天蝎5.0采用单相氟化液，化学特性友好，方便运维，国产化溶液可以降低成本。集中CDU主备配置，目前是一拖四，未来可能一拖八，集中换热又可实现单柜控制。

Clip取电和IO前运维的设计都很适合浸没式液冷环境，风冷和液冷节点采用一套设计，物料共用，自由切换。

浸没式液冷的管理采用机柜级的管理设计，可以进行远程的控制和报警。机柜监控管理单元模块（RMMU）与RMC互联，可以采集Tank里所有的信息，后期可以进行一些散热策略的管理。

思考：芯片的功耗一直往上走，PUE值要一直往下走，这是一个矛盾体，解决方案肯定是液冷。机柜级、节点级还是封装级？从机柜级的角度，风冷机柜的搬迁运维不是很方便，液冷倒是更适配机柜级的（交付和运维）。

ORv2到ORv3机架设计的演进

在Open Rack v1的基础上，Open Rack v2（ORv2）发展得相当成熟，其主要用户Facebook（Meta）也成长为百万台服务器量级的数据中心巨头。

正如《开放整机柜简史》中所指出的，在新的历史时期，Open Rack和天蝎整机柜都致力于回归松耦合，给用户提供更灵活的选择，包括更好的支持19英寸的“标准机”。

Open Rack v3（ORv3）在2019年浮出水面以来，经过几年的发展，逐步走向完善。Delta（台达）机构高级经理楊茗棠远程接入此次开放整机柜分论坛，介绍了ORv2到ORv3的几处细节变化。

作为一个以集中供电为核心的机柜规范，铜排（busbar）的变化显然是最需要关注的。与天蝎5.0类似，ORv3的铜排也改为一体式，并与电源框（Power Shelf）浮动连接。浮动连接使ORv3的电源框可以和服务器节点（IT Gear）一样灵活的布置在机柜的任意U位，而仅支持48V（ORv2还支持12V）供电也体现了必要的精简。