似曾相识 | 和林格尔的20间房子
2019年7月的最后两天，作为中国移动集团数据中心星级评定联合专家组的一员，我从哈尔滨转战呼和浩特，先后经历了似曾相识和旧地重游两种心境——顺便说一句，是不是déjà vu这一个法语词就能把两句中文成语要表达的意思都给概括了？
似曾相识源于中国移动在全国布局的4+45云计算数据中心发展架构，即全国范围设4个集中化超大型数据基地和45个省级数据中心。4个集中化超大型数据基地自北向南依次是：中国移动（哈尔滨）数据中心、中国移动（呼和浩特）数据中心、中国移动国际信息港、中国移动南方基地，其中位于北端的两个是同期规划、开工建设的“姊妹”园区，规模相近，总体规划和技术路线也基本一致。
相关阅读：中国移动（哈尔滨）数据中心
哈尔滨与呼和浩特两大数据中心的共同点包括但不限于：基础设施总投资约120亿元，园区总规划方案由德国GMP公司中标，建设18栋仓储式数据机房，总规划机架数5.4万个（呼和浩特后有调整，下面会介绍）；一期工程3栋机房均于2016年投产，现在也都在建设二期工程。
两个园区在建设上的一大区别是中国移动（呼和浩特）数据中心已建成一栋备件仓储中心，单体规模12000平方米，建筑总高度15.7米，地上1层，局部夹层，采用门式钢架轻钢结构
所以，在已经过去的那个夏天，两个差不多体量的园区，有着外观和布局相同的3座机房楼，以及热火朝天的工地……但是，专家组明明是从哈尔滨飞到呼和浩特的，怎么会在哈尔滨就有了似曾相识的感觉呢？
因为，呼和浩特已然是旧地重游。
2018年8月中旬的中国移动（呼和浩特）数据中心，可见尚无二期动工的迹象
在2018年数字中国万里行暨北方区数据中心之旅的中途，我们来到了呼和浩特。三大电信运营商都在此地有大规模的数据中心投入，我们参观的中国联通呼和浩特云数据中心位于北部白塔国际机场附近的新城区鸿盛工业园区，中国移动和中国电信的园区则在南部的和林格尔县隔街相望。
我们原定于8月14日下午参观中国移动（呼和浩特）数据中心，不巧赶上两波领导视察。虽然日程冲突，我组织的三人小分队还是在外面观察了一番。所以在印象上，确实是“ta比你先到”图片
书归正传。
中国移动( 呼和浩特) 数据中心
低电价、自然冷源、超大规模园区
项目亮点：
10万机架、百万台服务器的规划规模；
规划多个园区内变电站满足电力需求；
一期工程采用轻钢结构仓储式建筑，建设速度快；
相邻独立制冷站的耦合效应；
三种贴近热源的空调末端，就近供冷；
自然冷却时间长，年节电可达亿度。
项目概况
呼和浩特临近北京，网络访问的时延相当有竞争力，电价更是全国最低。即使在盛夏，气候也非常干爽，建设超大型数据中心的区位优势明显，帮助中国移动（呼和浩特）数据中心吸引了大批不同规模的用户。
位于乌兰察布与呼和浩特之间的一个光伏电厂
中国移动（呼和浩特）数据中心园区占地面积1402.26亩，建筑规模62.1万平方米，分别相当于130个和87个“标准”足球场，都略大于中国移动（哈尔滨）数据中心，地块形状也更接近正方形。基础设施总投资120亿元，园区拟建设18栋仓储式数据机房，5.4万个机架……这些规划指标都与哈尔滨一样。但是，可能是临近京畿的地利之便，能带来更多的用户需求，园区总体规划进行了调整，扩大为12万机架能力，约150万台服务器能力。
2019年7月底的园区全景，二期工程已开始建设4座机房楼
呼和浩特园区所在地和林格尔（Horinger）系蒙古语，意为20间房子，因清初新设驿站有20户人家而得名。有趣的是，园区的数据机房楼所在区域呈4×5布局，正好也是20间房子——或者说仓库，18栋仓储式数据机房加2栋备件仓储中心，不是存数据就是存实物。况且，在总体规划的调整方案中，还有过建设20栋数据机房的版本……
与哈尔滨园区一样，呼和浩特园区的运营支撑中心、换班宿舍、员工餐厅等附属设施建筑也与数据机房楼、变电站等分开布置。结合上图看起来，二期工程还有一栋附属设施楼和一栋数据机房楼尚未开工
一期工程总投资13亿元人民币，包括3栋数据中心（总建筑面积7.3万平方米），1万个机架能力，约15万台服务器能力，于2016 年底投入运营；二期工程总投资18亿元人民币，建筑面积12.6万平方米，可提供5栋数据中心，2万个机架能力，约30万台服务器能力，计划于2020年交付运营。
已投产的一期3座机房楼和正在建设的二期4座机房楼
二期不仅规模更胜一期，计划交付速度也很快，可从侧面说明需求之旺盛。
供电：园区内多变电站规划
仅从规划图上来看，黑龙江和内蒙古的两大园区都留出了4个园区内变电站的位置，并且已经各建成一座，服务于一期工程。呼和浩特园区的数据机房楼呈4×5布局——其中2个位置留给备件仓储中心，也已建成一座。
从园区布局来看，每一列5栋机房楼对应1个园区内变电站
数据中心按照国标A级和国际Tier3标准建设，采用模块化的建设理念，可根据客户需要快速建设或改造满足需求。数据中心市电由两栋独立变电站双路引入，互为主备。
在柴发备用电瓶的运维细节上，呼和浩特与哈尔滨似有不同
设10kV高压柴油发电机组 + 30分钟后备蓄电池组，三重供电保障，实现高可靠性电力供给，当双路市电停电时, 油机可在60秒内启动输出，储油罐可满足12小时满载运行。
高压直流设备
3座机房楼的电池总数超过4.5万块
制冷：充分利用自然冷源
每栋数据中心独立设置制冷站，两两相邻并设置联通管道，空调系统互相备份，也可以在初期负载没上来时由两栋数据中心共用一个制冷站。因为每一列的数据机房楼都是奇数的布局，应该会有跨列组合的制冷站出现。
近处的2座机房楼以制冷站相耦合，远处依稀可见此列机房的变电站和建设中的2座机房楼
制冷系统采用集中水冷空调系统，由10kV冷水机组 + 板式换热器 + 开式冷却塔组成，管路采用双环路供水。设置余热回收，收集由机房IT设备散出的热量，经由热泵机组将热量输送至机房、办公室和生活区，满足采暖需求。
呼和浩特地处北纬40°，年平均气温5.4℃，全年三分之二的时间可以利用自然冷源，全年PUE值达到1.3～1.35，每栋数据中心全年节电约0.3亿度，3栋就接近1亿度。
一期工程、二期工地、远处的备件仓储中心和入口处的运营支撑中心等建筑
我和同行的中数智慧信息技术研究院副院长罗志刚一致认为，呼和浩特与哈尔滨地理位置及自然条件都差异巨大，其实不必走同样的制冷技术路线，可以尝试在国内方兴未艾的间接蒸发冷却技术，在节约水资源上应该有不错的效果。
数据中心星级评定联合专家组成员在冷站内合影，可以看到采用色彩管理的管路
运维团队开发了水冷空调系统“3I”控制策略，实现了系统模式切换、控制调节、冗余选择的智能化联动，提高了运行可靠性与经济性，为数据中心空调系统的无人值守智能化运行提供了便利。
机房：机架级就近供冷
一期工程为仓储式数据机房, 轻钢结构装配化现场组装，单体规模24200平方米，其中机房区22200平方米，制冷站2000平方米。
一期工程的3栋机房楼
机房楼为双层建筑，总高12.85米。机房区域层高4.5米（一层）和4米（二层），高压配电室位于一层。三期起将改为四层建筑，从而实现机架总数从5.4万增至12万个的目标。
二期的数据机房楼（与哈尔滨园区一样）改为钢混结构，远处是备件仓储中心
机房内部采用热管背板、水冷前门、列间空调等空调末端，实现机架级就近供冷，冷源贴近热源，制冷效率高，节能率可达到60%，节省机房空间约20%。其中需要水作为冷媒的列间空调和水冷背板布置在一层，只有热管背板布置在二层。
水冷前门与热管背板在外观上的一个显著区别是冷却液管路从机柜前下方进出
网络：辐射全国，实时扩容
网络向来是运营商数据中心的看家本领。园区具备丰富的互联网出口资源，总带宽达10T级以上，链路辐射全国。IDC系统由IDC网络、统一DPI系统、ISP系统等构成，直连集团骨干网，同时与全国各省会城市、重要节点城市实现高速直达，现数据中心网络出口带宽4.24T，带宽利用率为40%。目前，内蒙移动CMNET出省带宽总路由已达到13.6T，有客户需求时可实时扩容。
运维：智能化管控
数据中心综合管理平台集成了蓄电池子系统、动环子系统、门禁子系统、视频安防子系统、BA冷机群控子系统、变配电子系统、3D展示子系统等平台，实现集监控、告警、展示、运维为一体的综合化平台。
同时园区也建设了安防集中监控、消防集中监测等，对IDC能耗（PUE）进行分布式的管理与分析，对微环境的数据采集和监控，降低能耗浪费。智能化管控平台具有数据中心110万及以上测点处理能力。
近处的建筑是运营支撑中心（4层）、换班宿舍（5层）和员工餐厅（2层）
数据中心配备维护人员176人，7×24小时维护，综合管理系统不间断监控，实时告警。运维人员定期巡检电源、空调、机柜等。提供设备代收代存、上架、调测以及深度代维服务。该数据中心已获得ISO27001信息安全管理体系标准认证、ISO20000信息技术服务管理体系标准认证、信息系统安全等级保护三级、中国移动钻石五星级机房等证书。
综合管理平台
数据中心面向客户提供定制化的云计算支撑和大数据分析等业务服务，目前已引入公安部、旷视超算、滴滴打车、百度、腾讯、兴安盟政务云、内蒙医科大学教育云等百余家大型企业客户。
数字中国万里行