《考察报告》连载十四|算力网络与“东数西算”布局展望
“东数西算”的目的是将东部地区过于旺盛的算力和数据处理需求,转移一部分给更具成本效益、更可持续发展的西部地区承接,其中的关键是“国家枢纽节点之间进一步打通网络传输通道”、“优化东西部间互联网络和枢纽节点间直连网络”,才能“提升跨区域算力调度水平”。
在国家层面,对“西算”的布局至少可以追溯到十年前。以和林格尔数据中心集群与贵安数据中心集群为例:中国电信云计算内蒙古信息园项目在 2011 年 12 月初签约落户呼和浩特市和林格尔县,19 个月后首座数据中心落成;又过了不到 4 个月,中国电信云计算贵州信息园在贵安新区电子信息产业园开工建设。
我们 2016 年 4 月下旬到贵安新区考察时,中国电信、中国移动、中国联通的数据中心都已经颇具规模;2018 年 8 月中旬数字中国万里行团队抵达呼和浩特,参观了城北机场附近的中国联通呼和浩特云数据中心,城南和林格尔县隔街相望的中国移动(呼和浩特)数据中心和中国电信云计算内蒙古信息园,也是蔚为壮观。
从 2020 年开始,中国电信和中国移动已经为“东数西算”工程调整了规划,分别推出了“2+4+31”和“4+3+X”的全国数据中心布局,其中“4”都对应京津冀、长三角、粤港澳(大湾区)、(陕)成渝,“31”和“X”对应多个省级中心,“2”是内蒙信息园和贵州信息园,“3”是呼和浩特、哈尔滨、贵阳三大跨省中心。
从占地面积和规划来看,中国电信云计算贵州信息园和内蒙古信息园、中国移动(呼和浩特)数据中心都是 20~40+ 座机房楼、5~10 万+机柜、80~150 万台服务器能力的“巨无霸”级数据中心园区。不过,在多年发展之后,建设进度并不是很如人意。
相映成趣的是,大型互联网和云计算公司在“东数”区内的超大规模数据中心布局,如雨后春笋般,飞速发展。
其中很重要的一点,就是网络状况的制约,包括时延(latency)和带宽成本。
1.时延决定应用类型
时延会受网络节点等级的影响,有一定的优化空间,但最终还是受限于节点间的物理距离。时延在很大程度上决定了可以把应用部署在哪里,距离越近的数据中心,可以部署的应用类型,受限制就越少。我们可以看一下《实施方案》中的相关建议:
- 鼓励城区内的数据中心作为算力“边缘”端,优先满足金融市场高频交易、虚拟现实/增强现实(VR/AR)、超高清视频、车联网、联网无人机、智慧电力、智能工厂、智能安防等实时性要求高的业务需求,数据中心端到端单向网络时延原则上在 10 毫秒(ms)范围内;
- 支撑工业互联网、金融证券、灾害预警、远程医疗、视频通话、人工智能推理等抵近一线、高频实时交互型的业务需求,数据中心端到端单向网络时延原则上在 20 毫秒范围内(东数);
- 贵州、内蒙古、甘肃、宁夏节点内的数据中心集群,优先承接后台加工、离线分析、存储备份等非实时算力需求(西算)。
作为参考,我们可以看一下韶关和庆阳的网络资源:
- 韶关是国家光纤一级网络节点北京至粤港澳大湾区(广州)的必经支点。据统计,2019 年韶关市网络出口带宽已超 3400G,端到端访问国家路由器时延最快可达 5 毫秒,能够有效支撑粤港澳大湾区及周边省市在数据传输上的需求;
- 庆阳的网络出口总带宽 14596G,到北上广的平均时延都在 10 毫秒以内,符合发改委提出的“枢纽节点与东部城市时延须在 20 毫秒以内”的刚性要求,因此承载甘肃枢纽节点的数据中心集群。
如果以满足广州、深圳两地的用户需求为目标,距离比韶关更近的清远、河源无疑更有优势,庆阳显然不会成为优先考虑的对象。
2.枢纽节点组对规划
不妨再看看发改委等部门的《复函》中对 8 个国家枢纽节点的规划:
- 京津冀枢纽规划设立张家口数据中心集群。张家口数据中心集群起步区为张家口市怀来县、张北县、宣化区。积极承接北京等地实时性算力需求,引导温冷业务向西部迁移,构建辐射华北、东北乃至全国的实时性算力中心。
- 长三角枢纽规划设立长三角生态绿色一体化发展示范区数据中心集群和芜湖数据中心集群。长三角生态绿色一体化发展示范区数据中心集群起步区为上海市青浦区、江苏省苏州市吴江区、浙江省嘉兴市嘉善县;芜湖数据中心集群起步区为芜湖市鸠江区、弋江区、无为市。积极承接长三角中心城市实时性算力需求,引导温冷业务向西部迁移,构建长三角地区算力资源“一体协同、辐射全域”的发展格局。
- 成渝枢纽规划设立天府数据中心集群和重庆数据中心集群。天府数据中心集群起步区为成都市双流区、郫都区、简阳市;重庆数据中心集群起步区为重庆市两江新区水土新城、西部(重庆)科学城璧山片区、重庆经济技术开发区。平衡好城市与城市周边的算力资源部署,做好与“东数西算”衔接。
- 粤港澳大湾区枢纽规划设立韶关数据中心集群,起步区边界为韶关高新区。积极承接广州、深圳等地实时性算力需求,引导温冷业务向西部迁移,构建辐射华南乃至全国的实时性算力中心。
4 个“东数”枢纽在布局的描述中都以“围绕(枢纽内的)数据中心集群,抓紧优化算力布局”的要求开始,而“西算”枢纽中的宁夏和甘肃也强调了数据中心集群要“绿色、高效、安全、集约”。
△ 10 个国家数据中心集群概略位置,以及“东数”、“西算”枢纽节点间的组对关系
- 内蒙古枢纽规划设立和林格尔数据中心集群,起步区边界为和林格尔新区和集宁大数据产业园。充分发挥集群与京津冀毗邻的区位优势,为京津冀高实时性算力需求提供支援,为长三角等区域提供非实时算力保障。
- 甘肃枢纽设立庆阳数据中心集群,起步区边界为庆阳西峰数据信息产业聚集区。重点服务京津冀、长三角、粤港澳大湾区等区域的算力需求。
- 贵州枢纽规划设立贵安数据中心集群,起步区边界为贵安新区贵安电子信息产业园。围绕贵安数据中心集群,抓紧优化存量,提升资源利用效率,以支持长三角、粤港澳大湾区等为主,积极承接东部地区算力需求。
- 宁夏枢纽规划设立中卫数据中心集群,起步区边界为中卫工业园西部云基地。要充分发挥区域可再生能源富集的优势,积极承接东部算力需求……
贵州枢纽明确提到了“优化存量,提升资源利用效率”,而宁夏枢纽没有写明为哪个东部区域服务。从地理位置上,宁夏枢纽到长三角和粤港澳大湾区都是最远的,离成渝枢纽又不比甘肃枢纽更近,所以主要是和内蒙古枢纽一起承接京津冀枢纽的算力需求。
宁夏枢纽与京津冀枢纽的联系可以追溯到 2014 年亚马逊云科技(Amazon Web Services,AWS)数据中心落地中卫,形成北京-中卫的“前店后厂”关系。从我们的实地考察来看,中卫是 AWS、360、美团等大型用户落地在先,三大电信运营商建设数据中心在后,而贵安新区正好相反。
用户主导的自建或合建数据中心,优势是明确的用户需求在先,规划有的放矢,上架率比较有保证。通常来说, 数据中心的设计 PUE 值, 在 IT 负荷比较高的情况下才能接近或达成,很多数据中心在刚投产时,PUE 值“惨不忍睹”就是这个原因。所以,在发改委等部门的《复函》中,对 10 个数据中心集群,都要求数据中心平均上架率不低于 65%,不仅是提高土地利用率的需要,也有利于提升能源利用效率。
其他条件相当的情况下, 谁也不会舍近求远, 所以 65% 的平均上架率, 对本地需求不足的西部枢纽,挑战明显更大。中卫的劣势是距离北京太远,所以几个数据中心的体量,都不是太大。
三大运营商在和林格尔与贵安两大数据中心集群投建的数据中心,规划要大很多,如果没有超大规模用户入驻,目标很难达成。
在西部数字经济发展的初期,运营商率先进入布局数据中心,可以带动网络建设,解决本地的需求,譬如云南大理的政务云就落地在中国移动和中国电信的数据中心。随着“东数西算”工程全面启动,更需要电信运营商在“东西部间互联网络和枢纽节点间直连网络”建设上发挥主要作用。
不过,“永远不要低估一辆卡车的带宽。”增加网络带宽是必须的,但有时也需要直接运输服务器到新的数据中心。阿里巴巴和腾讯都有多年的服务器搬迁史,譬如前者在张北的数据中心到北京的数据中心有很好的带宽建设,在张北数据中心投产后仍然从北京搬迁了很多的服务器。后续随着河源等地的数据中心相继投产,阿里巴巴的服务器总搬迁量达到了一个相当惊人的数字。
展望
尽管经过了数年的筹备和规划,“东数西算”工程现在仍处在全面启动阶段,枢纽节点的数量和每个数据中心集群的规模,都会继续扩大。
在枢纽节点层面,“对于国家枢纽节点以外的地区,重点推动面向本地区业务需求的数据中心建设,加强对数据中心绿色化、集约化管理,打造具有地方特色、服务本地、规模适度的算力服务。加强与邻近国家枢纽节点的网络联通。后续,根据发展需要,适时增加国家枢纽节点。”
在数据中心集群层面,现在划定的都是“起步区”。而且,京津冀和粤港澳大湾区,“原则上”还可以再布局一个数据中心集群。
新增枢纽节点的话,参考上面对政策的解读,可以根据其自然禀赋,判断所属类型:
- “东数”要有足够大的本区域需求,也就是要有超级或准超级城市。
- “西算”以对外输出为主,是资源型,即能源储备要丰富,最好是可再生能源;气候条件要好,为数据中心提供足够的自然冷源。同时,离目标市场不要太远,即地理位置不能太“偏”。
目前的 8 个枢纽节点,从华北的京津冀和内蒙古,经西北的宁夏、甘肃,西南的成渝、贵州,华南的粤港澳大湾区,到华东的长三角,形成一个近似 O 形的布局。
O 形圈里看起来过于空虚,华中地区还没有值得称道的超大规模数据中心。武汉、长沙能否成为下一个成渝枢纽?区域内丰富的水电资源能否用来支持本地建设数据中心?这些都是比较复杂的问题。
毗邻京津冀和内蒙古两大枢纽的山西省东北部地区有好几个超大规模数据中心,隶属于大同市的阳高县和灵丘县有字节跳动,阳泉市有百度。这一区域的数据中心也是以服务京津冀地区为主,如果能提高可再生能源的供给,有进一步升级的潜力。
在这个 O 形圈外,主要的限制是地理位置。往西南,云南不及贵州;大西部的新疆和西藏, 距离都太远。东北倒是不乏超大规模数据中心,譬如中国移动(哈尔滨)数据中心就是中国移动三大跨省中心之一,与前面提到的中国移动(呼和浩特)数据中心是同期规划、开工建设的“姊妹”园区,规模相当,总体设计和技术路线也基本一致。但是东北的发展状况决定了其若发展数据中心集群只能服务于京津冀,而在网络条件等方面又无法与内蒙古和山西东北部媲美。
结合多年来数字中国万里行的考察研究,我们认为,除了上架率的要求,数据中心的单机柜供电能力也应逐步提高。在这一波关于“东数西算”工程的宣传中,我们仍然可以看到“2.5 千瓦标准机架”这样的引用,固然是一种计量习惯,也在一定程度上反映出我国数据中心平均机柜功率偏低的现实。
前面已经提到,在“东数”枢纽节点,对数据中心集群有“高密度”的要求。我们知道,城区的数据中心,为了节省宝贵的土地资源,通常都是多层或高层建筑,即使每个机柜的密度并不高,从单位土地面积上来看,“密度”也可以达到可观的水准。
10 大数据中心集群的情况有所不同,即使是“东数”枢纽节点的 6 个数据中心集群,数据中心所在地离城区也比较远,允许建设大平层或低层的数据中心。这种一两层的仓储式(Warehouse)数据中心是我们一直很认可的方向,有利于数据中心的快速建设,只要提高单个机柜的功率密度,同样可以更充分地利用土地资源。
虽然我们对未来几年中液冷数据中心的普及率持谨慎观望,但也非常希望看到有越来越多的数据中心以提高单柜密度的方式来达成高密度。