数据中心供配电系统解决方案

随着信息技术、互联网技术的迅速发展,信息系统的市场应用越来越广泛,信息和数据量呈几何级增长,数据中心的需求日益增加,对数据中心的要求不断提高。众多行业也都在建设各种不同用途、规模、等级的数据中心,数据中心在政府机构以及电信、银行、证券、保险、互联网等行业中不断地提高自己的驱动力。数据中心作为一种物理载体在企业发展和运营中的作用越来越突出。

数据中心供配电系统作为数据中心基础设施最重要组成部分,已成为数据中心等级判定的主要参考标准。数据中心供配电系统架构,主要包括市电引入(10kV、110kV引入等)、高压变配电系统、后备柴油发电机系统(10kV、400V发电机组等)、市电/备用电源自动转换系统(中压切换、低压切换等)、低压配电系统(低压配电、楼层配电单元等)、不间断电源系统(UPS、240V、48V系统等)、列头配电系统、机架配电系统,以及电气照明、防雷及接地系统等。

数据中心供配电架构的影响因素  

数据中心供配电架构及供电保障等级选择,主要考虑以下几个方面:

1  数据中心供配电架构成本与安全效益平衡

数据中心从物理属性看,是IT设备的载体;从商业属性看,是为其服务的对象,即数据中心为各类用户的设备或信息提供保障服务。数据中心供配电系统架构选择,主要考虑用户设备类型、相关设备保障等级要求、相关标准及规范要求、绿色数据中心PUE指标要求、节能减排要求、数据中心选址区域自然条件特点、建设与运营成本的平衡等多种因素。

以通信行业数据中心为例,数据中心主要有自有数据中心和商用数据中心两大类。针对通信类,主要设备有传输类设备(国际传输干线、省际传输干线)、数据类设备(存储系统、云平台)、支撑类设备(计费系统、信息系统)等,相关设备供配电系统结构,主要考虑相关国家对通信系统建设及运维标准要求;商用数据中心主要包括政府、银行、企业等用户设备,其数据中心供配电系统及供电保障等级主要根据客户具体要求、客户设备规模、客户设备的租赁形式等来总体确定。

2  数据中心供配电架构规划与决策

在数据中心供配电系统实际实施阶段,需要制定合理规划决策,评估需求与风险,进行不同方案的比较,并考虑满足未来发展的需求。

数据中心主流的各类供配电建设标准及规范,以及用户对供配电结构的要求,主要是对供配电保障提出要求。针对保障要求,从实施角度出发,能够提出多种不同的供配电结构、系统架构的总体规划与决策,对后期供配电可靠性、可用性有决定性的影响。在规划与决策阶段,一方面要针对不同系统结构的特征、投资总额、运营成本、系统优缺点等做充分的分析论证,另一方面也要考虑供配电系统逻辑关系的复杂度、对运维的要求、系统可扩展性等因素。

3  数据中心供配电架构建设与运维

数据中心供配电架构应该同数据中心全生命周期一样,从概念、系统规划、决策、工程建设、交付运营等方面,是一个动态的、与时俱进的过程。现在行业有一种认识,认为供配电系统可靠性从供配电系统图上,计算结果越优,就越能提高可靠性。实际情况并非如此,而是数据中心架构的可实施性、可维护性等对设备供电连续性保障有很大影响。

供配电系统的实现与落地,必须要经过建设与施工,因此供配电系统带有较为明显的工程属性;供配电系统可靠性最终是在投入运营后,集中体现在系统运维阶段。供配电架构的设计与选择,一方面必须考虑工程施工过程的可实施性,如电缆布放距离、多层叠放、交处理、各类油电水气管路隔离措施、隐蔽工程处理等,另一方面还要考虑运维可行性,如电气设备物理位置与电气逻辑关系匹配、巡检路由规划、应急操作接口预留设置等。

数据中心供配电系统的典型结构  

目前,数据中心行业有比较全面的可供参考的相关技术规范,政府、行业、企业都根据各自领域数据中心的特点,发布了相关的规范、标准或指导意见。目前,数据中心主要参考的规范有工程建设国家标准《GB50174-2008电子信息系统机房设计规范》以及美国国家标准学会(ANSI)2005年批准颁布的《TIA-942数据中心电信基础设施标准》。

前者是我国针对于数据中心建设设计的主要标准规范,同时,为适应电子信息技术发展,新的国家标准正在编制;后者是目前国际数据中心参考的主要标准,该标准包含的条款也是随着建筑技术和电信技术的进步在不断修改和更新。

从相关标准的应用范围看,国际上参考TIA-942将数据中心等级从低到高分为TierI、TierII、TierIII、TierIV等四个级别,在国内参考GB50174将数据中心等级从低到高分为C、B和A三个等级,为了达到不同的等级,供电系统中采用不同的供配电方式。根据相关条文,不同标准的供配电系统结构特点如表1所示。

根据相关国际国内标准,规定了不同数据中心等级下,对应供电系统的原则及方式的演变,特定等级的系统,只规定了应满足的最低要求。

在规划建设阶段,在不同条件下,设计时选用系统结构需考虑总体投资规模、保障要求、节能指标、运维管理目标等多种因素综合分析,并在相应等级标准原则下进行优化设计。

目前,数据中心行业主要有以下三种典型供配电系统架构:基本型、可维护型、故障容错型等。三种典型数据中心供配电结构的特点如下:

1基本型供配电结构供电结构简单,投资少;  

单故障节点多,可用性差;  

供电系统器件故障、操作故障都会引起数据中心运行中断;  

预防性检修、计划性检修需要系统中断运行。

2可维护型供配电结构  

可用性高;  

系统保障N+1的冗余;  

运行期间可同时进行维护;  

数据中心中常用的供电结构;  

正常维修、单路故障出现时,不影响系统运行。

3故障容错性供配电结构可用性高;  

基础设施对空间、投资,要求较高;  

多条冗余路径,无单节点故障;  

基础设施、供电路由全程双路由;  

任何故障发生,不影响负载运行。

以上三种供电结构如图1所示。

上述三种典型供配电结构及特点,主要是从系统市电引入到所有末端设备供电的供电逻辑特点进行总体阐述,并不表示某种结构的优劣性。如对于保障等级要求不高的IT设备,基本型供配电结构完全满足供电保障需求,其系统结构在投资成本、电力设备空间、节能效果等方面,都明显优于其他两种结构;在保障等级较高的数据中心,也存在较低保障等级IT设备用电情况。

数据中心供配电系统架构的选择,应做整体考虑,根据IT设备供电保障等级和各类不同保障等级的IT设备分布情况,针对性的选择合适的、匹配的结构,才是数据中心供配电系统架构最终决策的关键点。

数据中心供配电案例  

中国移动浙江信息通信产业园数据中心包括110kV变电站一座、柴油发电机房一座、数据中心机楼四栋。数据中心总供配电架构有以下几个部分:110kV配电系统、10kV配电系统、10kV发电机并机供配电系统、数据中心机房电源系统等。产业园数据中心基础设施分布示意图如图2所示。

该数据中心供配电架构的总体特点:深入结合基础建筑设施布局,总体规划,分期投入;

通过供配电结构优化,平衡成本与安全效益的关系;

根据客户需求不同,可提供多种形式的供电保障模式。

产业园数据中心供配电系统结构示意图如图3所示。供配电系统架构如下:

1  110kV/10kV配电系统

园区自建110kV变电站,引入两路独立110kV市电,站内配置两台110kV/10kV变压器,每台容量50000kVA,两路常供。变电站两路110kV进线采用内桥接线;变电站10kV中压系统采用单母线分段接线,设母分;数据中心每栋配置一套独立中压系统,采用单母线分段接线,不设母分;每套中压系统分别从变电站两段10kV母线段各引入一路10kV市电电源,两路常供。

数据中心低压配电系统,采用变压器(1+1)方式运行,每套低压系统配置两台2000kVA的10kV/0.4kV变压器,两路常供。低压馈电采用单母线分段,设母联,“两进线一母联”采用电源自动转换系统,实现自动切换控制。

2  后备发电机系统

共配置18台10kV/2400kW柴油发电机组作为数据中心备用电源,配置一套具有多种并机模式及控制功能的并机控制系统。发电机组并机系统采用单母线分段接线,设母分。并机系统可实现自动启动、自动并机,实现加、减机控制、负载自动投切控制等功能。并机系统具备两种工作模式:

模式A:母分保持闭合状态,18台机组并联运行,组成一套并机系统;

模式B:母分保持断开状态,18台机组分成两组,组成两套独立并机系统。

3  市电/油机电源切换系统

数据中心每栋从变电站引入两路10kV市电电源,从发电机房引入两路10kV备用电源,每路容量均能满足该栋数据中心满载负荷。数据中心每栋分别配置两套独立市电/油机10kV切换装置,切换装置设电气及机械互锁。

数据中心4套独立10kV系统供配置8套独立的市电/油机切换装置,集中布置在数据中心1#楼和4#楼两个配电室,缩短切换操作时间。

4  机房电源系统

数据中心机房电源系统,根据业务类型、负载种类、客户需求的不同,提供多种供电模式,包括48V直流、2N交流UPS、交流UPS+市电直供、240V直流+市电直供等模式。

数据中心240V直流+市电直供供电结构  

当前,大型数据中心IT设备在积极采用新型供电方式,进一步降低供电损耗。由于高压直流供电系统,在投资成本、系统效率、占地空间等方面,较交流UPS具有更大的优势,已得到较大规模的推广和应用。

目前,240V直流供电技术的可行性已经得到较好验证,相应的理论分析和实践经验也在不断研究和总结中。240V直流供电技术已经成为行业热点,并在不断改变传统数据中心供电以交流UPS为主的格局。其中,基于240V直流技术衍生的“240V直流+市电直供”供电架构,进一步提升供电效率,节能效果更为显著。

数据中心一路高压直流、一路市电直供供电架构,主要有以下三种供电结构:

1  供电结构(一)

IT设备两个供电路由,市电直供路由、240V供电路由完全独立;

2  供电结构(二)

IT设备两个供电路由,其中240V直流系统输入屏设置双电源切换装置;

1  供电结构(三)

IT设备两个供电路由,其中市电直供输入屏、240V直流系统输入屏均设置双电源切换装置。以上三种供电结构如图4所示。

上述三种240V直流+市电直供供电结构,从供电等级看,均属于可维护型供电结构。系统结构的演进及优化,通过采用增加较小投资成本,实现较大幅度提高系统可用性的目标。通过在不同位置增加双电源切换装置,增加部分设备双路由供电,一方面提高系统的可维护性,另一方面提高系统中部分设备的故障应急抢修、计划性停电维护期间的供电连续性。

上述产业园数据中心应用案例中,根据用户对保障等级要求,采用模式(三):

1供电系统的低压变配电部分采用集中供电方式,布置于一层配电室;数据中心各层机房分别设立设置楼层配电柜,低配与楼层配电柜间通过密集型母线连接;

2两路市电电源均通过双电源切换后,分别输出至设备市电直供列头柜,或经直流电源输出至240V列头柜,有效地提高了市电直供路由的可靠性;

3设备两路供电逻辑关系对应,保证设备两路电源取自不同市电。

数据中心2NUPS系统供电结构  

由于UPS设备结构复杂,因此自身容易发生故障,设备冗余可以提高可用性,UPS系统便有了N、N+X等多种供电架构。较高等级数据中心供电结构中,为了消除单点故障,对重要保障负荷采用2N冗余系统。

2N冗余系统是由两套或多套UPS系统组成的冗余系统,每套UPS系统有N台UPS,设备的总容量为系统的基本容量。该系统从交流输入经UPS设备直到双电源输入负载,完全是彼此隔离的两条供电线路。也就是说,在供电的整个路径中,所有环节和设备都是冗余配置的。正常运行时,每套UPS系统仅承担总负荷的一部分。这种多电源系统冗余的供电方式,克服了单电源系统存在的单点故障瓶颈,保证其供电可靠性,采用2N冗余供电系统,其可用性得到明显提高。

2N冗余系统供电结构的实现,根据UPS系统接线关系的不同,主要有以下三种供电结构(见图5):

1  供电结构(一)

2N UPS的两台主机的输入电源分别取自不同低压母线段,其中单台主机的主路输入、旁路输入取自同一条低压母线段;系统两面输出柜配置手动维修旁路,手动维修旁路取电低压母线段与对应的UPS主机相同;

2  供电结构(一)

2N UPS的两台主机输入电源分别取自不同低压母线段,其中单台主机的主路输入、旁路输入取自同一条低压母线段;系统两面输出柜配置手动维修旁路,手动维修旁路取电低压母线段与对应的UPS主机不同;

3  供电结构(一)

2N UPS的两台主机分别配置一面双电源切换柜;两路市电经双电源切换后,输出至对应UPS主机输入电源;其中单台主机的主路输入、旁路输入取自同一面;输出柜配置手动维修旁路,手动维修旁路输入端取自对应的双电源切换柜;双电源切换柜配置手动旁路功能;

信息产业园2N UPS系统采用供电结构(三)形式:2N UPS系统中的各单机,设置对应的ATS配电柜;ATS柜均有手动旁路功能;满足UPS系统从两路不同市电供电要求,提升系统可用性;在低压母线电压异常、UPS系统计划性检修维护等工作状态下,该供电结构保证设备连续供电要求;

信息产业园2N UPS系中,UPS主机系统选择模块化UPS。与传统塔式机相比较,模块化UPS优势明显:单机实现模块并机冗余控制,可用性高;模块化UPS能够实现随需扩容,降低建设初期投资;UPS功率模块、静态旁路模块实现在线热插拔操作,具有较高维护性;UPS功率模块在高效运行,降低整机系统损耗。UPS模块化是数据中心不间断电源供电技术未来发展方向之一。

数据中心制冷系统设备供电结构  

从制冷系统功能角度看,数据中心制冷系统主要为数据中心提供冷源,制冷系统与供电系统构成数据中心基础设施重要的组成部分。

从制冷系统用电角度看,数据中心制冷系统相关设备,如群控系统、冷冻水主机、冷却塔、循环泵等,是数据中心重要的用电设备,也是数据中心要重点保障的设备之一。

数据中心实际案例中,往往缺乏对数据中心制冷系统供电保障可靠性的认识,很多数据中心的制冷系统建设,其初期投资、规划、施工一般与数据中心机房的土建建筑工程一起完成。

由于建筑工程与数据中心机房工程建设在相关规范要求、施工工艺要求等方面,存在一定差异,制冷系统初期建设往往因投资总额、施工质量、施工技术等各项条件限制,往往忽视系统设备的供电可靠性,并对后期制冷系统的可靠性、可用性、可扩展性方面产生较大影响。

以上述产业园数据中心的冷冻水制冷系统为例,其冷冻水系统结构,主要采用3台高压冷水机组,水系统按照“2用1备”模式运行,每套水系统配置独立蓄冷罐,水系统中冷却塔、水泵、电磁阀等均为低压供电模式。

图6所示为传统模式下该制冷系统供电结构。从传统制冷系统供电结构上看,制冷系统主设备尽管冗余设置,但所有独立系统均取自一套低压供电系统,且取自同一面配电柜;相互独立的水系统用电设备,供电系统未独立设置;当一套配电系统或某个配电单元出现故障,引起制冷系统整体停机;供电系统未配置UPS,两路市电异常情况下,不能保障连续制冷要求。

图7所示为产业园制冷系统实际采用的供电结构,该供电结构基于各套制冷系统冗余工作模式,为每套制冷系统提供完全独立的供电模式;制冷系统重要等级低的用电设备,均采用双电源切换装置,双电源切换柜配置手动旁路;制冷系统用电设备ATS主/备一致对应,避免市电切换影响系统运行;制冷系统中冷冻水循环泵、群控系统、主机控制柜等设备,采用独立单机UPS系统供电模式,保障数据中心持续供冷。采用该形式供电结构,保证了制冷系统在水循环、供电结构、逻辑控制等方面完全独立,进一步提高数据中心制冷系统可靠性、可用性、可维护性。

数据中心供配电技术展望   

1  实现快速部署、快速扩容是供配电技术未来发展的重要课题

如何有效缩短数据中心建设周期,是各数据中心在决策、规划、设计阶段,要考虑的主要问题之一。在数据中心网络技术领域,模块化设计在大型的云计算数据中心以及超级计算机中都很常见,模块化数据中心这一趋势进一步推向主流,数据中心设计建造中很多问题都与系统模块化程度有关。

实现数据中心供配电系统快速部署、快速扩容,可以采取供配电系统整体设计、预制化、模块化的建设思路,是未来数据中心基础设施设计的基本策略和重要理念。

供配电系统模块化建设思路,不仅设计某一特定设备内部模块化,还应升级到供电、配电等系统层面系统级模块化,供配电系统级的模块化发展,及与之关系紧密的标准化,简化供配电系统从初期规划、系统建设、运维管理每一个环节复杂度。

实施过程中,应综合考虑变配电、楼层配电、不间断电源等各部分组成架构、结构特点,结合数据中心建筑设施特点,实现供配电系统一体化规划、模块标准化预制、整体拼装等,从而达到有效缩短供配电系统建设周期,实现供配电系统快速部署、快速扩容的目标。

2  对供电系统高可用性、易维护性要求,依然是数据中心供配电技术重点发展方向从数据中心供配电系统的最终功能要求来看,在数据中心运营阶段,供配电系统高可用、易维护一直是数据中心供配电主要目标。

从国际、国内标准或规范来看,数据中心保障等级、可靠性与供电结构的复杂度息息相关,但系统可用性、易维护性并没有随着系统保障等级变高,在部分供配电结构中,反而因为系统复杂度上升影响了系统的维护性。传统数据中心为保证可靠性提高,采用复杂的供配电结构,对于部分系统自动化控制不足的数据中心,复杂的供配电架构其实对运维人员技术能力、素质水平都有非常高的要求。

从IT负载特点看,随着互联网技术的发展,云计算、云存储、虚拟化技术的应用,现代数据中心的设备负载与传统数据中心相比,负载属性有了质的变化,不同保障等级的设备占比,也有极大的变化,更多的设备可用通过“240V+市电直供”“UPS+市电直供”等简单模式代替传统的“2NUPS”等系统结构。系统结构复杂度降低、供配电结构可靠性提高,都对供配电系统的可用性、维护性等提出更高的要求。

3  有效减少投资成本、提高空间利用率、实现供配电系统节能高效运行是数据中心供配电技术发展面临的重要挑战平衡成本、效益的关系,依然是数据中心行业重点要考虑主要问题,也是数据中心体现其自身商业属性的必然要求。

一方面,从建设成本及空间利用率角度出发,未来需要通过进一步优化供配电系统结构,努力提高供配电系统智能控制水平,节省不必要冗余设备投资,减少电力系统空间占地面积,提高数据中心IT设备可装机架能力。随着高密度IT设备的要求,供配电系统设备本身也要通过提高技术水平、优化设备柜体结构、措施,提高其单位占地面积的供电能力。

另一方面,从运营成本及节能角度出发,当前数据中心面临日益严峻的高能耗,需要通过新技术应用,如采用削峰填谷供电技术、DCIM管理技术等,进一步提高供配电系统的供电效率,减少供电系统电力损耗,降低数据中心PUE值,节约运营期间的电费成本。

结束语

本文阐述了数据中心供配电架构选择综合考虑因素,并讨论了几种典型数据中心供电架构,同时以某一数据中心供配电系统应用案例为基础,详细分析了几种不同的供配电结构及优化方案的特点及优缺点,为数据中心供配电系统架构演进及探讨提供参考,并对数据中心供配电技术发展做了简单归纳。

供配电系统作为数据中心基础设施主要组成部分,在数据中心行业发展中的地位越来越显著,对数据中心供配电技术的研究,已经逐步从关注单个设备转而关注系统解决方案,很多新理念、新架构、新技术、新设备在数据中心的应用层出不穷,并日趋成熟。围绕数据中心供配电产品、技术、应用和整体解决方案探讨,也逐渐向标准化、全面化、系统化的方向发展,选择绿色的、经济的、高效的、可用性高的供配电系统,已经成为行业共识。

作者简介

曹国水:中国移动浙江公司网管中心基础保障部经理,从事通信电源和数据中心基础设施规划、建设及运维管理30年,对数据中心规划、建设和运维均有深刻的理论研究和丰富的实践经验。

王邦勤:中国移动浙江公司网管中心基础保障部动力运维支持,硕士,工程师,研究方向为数据中心电源系统规划、建设及运维。

审核编辑：汤梓红