微模块机房在大中小型机房应用的分析

微模块机房作为数据中心中创新性的明星产品无论在大型IDC数据中心还是在中小型的EDC机房都已经被广泛采用，但是行业内对微模块机房在各种不同机房环境中的适用性和侧重点一直缺少系统性的分析和总结。本文通过对微模块机房在不同技术条件、不同规模大小、不同行业特征机房中应用的优劣势和匹配性分析，希望能给广大的机房行业用户和从业者提供一份有益的参考。

一  引言

　　近几年随着数字经济的火热，作为大数据系统大脑的数据中心越来越多，为了满足愈发紧迫的建设需要，数据中心建设中越来越多地采用模块化和预制化技术，微模块机房作为此技术典型的产品化体现，在各种类型的数据中心中应用越来越普遍。
　　
　　模块机房有多种形式,目前市场上最多的是以机柜、冷通道封闭、行间空调为核心的IT型模块机房,也有仓储式、集装箱型模块机房、电力模块、水力模块、制冷模块等其它形式的模块机房方案。但最常见的还是IT型模块机房,本文也主要以此为研究对象。
　　
　　此种类型模块机房是2009年从欧美引入中国，之后仅有少量应用，几年内没有大规模推广。但从2016年以后，模块机房开始在国内如火如荼的推广起来，各个厂商纷纷争做模块机房。到2019年以后模块机房概念在全国范围已经广为接受。但在作为发源地的欧美地区，模块机房依然不温不火。
　　
　　以机柜、冷通道、行间空调、一体化UPS为核心的通用性IT型模块机房最初是针对高密机房制冷而设计的产品方案,主要适合于高密度(5-20kW/柜)的IDC机房,部分军工科研类机房也适用。普通数据中心项目因为普遍功率密度较低,只有高密区才有使用的必要性。对于普通中等密度(3-5kW/柜)机房,如果运用得当可以起到一定的节能效果。

二  微模块机房的优势

　　1.微模块机房适合高密度机房,节能优势明显
　　
　　传统机房采用房间级精密空调下送风无通道封闭的方案,主要适合单机柜功率3-5kW的中等密度机房,单柜发热量大于4kW的机房就宜采取冷热通道封闭,对于单机柜功率达到5kW以上的中高密度机房就适合采用行间空调或其它制冷方式。采用冷热通道封闭是适合于大多数机房的节能措施。采用行间空调加冷通道封闭的方案比传统空调地板下送风无通道封闭要节能20%～30%。
　　
　　根据工信部联节[2019]24号《关于加强绿色数据中心建设的指导意见》的要求到2022年新建大型超大型数据中心PUE达到1.4以下。两年后又迎来了更严格的政策,发改产业[2021]1464号《国家发展改革委等部门关于严格能效约束推动重点领域节能降碳的若干意见》(七)加强数据中心绿色高质量发展中要求:新建大型、超大型数据中心电能利用效率不超过1.3。到2025年,数据中心电能利用效率普遍不超过1.5。2022年2月17日“东数西算”工程启动,规划了10个国家数据中心集群,8个算力枢纽节点,其中6个集群要求PUE小于1.25,4个集群要求PUE小于1.2。这些都给机房节能提出了更严苛的要求,也给微模块机房的推广带来了更大的市场机会。
　　
　　2.微模块机房有助于节省机房空间
　　
　　如前文所述,微模块机房适合于机房高密度设计,这样在容纳同等IT设备的情况下所需要的机柜数量会比传统机房更少,机房占地面积相应减少。目前一流的微模块机房厂商还都可以配套提供智能小母线产品和一体化UPS产品,进一步节约机房空间。智能小母线产品则可以替代精密配电列头柜,在同等机房面积下增加机柜出柜率,适合租赁机房或本身空间不足的机房使用,如图1所示。一体化UPS将机房市电配电柜、UPS主机、UPS输出柜、精密配电列头柜合为一个柜体,如图2所示,在小型机房中可减少配电柜数量,有效节省配电室空间,还能减少损耗提高配电系统效率并节省空调容量。

　　

　　3.微模块机房便于采购和售后服务
　　
　　机房工程的典型特征之一是麻雀虽小五脏俱全,20m2的机房和2000m2的机房所需的设备种类相差不多,都需要几十上百种设备和材料,这就造成工程采购和售后服务相当麻烦。而微模块机房的机柜、PDU、通道封闭组件、精密空调、UPS、电池、配电柜、动环和安防监控全部可由同一厂家提供,个别厂家还可提供综合布线和KVM。加上装修、消防、数通设备、软件,已经可以满足小型机房的搭建,对于一般低端机房用户来说确实可以大大简化采购和售后服务。但对于高端大型机房这种方式就不够。
　　
　　4.数据中心中采用标准模块复制简化设计施工
　　
　　数据中心中采用多个标准化模块复制的方式可以简化设计施工,做好单个的标准模块后用模块对整体机房进行分解即可,单个模块可以让设备厂家预制,由于模块标准接口统一现场施工更容易保证工艺质量。
　　
　　模块复制与机房扩容是两个不同的概念,机房扩容受制于整体建筑空间、前端电源容量和配电接口、冷源及管路接口等因素,必须前期有规划预留后期才能扩容,否则无从谈起。而同样的预留方式,采用传统上送风或下送风机房的方案照样可以实现,而且各有优劣,传统机房预留的设备颗粒度需要更大,但微模块方案需要的工程的颗粒度更大,如需要预留复杂的空调水管及冷媒管路等,有时还需要预留电池电缆管路等。
　　
　　目前市场上扩容性较好的某互联网微模块,将高压直流电源、蓄电池、CDU和行间空调全部放在模块内部,增加模块数量对数据中心空间布局没有影响,只要变压器和配电柜有足够剩余容量和开关,就可以不断复制模块来扩容。但这种将电池置于模块内的方案消防风险较大,很多有经验的用户和工程总包都不接受。如果将交/直流不间断电源和电池挪到微模块外,就会跟传统机房一样出现机柜数量容量与UPS电源电池的占地空间相耦合的情况,扩容自由度大大折扣。而且此种方式做出的微模块成本也偏高,造成数据中心整体成本上升,即使是行业巨头也要通过简化机房装修来抵消部分微模块成本。所以说大型数据中心中的微模块定制和复制其实有很高的技术门槛和很高的成本投入,不是轻而易举能够实现的。
　　
　　5.微模块机房美观度更高
　　
　　微模块机房将机柜按照冷/热通道进行封闭,与传统机房内机柜仅按通道散装相比,整体外观更为简洁整齐,加上机柜和通道封闭由同一厂家提供,外观更加一致,而且各主流厂家都有在冷/热通道外部造型、门楣装饰、灯火效果等方面做刻意美化,使得模块机房的美观度明显更高,如图3所示。这对有参观要求的客户而言很有价值。
　　

　　6.微模块机房便于分区管理
　　
　　对于有多个用户在同一机房中部署设备的场景,就会相应产生机房分区管理的需求。这主要在机房租赁和一些大型单位的多个部门共用机房的时候会出现。微模块机房因为自带通道封闭可以很好的匹配这类需求,可以给不同用户分配不同模块的方法进行分区管理。当然这种方法也有局限性,在一些小机房中只有一两个微模块,却有四五个用户,运维方还要求监控到每个机柜被人操作的情况,这就有一定难度,需要非标定制才能解决,成本也较高。

三  微模块机房的不足之处

　　1.消防风险增大
　　
　　微模块机房为了解决高密度制冷采用封闭冷/热通道设计,消防时必须先打开翻转天窗和冷通道门才能让灭火气体进入冷/热通道,如果天窗偶然打开失败则无法及时灭火;即使顺利打开,灭火气体的进入速度也不如无通道封闭的传统机房,火灾容易在同一冷通道内蔓延,消防巡检也不如传统机房方便,有个别IDC机房甚至将铅酸蓄电池也安装在冷通道机柜中,这样做火灾风险更大,电池本身老化就有一定漏液短路故障的风险,全国每年都要爆出几例因电池起火烧毁机房的事故,所以微模块内置蓄电池必须配置蓄电池单体监控系统,而且电池临近设计寿命就及时更换。电池本身还会放出少量氢气和硫化氢气体,虽然受行间空调送风作用可以自然排到机柜冷通道外部,风险不大,但对IT和电气设备总是有害无利。近一两年来锂电池开始普及,又开始出现少量将锂电池入微模块冷通道的方案,锂电的火灾风险比铅酸电池更高,灭火更加困难,使用经验更不成熟。所以笔者的建议是对大规模、长寿命的数据中心不建议将电池放入冷通道中,特别是锂电池。在大中型机房中采用分布式的UPS和电池还会增加施工及运维的成本和难度,所以大型数据中心采用集中式UPS与电池一同外置在配电室电池间中才是最安全可靠、最经济的选择,也便于日后的运维管理,这也是目前普遍的共识与做法;对于中小型数据中心,可以将UPS放入微模块内,但是电池外置于通道外;对于建筑空间受限的微型双排或单排微模块机房,可以考虑将UPS和电池放入冷通道,但这要建立在机房运维人员专业性和责任心都够强的基础上,如果机房人员素质达不到还是不要冒险。
　　
　　所以综合来讲,采用微模块机房增大了消防风险,尤其是对大型数据中心机房。为此也有设计院将气体灭火的喷头设计到微模块天窗上接入冷通道的,但目前大多数微模块厂家缺少可将气灭喷头接入的天窗部件,实际采购施工很困难。另外也有仓储式微模块机房把消防气瓶置于冷通道内,但消防气瓶属于高压压力容器,气瓶老化后同样存在风险,检修更换也有不便。
　　
　　2.机房设备成本升高,设备质量参差不齐
　　
　　同等品牌和功能配置下,采用微模块机房使得机房设备成本明显上升。根据笔者数年来实际项目经验,在小型机房项目中,采用微模块机房比传统机房整体成本要增加20-50%,当然近年来成本有明显下降。但讽刺的是:高涨的价格换来的微模块机房却是质量参差不齐、设备一致性差、售后服务困难。这一方面是因为微模块机房门槛不高,行业鱼龙混杂;另一方面是微模块机房的内部设备品类繁多,即使顶级厂商也需要外购贴牌部分产品。笔者观点是:为了保证机房的安全可靠,质量优良,微模块机房内的配电、UPS、空调等核心产品应该选用行业一流产品。
　　
　　3.非IDC项目可能会使工程复杂化,灵活性变差,工期延长
　　
　　在大多数非IDC类的机房项目中,客户对IT设备配置的掌控力都比较差,机房建筑大多也并非专门建设,建设需求无法做到标准化,另外大多数业主方为了美观也不愿意简化装修。如果是大机房项目,虽然容易实现多模块复制,批量定制和工程安装也相对容易,但因为设备成本相对较高,所以如果不是高密度机房的话,采用微模块方案会比较鸡肋。如果是中小机房项目,微模块数量少,微模块标准复制的优势不明显,工程总包的专业性也比较低,绝大多数小工程总包都不会安装微模块机房,各家微模块机房产品的安装调试也有一定的差异,而现有的模块机房厂家中也没有几家提供标准的全套安装服务,加上微模块机房都要非标定制并二次采购组装,微模块与外部系统、装修工程的接口和安装尺寸配合也相当复杂,这样反倒可能使工程更加复杂,工期延长。
　　
　　4.对低端低密度或者IT设备上架不均匀、超高功率密度的项目适用性较差
　　
　　微模块机房本身适合高密度机房,如果反过来遇到低密度机房时很容易出现基础设施配置过度,特别是空调过度制冷出现凝露,同时建设成本过高,低端客户难以接受。笔者曾经遇到过一个高校机房项目,总共17个柜,实测单机柜功率密度不到1kW,功能要求非常简单,各种技术要求都不高,机房整体(不止设备,而是含全部工程)总预算仅85万元,此时强推微模块机房就行不通。还有一些机房项目在同一微模块内各机柜IT设备上架不均匀,出现同一条冷通道内一头温度偏高另一头过度制冷的情况,虽然一般不会带来致命影响,但经常触发微模块温湿度报警,给运维人员带来困扰。但微模块内行间空调的位置和数量是一次性固定,制冷无法跟随IT设备上架情况灵活调整,最多只能使用空调群控补偿,效果有限。如果用工程改造解决又太过麻烦,成本偏高。另外对于单柜高达20-80kW的超高功率密度应用场景(通常是超算类数据中心),采用行间空调的普通微模块机房也不适用。
　　
　　5.对改造、利旧项目适用性较差
　　
　　有很多老旧机房早年建设时建筑条件不佳,建筑承重和层高都不高。而且采购了很多老式非标机柜,大小高矮不一,甚至还有很多尺寸不规则的小型机、存储机。在多年后的机房更新改造时,客户要想使用模块机房就会遭遇种种困难。
　　
　　比如双排机柜的模块机房因为带翻转天窗都对房间高度有一定要求,很多老式办公楼净空层高只有2.4m～2.6m,而一般模块机房建议的净空层高为3m(GB50174-2017设计规范也要求机房净高不宜小于3m),至少也要2.8m,否则无法满足天窗的翻转高度和房顶照明灯具安装。模块机房的宽度一般为3.4或3.6m,加上两侧通道,对房间宽度要求至少是5.4m,很多老办公楼也达不到。此时可能需要非标定制单排机柜+加冷通道封闭的模块机房来适应窄而长的机房空间。如图4所示:
　　

　　又比如模块机房一般采用600mm或800mm宽度,1100mm或1200mm深度,2000mm或2200mm高度的标准机柜,但很多老机房中购置了宽600*深800,宽600*深1000,高度1400/1600mm的非标机柜,无法直接纳入冷通道内并柜。尺寸不规则的小型机、存储机就更加尴尬,往往承担了重要的业务和存储内容,不能轻易更换,但其宽度深度经常不是整数(比如608mm、710mm),跟普通机柜并排放置都无法对齐,并柜更是不可能了。所以说对改造和设备利旧型的机房项目,大多数厂商的标准型模块机房经常会不适用。
　　
　　我们的解决之道在于非标定制可以与机柜相分离的冷通道封闭组件,并定制配合非标尺寸机柜的结构补齐件。比如在成都一微模块机房项目中正是采用此种方案将宽608/710×深1000×高2150(mm)的甲供非标机柜和宽600×深1200×高2000(mm)标准机柜和行间空调共三种不同尺寸的设备集成到同一通道封闭中。并且配合冷热通道全封闭+空调智能控制技术成功解决了单机柜30kW的超高功率密度制冷难题。如图5所示。
　　

　　6.沟通学习成本高
　　
　　微模块机房本身是多种产品集成的结果,麻雀虽小五脏俱全,市场上没有哪个厂家能做到自产全部子系统产品,大量的代工集成导致各子系统产品技术规格繁杂,即使是微模块厂家的技术人员也需要花费大量时间经验才能熟悉各子系统产品的规格及使用,特别是对非自产设备的细节信息沟通会比较费劲。对机房用户和施工总包来讲,原先做传统机房直接对接各子系统设备厂家即可,沟通比较分散头绪很多但比较直接见底,采用微模块机房后虽然对接的厂家大大减少,但微模块机房更像一个“黑箱”,内部包含的种种细节要学习掌握起来会更漫长。

四  对不同规模微模块机房

及边缘计算应用的分析

微型机房(此处指10个机柜以下机房)因为机柜很少,面积也较小,一般采用单柜或者单排柜的模块机房即可,可以体现出机柜即机房的概念,降低机房装修要求,安装也很简便,能够简化机房的设计和施工,可以体现出微模块机房的优越性。现在各主流设备厂家都有自己比较成熟的产品,可以通过代理商直接销售并完成安装,易于批量推广。不足之处在于很多设备厂家产品配置上(特别是在配电和监控产品上)的灵活性、兼容性和经济上还有待改善。
　　
　　1.微模块机房在中小型机房应用的分析
　　
　　中小型机房(此处指10-100个机柜的机房)因为机柜数量不算太多,面积也较小,如果采用微模块机房则冷/热通道数量通常不超过4个,而且机房建筑经常不规则,模块布置容易受限,经常出现模块大小不一、单排与双排机柜混搭、建筑立柱插入模块、建筑高度不足等情况,难以发挥出标准模块复制的优势。而且小型机房的IT设备配置相对比较简单随意,标准化较差,相应导致微模块机房很难标准化匹配,所以更考验厂商的定制化能力。对于大多数按传统方式设计的项目,为了起到改善美观度和简化采购及售后服务的作用,微模块机房需要针对各种常见不同环境定制出的匹配性产品方案,然后归纳成几种典型解决方案套餐进行推广,而且必须配套对微模块机房有丰富安装经验的施工方或厂家服务才可以实现。所以说中小机房中的微模块解决方案反倒比大型机房中的微模块更具有含金量。
　　
　　2.微模块机房在大中型机房的应用分析
　　
　　大中型机房项目(此处指100个机柜以上)因为机柜数量较多,机房面积大,所以一般都需要设计多个机柜冷/热通道(通常4个以上),此时微模块机房容易发挥多个标准模块复制的优势,如果设计和配置得当,部分项目还可以优化施工工艺和降低建设、运营成本。但仍有受制于建筑条件、IT配置方式、渐进式扩容、系统和设备利旧、运维管理划分、用户使用习惯、项目成本管理等多种原因,在实际项目中大规模采用全微模块化的数据中心仍然有限,采用外置下送风空调+传统机柜+冷通道封闭半模块化方案的才更常见。
　　
　　比如很多IDC数据中心中大量采用冷冻水型行间空调微模块,省去了传统架空地板简化装修。在微模块中设置冷冻水分配单元,再通过冷冻水支管分配到每台行间空调,大量水管进入微模块内部,简单实用。但在以银行为代表的金融数据中心中,追求高安全可控性,一直担心万一水管爆管机柜被淹的情况出现,所以对水管进入机柜区非常忌讳,而且金融数据中心大多数以中等功率密度机柜为主,高密机柜较少,所以更倾向于采用传统下送风房间级空调的方案,将冷冻水和冷凝水隔离在空调区中。此时采用传统的机柜+冷通道封闭半模块化方案即可。目前也有少数大型数据中心采用AHU空调，其本质上是采用热通道封闭的微模块机房+上送风的方案，机柜功率密度不宜过高，而且AHU空调本身没有冷冻水系统的蓄冷罐，所以必须增加一路UPS电源才能保证连续制冷，这对供电可靠性的要求就更高了，UPS应选择行业一线产品。
　　
　　3.微模块机房在不同行业用户的适用性分析
　　
　　运营商和IDC行业的机房因为规模大，追求经济性，机柜功率密度较高，分区出租管理的需求多，设备灵活调整的机会也多，是最适合也是最早采用微模块机房的行业。而且很多IDC客户的IT设备有自己特定的配置模式，对IT配置掌控力强，可根据IT设备配置推导出相匹配的微模块机房设备配置,而且业务增量大，所以容易大规模标准复制。
　　
　　(1)第三方数据中心租赁行业
　　
　　第三方机房租赁行业面对的客户群体及其需求、租期都充满变数,如果是批发类用户还相对较好,零售类用户基本没可能做到IT机柜模块的标准化,因此国外很多大型数据中心都采用地板下送风不带机柜的建设方式。加上此类客户经常对成本敏感,所以推广微模块机房有一定的局限性,主要是针对大型IDC类用户批发业务,小型零售类业务不适用。而且采用建筑房间模块化可能更容易更有价值。但此类客户采用电力模块、制冷模块的机会较大。
　　
　　(2)金融行业
　　
　　金融行业机房一般以中等密度为主,少量高密度,侧重安全可靠稳定性,技术上相对保守,所以微模块机房应用相对较少,还是以下送风精密空调的传统机房为主。即使考虑节能,也是在传统双排机柜上加上冷通道封闭,只有少数高密区机房和分支机构小机房会优先采用微模块机房。其目的除了解决个别高密区机房应用之外,更多是在于简化地市级支行、测试机房、弱电间等小机房的采购方式和节约建设成本。
　　
　　(3)政府、医疗、教育、一般企事业单位
　　
　　此类用户的需求比较碎片化,一般以中小型机房为主,配置不统一,而且功率密度大多不高,从技术角度讲,除了少数空调布置受限的情况外,做微模块机房主要在机房设备统一采购和售后服务方面有优势,技术上的迫切性有限。很多客户采用微模块机房更多是为了标新立异和美观,工程采购管理界面简单,很大程度上是受行业风向的影响。
　　
　　(4)军工和科研行业
　　
　　军工科研领域的机房需求经常呈现两极分化,一方面安全可靠性要求高,而且很多有涉密屏蔽的要求;另一方面追求标新立异,试验性很强,超高密度机房很多。单机柜10kW以上的功率密度很常见,特别是超算类机房单机柜功率密度高达20-80kW,常规的精密配电柜和行间精密空调都难以满足需要,经常需要定制高密度配电和制冷系统。此类客户以定制化需求为主,甚至需要采用液冷方案,很难批量采用标准微模块产品。此类用户另有一些零散的科研机柜需求,要求不高,需求碎片化,采用标准化模块机房意义不大,直接采购机柜厂家设备配上少量电源和空调即可。
　　
　　4.虚拟化和云技术对微模块机房的影响
　　
　　从数据中心使用的角度看,虚拟化和云计算可以明显提高IT设备的利用率,提高单机柜功率密度,减小数据中心一次性建设规模,而且可以形成多数据中心远程备份,有利于资源共享、错峰使用和容灾备份。
　　
　　此种变化对于模块机房的推广应用是较为有利的,IT设备利用率的提高使得高密度机房越来越多,越来越适合采用模块机房。
　　
　　云技术可以将成百上千台服务器虚拟成一个强大的服务器,再将其拆分成若干台虚拟机,分配给不同用户完成特定的功能。采用类似的原理分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。这样使得机房的服务器和存储设备布置可以更加灵活,减少因业务功能和应用不同而刻意进行分区的集中安装管理,更容易采用标准的模块化机房来部署。
　　
　　另外云计算技术的成熟使得大型互联网的应用服务的快速上线部署和快速更新迭代需求更加强烈,相应地要求数据中心基础设施建设更加快速化弹性化,而解决的方案就是标准化、模块化、预制化,最终大大促进了模块化机房技术的发展成熟。
　　
　　但同时因为云技术快速弹性化部署和更新的特点使得数据中心IT设备的运行状态更加富于变化,对电源、制冷、网络需求的峰谷波动更为明显,倒逼数据中心基础设施的智能化、弹性化、自适应能力需要进一步提高。目前很多一线厂家宣传将智能AI技术融入微模块机房产品中,目前还在初步实践阶段,真正的数据中心整体智能控制管理技术发展还任重道远。

五  总结

　　微模块机房作为一种产品技术和其它数据中心技术一样都有其长处和短处,但是其带来的数据中心系统集成化、标准化、预制化建设思想比其本身的产品价值有更大的意义,所以很多厂商将其包装打造成为推动商业模式变革的有力工具。不过这种思想理念需要长期的摸索和优化积累才能实用化落地,配套的市场生态环境也需要长期培育才能成熟。
　　
　　诞生之初的微模块机房仅适合于少数高密度机房,但经过十几年的发展改进,微模块机房解决方案的内涵不断丰富和升级,成本明显降低,加上市场和政策的变化,微模块机房的适用范围不断拓宽加深。特别是近几年在公共领域(政企、科教、交通等)中小型机房的渗透拓展,把微模块机房的发展推上了高潮,技术分支越来越细,功能越来越多,使用便捷性也越来越高,已经不再局限于微模块产品内部而向真正的机房整体解决方案迈进,实现了从专用产品向通用产品的转变。
　　参考文献
　　[1]施耐德APC的第160号白皮书《模块化数据中心架构的规格》NeilRasmussen　　
　　[2]《大话IDC——模块化和标准化》陈昌炎　　
　　[3]《大话IDC——模块化数据中心技术和商业模式》陈昌炎　　
　　[4]《大话IDC——预制化在IDC商业化的困惑与迷局》陈昌炎　　
　　[5]《大话IDC——整机架之“殇”》陈昌炎　　
　　[6]《鹅厂的“微模块数据中心”观》腾讯数据中心云社区专栏　　
　　[7]《像搭积木一样拼装数据中心》腾讯数据中心云社区专栏　　
　　[8]《对比三种模块化数据中心技术》华为企业互动社区论坛转载原作者佚名　　
　　[9]《云计算的前世今生》网易云刘超　　
　　[10]《数据中心敏捷交付的五大挑战》万国数据GDSPiloTalk

编辑：黄飞