英特尔联合浪潮信息开放全液冷冷板服务器参考设计

描述

随着 AI 大模型等高密度计算的蓬勃发展,芯片功耗与服务器功耗逐步上升,单机柜功率密度也不断增大。根据相关机构调研,2020 年数据中心平均机架功率为 8.5 kW/机柜,相比于 2011、2017 年有明显提高,年复合增长率达到 15% 。高功耗芯片,高密度服务器及单机柜密度的演进,使传统风冷制冷模式在换热性能及能耗优化方面逐步受限,而液冷制冷模式将在数据中心中变得越来越不可或缺。

近日,英特尔联合浪潮信息对业界开放首款全液冷冷板服务器参考设计,基于通用高密服务器创新设计出一种高效的全液冷冷板架构,实现服务器发热部件接近 100% 液冷散热,助力达成极低的 PUE 水平。同时,英特尔与浪潮信息、中国电子技术标准化研究院、开放计算标准工作委员会 OCTC 联合发布了《全液冷冷板系统参考设计及验证白皮书》,为全液冷服务器设计和规模应用中面临的主要难点和痛点提供了创新设计参考,对全液冷冷板技术在通用架构上实现快速导入和推广具有重要指导意义。

英特尔市场营销集团副总裁中国区数据中心销售总经理庄秉翰表示:

得益于英特尔的长期技术创新,全液冷冷板服务器正在成为液冷产业生态中的重要组成部分。如今,英特尔与全球领先的算力提供商浪潮信息的紧密合作,选择在践行‘双碳’目标最有力的中国市场发布全液冷冷板服务器,是希望通过中国的示范效应,逐步推动这项技术在全球范围内的普及,以此促进绿色数据中心可持续发展。

浪潮信息服务器产品线总经理赵帅表示:

‘All in 液冷’战略确保了浪潮信息在液冷技术创新及产业化推进领域的持续投入,我们将始终致力于通过更加绿色低碳的液冷技术创新,推动算力高质量发展。长久以来,浪潮信息高度重视开放数据中心生态的构建,此次通过与全球芯片产业领导者英特尔的密切合作,在全液冷冷板技术的探索上实现了至关重要的跨越,并面向全产业进行开放,这将为蓬勃发展的液冷产业生态注入新的创新活力,打通液冷规模化应用的最后一公里。

01联合创新实现服务器全液冷冷板覆盖

相对于浸没式液冷,冷板式液冷有着诸多优势:

技术相对成熟、生态完善,对机柜和服务器改造小;   不改变客户的使用习惯和运维模式,机房承重与风冷场景基本一致;   冷却液不直接接触芯片和服务器内其他部件,对材料兼容性要求低,可以相对容易地与不同厂商和型号的计算设备兼容,为客户提供更多的硬件选择空间;   占用空间相对较少,适合于对空间有限制的数据中心和计算环境;   对冷却液的需求量少,更加环保。

而同时,冷板式液冷的部署与应用也面临众多挑战:目前大多数冷板结构仅覆盖 CPU、GPU 等高功耗发热部件,其余部件常以风冷辅助冷却,导致服务器需要配置冷板及风扇两套冷却部件;系统存在漏液短路风险,如果冷却液与冷板材质选择和后期维护不当,长期运行后可能出现腐蚀和冷却液泄露,导致服务器损坏。

鉴于冷板式液冷在产业链成熟度、改造成本、可维护性、兼容性等方面的优势,为更好的克服上述挑战、解决内存、硬盘等部件功耗逐步上升的现实问题,英特尔联合浪潮信息创新通用高密服务器的液冷优化设计,实现 CPU、高功耗内存、固态硬盘、OCP 网卡、电源、PCIe 转接卡和光模块等服务器内主要发热部件的冷板全液冷覆盖,构建高能效的系统级解决方案。该方案基于浪潮信息 i24M7 2U 四节点高密计算服务器,每个液冷节点可以支持两颗最新的第五代英特尔 至强 可扩展处理器,整体设计理念是在满足性能和可靠性要求的基础上,从系统级解决方案开始,探索高能效、低成本和易于运维的全液冷服务器全新设计之道。

在该项目中,CPU 冷板模组基于英特尔 至强 Eagle Stream 平台可扩展处理器冷板的设计要求,综合考虑散热,结构性能,成品率,价格及不同材质冷板设计兼容性等因素优化而成的一款 CPU 冷板参考设计,主要由 CPU 冷板铝支架,CPU 冷板及冷板接头等部件组成。

内存液冷设计采用英特尔创新型的枕木散热器液冷方案,因内存插满如铁轨上的枕木而得名。它将传统风冷散热和冷板散热相结合,通过内置热管的散热器(或纯铝/铜板、Vaper Chamber 等)把内存上的热量传递至两端,与冷板通过选定的导热垫片接触,最终通过冷板内的冷却液把热量带走实现内存散热。相比现有的管路(Tubing)内存液冷方案,枕木散热器液冷方案采用模块化设计,具有易于组装和维护、通用性好、性价比高等优势。

该项目的固态硬盘液冷方案基于英特尔的创新设计,通过内置热管的散热器把硬盘区域的热量导出与硬盘区域外的冷板通过导热垫片垂直接触实现换热。此固态硬盘液冷方案主要由装有散热器的固态硬盘模组,固态硬盘冷板,硬盘模组锁紧机构,及硬盘支架组成。硬盘模组锁紧机构固定在硬盘支架上提供合适的预紧力来保证固态硬盘模组和固态硬盘冷板的长期接触可靠性。为了方便硬盘冷板环路在狭小空间内的安装,硬盘支架在服务器深度方向采用了抽屉式的安装方式设计。相比业界已有的硬盘液冷尝试,此方案可支持 30 次以上系统不断电热插拔,可靠性高,对加工工艺要求低,漏液风险低,同时可灵活适配不同厚度和数量的固态硬盘系统。

此外,该项目对 PCIe 卡、OCP 网卡和电源等部件均进行了创新的冷板设计。值得一提的是,项目在冷板材质方面也进行了探索实践。由于铜材质成本较高,该项目分别基于铜材质和铝合金材质冷板,从换热性能、可靠性、成本、重量等多方面进行对比及优化,同时对与铝质冷板液冷循环回路相匹配的液冷工质,进行了选型和相应的腐蚀性测试验证,为进一步降低冷板液冷成本提供了丰富的实践数据支持。

02基于通用高密度服务器架构

示范效应明显

英特尔与浪潮信息对全液冷服务器的冷板性能进行了散热性能测试、液冷热捕获效率(HCR)测试、流阻测试等多项测试,结果表明该服务器可实现接近 100% 液冷散热,系统无风扇运行,助力达成极低的PUE水平,并通过“去空调化”节省 30% 以上的数据中心空间,充分满足数据中心的高密度部署需求,对推进绿色数据中心的建设具有重要的意义。方案年均 PUE 可低至 1.1 以下,有助于数据中心绿色高效发展。

在散热性能测试中,铜冷板系统(冷却工质 PG25)在目标最差边界条件下所有的零部件温度都满足温度要求,并且还有一定安全温度裕量。在液冷热捕获效率(HCR)测试中,在典型的液冷系统工作边界条件下—系统进水温度 38⁰C (W32), 空气环境温度 35⁰C,全液冷服务器液冷热捕获效率(HCR)在 93% 左右。将全液冷服务器置于密闭整机柜辅以集中式风液换热器的工作情况下,由于机柜前后门封闭,热量无法从服务器中逃逸至外部环境中,更容易被风液换热器进行捕获,整机柜测试 HCR 值更高,可接近98%。

更重要的是,相较于以往的高度定制化全液冷服务器设计,该项目基于通用高密服务器架构,创新的全液冷方案参考设计为解决服务器内部分组件液冷方案设计难点提供了新思路,设计的简化和传统工艺的采用可降低整体方案的成本,提高全液冷方案的经济性,对推动全液冷冷板技术的普及和规模化应用具有极强的示范和推动作用。

得益于英特尔的长期技术创新,全液冷冷板服务器正在成为服务器液冷生态中的重要组成部分,其最大程度发挥了冷板式液冷的优势,同时弥补了需要风冷辅助的不足。如今,英特尔与浪潮信息的紧密合作,已经向全液冷数据中心生态迈出了坚实的一步。放眼整个液冷生态,仍存在关键部件的互换性、ISV的集成能力和服务能力、冷板式液冷和浸没式液冷的关键技术攻坚等诸多重要环节,需要广泛的生态伙伴一起努力。这也是整个生态构建的关键所在。英特尔将致力于联合广泛的生态伙伴,构建更完整的液冷生态,推进绿色数据中心持续发展,为降低碳排放、构建人与自然和谐共生的美好未来贡献力量。

审核编辑:汤梓红

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分