存储空间对高性能计算的重要性

今日头条

1146人已加入

描述

对于很多有高性能计算需求的用户来说,通常比较关注的是计算的硬件配置是否是最新的,因为这往往关系到计算效率。但性能计算与任何一项技术一样,都需要分步骤完成,除了计算速度,在高性能完成一项计算任务后,所用到的存储空间最终了决定这项任务是否能够成功执行。北鲲云计算就带你一起来了解一下存储的重要性。

随着异构计算越来越多的应用,包括传统高性能计算和新兴的云计算都开始大规模的采用异构计算方式,包括GPU、FPGA、ARM等诸多架构芯片的出现,让整个计算市场呈现出“百花齐放”的情形。

网络层面上,北鲲云注意到,从每年两届的超算TOP500榜单的数据来看,100G网络是以太网的“标配”;而在注重传输效率和低延迟的InfiniBand网络中,200G的HDR标准则成为主流。从这个角度来说,高性能计算的发展可谓是突飞猛进,从计算到网络的变化使得数据的处理和传输越发效率,在这样飞速发展的状态下,存储空间就成为高性能计算发展中另一个不可忽视的重要环节。

存储对于高性能计算有多重要?

以往在谈到高性能计算的时候,我们更在意计算的速度,因为那时候计算能力还有较大的提升空间;而如今,异构计算的出现让计算效率呈指数级提升,而高速网络也让这些计算成果让数据本身能够发挥更大的价值,在高性能计算主体升级后,作为高性能计算重要组成部分的存储环节,如果没有随之升级,就会成为制约高性能计算发展瓶颈。

从上个世纪90年代提出的生物基因工程测序到最近大火出圈的AlphaFold2模型,无一不说明高性能计算在生命科学领域的成功应用。无论是计算过程中出现的临时数据,还是计算完成后的结果输出,都是相当庞大的数据。因此,如果存储不足,也就意味着计算不得不中断,当然,如果没有足够的存储空间,计算结果数据同样不能顺利地发挥其价值。

以国内著名的基因公司——华大基因为例,这个为全球基因发展提供重大贡献的公司拥有数百台测序仪,由此每月产生的数据高达300TB-1PB。如此一来,仅仅是存储这些数据就是一个让人头疼的问题,更何况还需要对数据进行后续的分析和利用。这其中动用的存储资源可谓是“天文数字”。此时,北鲲云超算平台能够为用户提供PB级别存储空间的优势就凸显出来了。

纵观当下的存储市场,多种存储协议的并存一直是困扰行业升级与迭代的难题。除了多协议共存之外,多协议互通也同样是整个行业关心的问题。比如NAS就是常见的多协议互通的典型。而北鲲云采用的就是NAS转存。

容量: 10PB HDD + 1PB SSD

并行文件系统:带宽20GB/s, IOPS: 280 万,时延:0.2ms 

单作业临时高速存储(按需):Enhanced SSD, 容量500G – 500TB, 单盘 4GB/s吞吐, RDMA over RoCE, 25Gbps网络

对于普通用户而言,这样的存储空间是足够的,而且是免费开放的。

对于传统高性能计算应用来说,无论是生物基因、高能物理还是流体力学、视频处理等等多种科研应用都会利用到海量数据,而提升数据的存储空间和利用率就能够更好的提升高性能计算的发展。

责任编辑:tzh

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分