海量数据的传统存储存在的挑战及解决方法

在西方神话里，诺亚建造了一艘方舟，带着各种生物躲避洪水，安然度过“世界末日”。2016年，中国也有一艘这样“诺亚方舟”启航——国家级基因库开始运营，承载人类及其他生物的遗传样本和密码。

它的发展不仅让我们了解世界万物的过去，还将影响未来。在未来的基因时代，或许到医院看病，只需基因就能作为“身份证”和病历;或许实现大熊猫“吸猫”自由;远古的恐龙、猛犸象回到现代......

但通向这样的未来，需要一些坚实的“砖石”铺路——生物样本和数据。

如“生命银行”一般，大量和生命相关的科学数据，通过服务器、数据中心进行存储、读取、合成运用和共享，不仅保存生物遗传资源和物种多样性，生物遗传信息数据化，还为物种多样提供新的保障，为精准医学提供大数据支持。

但随着物种与信息资源的数据爆炸性增长，传统存储，面对海量的数据，存在着诸多挑战。主要有以下几方面：

第一，成本高。传统存储设备通用性较差，随着业务需求的增长，未来的设备投资加上后期的维护、升级扩容的成本将会非常高。

第二，性能低。单节点的I/O性能瓶颈无法逾越，容量和性能都不容易进行扩展，难以支撑海量数据的高并发、低延时的场景。

第三，安全隐患多。数据传输过程中存在泄露、篡改、被数据流攻击等风险隐患。

根据面临挑战问题，融科联创与东芝倾力合作，为国家级基因库推出了低成本、高速稳定性能，且兼具安全以及充足储存空间的分布式存储方案。

方案使用了融科联创的超大存储产品946SE2C-R1K66JBOD(4U60盘位)服务器，配套2U12盘位平台作为管理节点，包含了高速稳定的东芝企业级硬盘，完美替代了原系统存在的高成本、低带宽、高风险的存储方式。

高性能、低功耗的东芝全新16TB SATA硬盘，与融科联创具备智能优化引擎的分布式文件存储系统双管齐下，在消除协议处理和转换的“瓶颈”的同时，显著提升数据流转全链路速度，单节点大于3GB/s，实现业界少有的分布式存储微秒级延时的极速性能。

而对于存储空间，采用了全对称分布式存储架构，在线扩展至EB级别存储容量，并且支持多节点在线平滑扩展，I/O的客户端数目、I/O带宽和存储容量根据用户需求实现了高可扩展性，规模具有很强的伸缩性。

当然，为了应对高并发场景，在存储架构、存储管理软件及存储核心算法等方面的核心技术，采用特有的共享锁机制，实现对数据进行写入或读取时可以获得最大程度上的I/O并发能力，轻松承载“数千个超高并发访问+上万个超高并发节点+百亿级超高文件存储”。

基于“硬件+软件+体系结构+网络”于一体的高可靠存储平台，具备自我调优能力，实现无论复杂性如何，无论大文件、小文件还是混合负载场景下，都提供始终如一的快速存储，保障数据零丢失、业务零中断。

上述提及的东芝企业级容量型硬盘，拥有超大容量，适用于有着海量存储需求的存储系统与数据中心。其中MG系列包含业界首款9碟存储设备，提供高达18TB的传统磁记录容量，目前更是在全力攻克30TB大关!

其氦密封设计还可提升存储密度，降低气动阻力，从而降低运行功耗，有助实现总体拥有成本(TCO)的优化，满足基因库对存储系统性能高速、稳定、安全以及未来储存空间充足的要求。

东芝与融科联创也将保持长期且密切的合作关系，未来将共同精研更多创新存储技术，助力国家基因库贯穿Data To Value(从数据到价值)的价值链，提供更智慧、更高效、更便捷的存储技术支撑。

原文标题：福利 | 东芝携手融科联创，助力国家级基因库存储升级!

文章出处：【微信公众号：东芝硬盘】欢迎添加关注!文章转载请注明出处。

　　审核编辑：汤梓红