西部数据：ZB时代的存储挑战与应对

随着我们进入5G时代，5G的广接入激活了万物，万物觉醒之后带来的数据的暴涨，中移物联网监测数据显示到今年9月，设备产生的数据已经超越了人产生的数据，IDC的报告指出，现在每一年人类所创造的数据总量都相当过去人类历史中产生数据的总和。根据预测，2023年人类数据的产生将会超过103个ZB（数据单位量级GBTBPBEBB）！在你阅读这段文字的时候，全球就产生了如此多的数据（这个似乎还没有统计中国互联网企业产生的数据）

正如西部数据在产品市场部副总裁朱海翔在西部数据媒体发布会上指出的那样：“我们正在大踏步的跨入一个ZB级的数据时代。2018年全球一共产生了32ZB的数据，而4年以后这个数字会增长到100ZB，催生这个数据爆炸性增长的正是一些新兴的应用例如5G、人工智能、机器学习以及视频监控，或者高清、超高清4K、8K的视频的广泛应用，但进入ZB时代，存储却面临巨大挑战。”

西部数据公司产品市场部副总裁朱海翔

ZB时代的巨大挑战

在9月19日召开的中国闪存市场峰会上，西部数据公司高级副总裁兼中国区总经理Steven Craig发表了“ZB时代的数据存储核心架构 - 机遇，挑战和阶段” 的主题演讲，详细阐述和分析了存储业在大数据时代的发展现状和面临的挑战。

西部数据公司高级副总裁兼中国区总经理Steven Craig

他指出存储业目前已经有止跌的势头，实际上，自2018年以来，由于各大原厂扩大产能，市场供过于求、智能手机出货量下滑、PC需求疲软。不过，好的方面是到6月份，NAND Flash价格开始止跌，“最近市场已经看到有触底的趋势，整个NAND Flash行业已经结束了下行，而且已经开始爬坡。”他指出，“目前产业已经进入到一个健康的循环期，整个行业的收入特别是闪存收入已经开始上升，如此乐观的预计主要来源于可预见的海量数据存储需求。”

不过，Steven Craig指出，虽然行业转好但是存储也却面临一个很大的挑战，那就是存储产业的增长速度追不上数据增长的速度。

从过去的数据看，2018年全球生成了32ZB的数据但是只有5ZB的数据存储下来，预计到2023年，全球会有103ZB数据产生，但是能存储的数据只有12ZB！所以只有不到10%的数据被存储！

因此，全球产生和留存数据有一个巨大的鸿沟，而数据将是未来的“石油”，更是人工智能的基石，如何尽量保存更多数据？这是整个存储行业需要解决的重要问题。

西部数据的应对之道

他指出，目前存储业界的主要举措是增加存储介质密度，就是通过增加平面闪存孔的密度来提升存储容量，如采用提升3D NAND的层数，目前3D NAND的层数已经提高到96层，但是这样的提升挑战也越来越大。

而且这样的提升带来了巨大的资本支出，所以这样的提升越来越难了

他认为可以从基础存储逻辑上提升存储密度，目前存储架构已经从从MLC到TLC，西部数据也发布了三款TLC工业级产品，这是工业界首次采用TLC产品，“而QLC架构一个存储单元可以存储4个比特，可以大幅度提升数据中心的存储密度。QLC未来可以发展到PLC，它在一个存储单元可以存储5个单元。”他指出，“但是QLC在大规模部署方面，有写入、写放大等很多困难。”

朱海翔补充说西部数据要解决QLC在数据中心批量部署的写入问题，写放大问题，不能停留在介质本身，要重新看整个数据的基础架构，通过开源、通过标准化，和业界各方携手共同推动问题解决。

“西部数据公司在6月份推出分区存储技术后，和全球几乎所有大型云服务商，包括中国大型云服务商和大型OEM系统厂商共同携手，以及实现整个系统层面的智能化的数据安全，并一起携手推动QLC在数据中心大规模部署。”朱海翔指出。

在闪存峰会期间，西部数据也在中国向全球首次发布专为工业4.0时代和物联网设备设计的三款全新解决方案——iNAND IX EM132嵌入式闪存盘，它是西部数据首款基于3D NAND技术专为工业和物联网设备构建的e.MMC EFD，最大容量已经提升到256GB。其他两款产品所是西部数据的 IX LD342 SD存储卡和IX QD342 microSD存储卡，它们都具有强大的生命周期，能以其高耐用的产品性能支持工业和物联网设备的存储需求。

朱海翔指出此次发布的新产品采用先进的、具有高耐久度的3D NAND技术，以多种产品形态为工业系统设计人员提供适用于工业级市场领域的解决方案，可应用于边缘计算网关、机器人、医疗和监测/安防等领域，同时为工业和物联网系统设计人员在人工智能和机器学习应用领域提供方案。

在闪存峰会的展会上，也展示了这三款新品。

朱海翔表示西部数据工业级存储产品是在恶劣环境（如高温、潮湿、极端海拔或强振）下保证设备存储正常运行的理想解决方案。这些解决方案能够通过延长数据保存期限而存储和处理更多数据。

西部数据的高管亲自站台给观众介绍几款新品。

由左至右：西部数据公司全球产品市场部总监-万君玫女士，西部数据公司产品市场部副总裁-朱海翔先生和西部数据公司产品市场部总监-张丹女士

朱海翔接受媒体专访时介绍此次几款重点产品。

据他介绍，西部数据iNAND IX EM132嵌入式闪存盘是公司首款专为工业及物联网设备设计的3D NAND e.MMC，其中搭载了西部数据的高可靠性64层3D NAND技术。该产品有两种版本的宽温范围，分别是-25°C至+ 85°C以及-40°C至85°C。西部数据公司将该产品的e.MMC使用寿命延长并超过了2D NAND，为基于高级操作系统、传感器融合和机器学习技术的工业和消费应用提供更高的容量选择。该产品还有专为密集型工业工作负载而设计的功能特性。

包括：

- 高级运行状况管理

- 热管理

- 能分区

- 自动和手动读刷新

- 强大的电源管理

- 达到JEDEC（固态技术协会）标准的数据保持力

而新款西部数据工业级IX LD342 SD存储卡和IX QD342 micro SD存储卡是针对工业及物联网市场的高耐久度SD存储卡和microSD存储卡，它们为OEM商、经销商、分销商、集成商和工业系统设计人员提供了高度耐用的产品特性，为新兴工业应用领域带来更好的灵活性：

·采用西部数据领先的3D NAND技术

·提供16GB至512GB的容量选择

·高耐用性（3，000 P/E循环）保证了更长的使用寿命

·存储卡的运行状况管理可以检测存储卡的剩余耐用程度，并在需要时主动对存储卡进行维护

分区存储：西部数据解决ZB级存储挑战的大招

除了以上的举措和新品外，Steven Craig还支持与迎接ZB时代挑战可以从重构存储架构方面下手，具体的措施就是采用分区存储技术提高效率，智能化存储数据。

他指出针对下一代数据发展，业界需要新的数据中心结构--就是可编程的去集群化基础架构。由于越来越多的数据具有顺序写入的特性，例如视频、物联网/边缘数据、监控，以及可以分组或“分区化”成更大数据块（如大型人工智能/机器学习数据集）的数据，这样可以加速推广分区存储设备，对工作负载进行合理优化，从而提高性能和效率，更早的实现总体拥有成本的降低。

朱海翔也补充说通过分区存储技术可以从全新的维度帮助整个行业，尤其是在数据中心快速的部署最高存储密度的QLC。

分区存储的本质是通过在存储部件中建立不同的分区，根据数据的不同类型在存储固件中存储、转移和管理数据，会提高整个存储效能。并且作为定制化数据基础架构可以把控制和智能协同从原来的系统硬件层面下沉到系统存储部件的层面。

西部数据提出的是基于开源技术的分区存储技术提案，这套新的存储技术不仅包含了开源工具和文件系统支持，还包括了面向数据中心的SMR（叠瓦式磁记录）超大容量HDD以及ZNS NVMe SSD开发平台。

通过分区存储可以赋能应用层、主机和存储互相协调数据存放位置，以充分利用在SMR HDD上可以实现的最大存储容量，以及在融入新兴分区命名空间 （ZNS） 标准的NVMe SSD上可以实现的更好的耐久性和可预测的低延迟和QoS（服务质量）性能。

ZNS是NVMe标准规划内的新特性，也是对SMR技术的补充，它让开发人员在共同的软件堆栈下可以不分存储介质类型有效的调用SMR和ZNS。Steven预计到2023年，西部数据公司将在SMR上提供50%的HDD 容量，而客户可以利用其SMR应用开发成果涵盖高容量ZNS SSD。SMR和ZNS也将通过提供智能化应用架构成为当前和未来ZB级数据时代的关键基石。

可以说，SMR和ZNS正在从根本上重塑云和企业数据中心，以确保在未来能够长期节约总体拥有成本。随着生态系统的不断发展和SMR的推广，西部数据致力于在提供高容量的同时不断演进能源辅助磁记录技术。

Steven指出目前西部数据Ultrastar DC HC620 SMR15TB硬盘已批量出货。此外，在展台上西部数据还展出了20TB SMR HDD，不过这款产品预计2020年才会发货。

总之，引入智能化数据存储机制和提升存储密度，ZB时代的存储难题有望缓解，但是需要真正解决挑战还需要西部数据这样的公司和业界携手合作。

“西部数据有一个非常重要的优势，就是垂直整合或垂直创新能力。以闪存为例，我们以NAND技术为核心，从晶圆的制造、封装，到我们的固件、控制器以及最后的测试，可以根据不同的应用推出更适合相关应用市场的解决方案，我们可以在这么多个不同元素间更好地实现配合，更好的创新，能够推出更符合各个行业发展需求的存储解决方案。”

由于西部数据所年来助力消费者在各种设备上创建、体验和保存数字内容，为消费者创造出最佳产品和多样化服务，因此在中国闪存市场峰会西部数据荣获存储产业“最佳品牌影响力”奖项，期待西部数据为全球存储业带来更多创新解决方案。