全闪存数据中心让Hadoop提速10倍

针对当前的数字化转型，EMC公司认为，现代数据中心应当具备全闪存、云赋能、横向扩展和软件定义四个特征。围绕这四个核心，EMC发布了三款存储产品，包括VxRail超融合基础架构应用装置、VMAX All flash以及DSSD D5机架级闪存解决方案。其中，DSSD D5可将高级数据分析等应用提速多达10倍，并且可以改变Hadoop的三副本存储机制。
　　EMC预测，到2020年，用于生产应用的所有存储系统都将基于闪存阵列，传统磁盘仅用于大容量及归档存储。
　　现代化的数据中心
　　EMC认为，2016年将是全闪存之年，主存储系统进入全闪存时代。
　　EMC全球高级副总裁、大中华区总裁叶成辉表示，当前的数字化转型中，大数据、移动、物联网等新应用不断推动数据中心向更快速、更高效、更敏捷的方向变革。
　　VMware全球副总裁、大中华区总裁郭尊华认为，企业都希望采用云计算、移动、互联网技术去推动新的业务的发展，在搭建数据中心的时候，要非常快速地去部署、管理这些IT的资源，同时也必须要去追求高效、经济的效率。
　　叶成辉表示，从EMC的角度来看，现代化的数据中心有四个方面的亮点。
　　全闪存。现在已经逐渐变成闪存的天下。EMC在三年半之前推出来第一台闪存，大家觉得很贵，但是现在已经在改变。现在EMC推出来的闪存产品已经是3.8TB，三星在研发的是30TB的闪存。今天大部分企业用的非闪存的存储还是1TB，而且是机械存储，故障率更高，需要很多的维修工作，所以闪存会改变未来。因为现在闪存比较大，成本比较低。所有的数据中心在未来18个月将会转换成新的应用会放在闪存上面。
　　云赋能。所有的数据中心未来都要跟云结合，这就是云赋能的做法。
　　横向扩展。添加硬盘的传统纵向扩展做法只适合数据量增长不大的情况，但是未来的数据中心是横向扩展的做法。
　　软件定义。新应用快速迭代，工程师已经没有那么多时间去管理数据中心，需要利用软件自动化管理来支持更多的新应用，所以未来是软件定义。
　　
　　EMC全球高级副总裁、大中华区总裁叶成辉与VMware全球副总裁、大中华区总裁郭尊华
　　机架级闪存可让Hadoop提速10倍
　　EMC资深产品顾问李君鹏（Mike）介绍了EMC最新发布的VxRail超融合基础架构应用装置、VMAX All flash和全新的机架级闪存的存储解决方案DSSD D5的技术细节。
　　VxRail
　　随着CPU和存储的密度越来越高，以及有更快的网络来连接CPU和存储，现在可以使用软件定义的基础架构，超融合基础架构是软件定义的，将计算、软件定义的存储、网络和虚拟化集成在一起，超融合基础架构使计算、存储和网络功能与底层的硬件解耦合，运行在通用的基于X86标准的工业组件上。
　　超融合基础架构简化了SDDC软件定义的数据中心，超融合基础架构包括两个基本的组件，一个是超融合软件，另外一个是工业标准硬件。超融合软件提供了计算、存储、网络和管理功能。超融合软件允许物体存储融合在工业标准的X86服务器里，以构件块的方式提供了横向扩展的能力，可以使数据中心以敏捷、可扩展以及成本高效的方式来运行。
　　VMware的超融合软件，包括vCenter Server、vSphere、VSAN等。
　　VCE VxRail是由EMC和VMware共同组建的、单一研发团队提供的超融合的应用装置，以2U、四节点、敏捷可扩展、易管理、SDDC构件块的方式，提供了虚拟化、计算、存储、网络和数据保护。VxRail应用装置适合于部署在虚拟桌面、服务器工作负载、混合云以及分布式企业环境。VxRail应用装置提供了多种配置和规格，可以实现无中断的SDDC的横向扩展。
　　VxRail也提供了可以提升效率的数据服务，集成了复制、数据保护、备份功能。
　　VxRail为VMware超融合环境提供了单一厂商支持的单一厂商解决方案。
　　VxRail使用X86硬件运行软件定义的存储环境，VxRail是专门构建的SDDC软件定义数据中心解决方案。
　　VxRail是完全集成的VMware的超融合基础架构应用装置。
　　如果使用其他的超融合解决方案，用户需要使用第三方的工具和管理。VxRail允许客户利用现有的标准，使用相同的工具、管理、流程和技能，不需要新技术的学习过程。集成现有的VMware的软件版本，简化了生命周期管理，降低了TCO。
　　一个2U的VxRail最多可以有112个CPU核心，提供76TB的闪存容量，支持同步数据消除、压缩、纠删码，一个2U的应用装置提供了更多的闪存、更多的性能。
　　使用VxRail可以从小配置开始，16个VxRail应用装置最多可以运行3200个虚拟机。
　　使用VxRail可以选择适合任何使用情形的配置，对于那些需要最大的性能和规格，要求低延迟的应用程序，客户可以选择全闪存节点。对于那些需要兼顾性能和成本的使用场景，客户可以选择混合节点。
　　一个应用装置内的四个节点必须是同构的，不同配置的应用装置可以在一个群体当中混搭。
　　使用VxRail，简化了端到端的生命周期管理。VMware的超融合软件，可以自动搭建、配置和验证客户的VxRail，加速业务的敏捷性，加快了收效时间。从开机到调配虚拟机，客户只需要不到15分钟，就可以建立起一个VMware的群集，没有其他超融合解决方案能够做到这一点。要实现这个目标，超过200多个配置步骤，实现了自动化。添加一个新的应用装置到这个环境，只需要5分钟就可以完全配置好。
　　VxRail中，RecoverPoint提供了复制、数据保护和先进的灾难恢复。VMware的VDP提供了原端消重的数据恢复，还可以使用EMC的Data Domain，还可以将VxRail的存储容量可以扩展到可扩展的云存储当中。VxRail的市场当中，有一些经过验证的、预配置的应用程序供客户选择，进一步扩展了客户VxRail的价值。随着时间的推移，VxRail市场里会有越来越多的应用程序供客户选择。
　　EMC的融合平台提供了这种端到端的方式，将Vblock、VxRack等混合在一起，在边缘或者是在远程办公室、分支办公室，有VxRail，所有这一切通过VCE vScale联结在一起，使用VCE来管控。这就是分级的分布式企业应用的融合基础架构平台，是由EMC的VCE提供。
　　郭尊华表示，VMware自身也是VxRail的客户，在全球用了130套，节省了很多机房的空间和机架的空间。
　　对于EMC融合架构的三种不同产品Vblock、VxRack和VxRail的差异性，李君鹏总结说，Vblock最适合于部署在传统的数据中心，运行以前关键任务应用，像SAP、Oracle、Microsoft等等，第二平台最关键的应用。VxRack部署在传统的企业数据中心和服务提供商的数据中心最合适，运行这些通用的一般的第二平台工作应用和最新的第三平台应用。VxRail最适合于部署在数据中心以外，或者是中小企业，中小企业可能是很小的数据中心，只有很少的IT人员。像这些都是VxRail直接运行的虚拟化工作负载，都是VxRail比较适合的。都提供了很好的横向扩展能力，即使2U的VxRail应用装置，也可以扩展到16个应用装置，运行多达3200个虚拟机。如果是客户未来的环境需要扩展得更大，一开始就建议上VxRack。此外，不同于VxRail与VMware紧密集成，VxRack可以支持OpenStack环境。
　　VMAX All flash
　　认为全闪存年到来，EMC重新设计了VMAX，尽可能的利用最高密度的闪存，通过支持3.8TB的闪存盘，使VMAX All flash与混合阵列相比，在购买成本和总体拥有成本方面，更具有吸引力。与混合阵列相比，VMAX All flash提供了更高的性能，400万IOPS，低于0.5毫米的延迟，150GB/S的带宽。简化了基于应用装置的软件打包方式和横向扩展的构件块配置，消除了销售和购买的复杂性，使客户更乐意采纳全闪存的VMAX，和使用高端的数据存储服务。
　　由于全部是闪存盘，只提供了一个服务节点，不需要关心应用程序的I/O偏斜的不同，因为整个应用程序都是应用在闪存盘上。
　　VMAX All flash与ECM此前推出的XtremIO全闪存阵列的相同和不同之处：
　　首先，XtremIO和VMAX All flash都支持混合工作负载整合，都提供了一致的低延迟。与XtremIO不同的是，VMAX All flash提供了多维度的扩展，无论是端口支持的设备数量还是容量。VMAX All flash为关键任务应用提供了世界级的业务连续性和灾难恢复解决方案，提供了6个9的可用性。除了数据块的工作负载，VMAX All flash还可以整合mainframe、IBM 系列和文件的工作负载。VMAX All flash提供了线内的消重和压缩，还有无中断的VMAX数据迁移。
　　VMAX All flash为闪存而设计，能够支持巨大的规模，增加了闪存的耐用性，提供了一致的低于0.5毫秒的延迟。VMAX All flash提供了高IOPS、巨大的带宽。
　　多核多线程设计，用于超过100万个虚拟机，VMAX All flash有巨大的全局缓存，写I/O首先写到VMAX的cache当中，如果同一个地址的数据被反复修改，VMAX就把最后的修改写到后端的闪存盘上。VMAX巨大的全局内存使后端写到闪存盘的I/O数量减少了80%，增加了闪存的耐用性。同时VMAX All flash也提供了闪存的模组分析技术，可以监控闪存盘的使用寿命。当发现闪存盘的使用寿命接近的时候，可以预先准备好备用的闪存盘。
　　巨大的写缓存、智能的读写算法，为VMAX All flash提供了极低的、一致的低于0.5毫秒的延迟。CPU按照工作负载的要求，动态分配CPU的核，先进的QoS、优先级控制，可调整的前端后端的FE/BE样本文件。
　　VMAX All flash有巨大的SPC吞吐量，支持BI和DW。
　　VMAX All flash的基本构件块是V-brick，包括引擎和53TB的闪存软件，可按照13TB闪存包实现横向扩展。VMAX All flash纵向和横向扩展能力，可以分别扩展容量和性能。V-brick和驱动器升级都是打包的。
　　客户在寻求全闪存系统带来好处的同时，又不想失去高端存储支持他们关键任务的能力和价值，VMAX All flash广泛的生态环境为各种平台、操作系统、混合云等各类应用提供了通用的标准的交付存储服务的方式。VMAX All flash坚若磐石般的复制和集成技术，支持了客户的关键应用程序，维护数据的可用性，避难了灾难。
　　VMAX All flash企业规模的管理和自动化，简化了管理，降低了运行成本。
　　VMAX All flash巨大的整合能力可以满足服务提供商和大企业需要的可预测性、规模和控制。
　　使用unisphere配置VMAX All flash，平均的调配时间不到30秒。
　　VMAX All flash部署也非常灵活，可以单独部署，也可以作为Vblock融合存储架构来快速部署。
　　一个VMAX All flash技术更新的案例，客户原先有一个9机柜的VMAX20K，通过更新为相同容量的单一机柜的VMAX All flash，实现了6倍性能的提升，总体应用成本降低了40%，能耗减少了87%，占地面积减少了92%，预计驱动器的更换数量会减少98%。
　　VMAX All flash是真正的关键任务存储，管理自动化、丰富的企业数据服务、深入的生态环境集成、可信的保护、超大规模的整合，简化了规划和部署，实现闪存的潜能。
　　叶成辉认为，VMAX All flash最颠覆的就是传统的金融银行，因为70%的银行都有VMAX，对他们来讲最需要的是稳定、可靠、快，以前可能没有All flash，他们不够快。
　　机架级闪存存储解决方案DSSD D5
　　DSSD提供了一个共享的和直接访问的高性能机架级闪存存储池，支持高度可扩展的协议，实现了NVMe从user space来访问，也实现了NVMe的热插拔的存储模块。
　　DSSD提供了超高的性能，一千万个IOPS，100GB/S的带宽，100微秒的延迟，144TB的闪存容量。
　　DSSD优化了数据通道和客户通道，DSSD的数据通道是不使用软件的，这样就提供了最低的应用程序的延迟，最大的IOPS和带宽。应用程序直接访问DSSD，不需要经过传统的I/O软件站。
　　DSSD D5是一个5U的高性能、高密度和基于NAED闪存的机架级存储，最多可以有36个闪存模块，可以全装或者半装。DSSD D5提供了不同的配置，可以有36TB、72TB或者144TB的闪存容量。
　　DSSD的闪存模块是双端口的，PCIe Gen3的，是热插拔的。DSSD有两个控制模块，提供了冗余。
　　DSSD有两个I/O模块，每一个IO模块可以连接48台冗余连接的主机。DSSD的控制模块不用来处理I/O请求。
　　与应用程序的接口，是DSSD与其他解决方案最大的不同点。DSSD直接连接各种应用程序，根据传统的应用程序特别是数据块内的应用程序，DSSD提供了一个block drive，不需要修改I/O原代码，直接访问DSSD。对于Hadoop类的应用程序，DSSD提供了Hadoop的HBase插件。
　　DSSD增减了空间、时间的垃圾回收可靠性，闪存物理控制，增强了闪存的耐用性。客户在寻求实时解决方案，EMC看到三类数据密集、性能密集的工作负载，受到传统存储瓶颈的影响最大。一类是高性能的数据仓库，包括传统的数据库、Oracle、MPP、内存数据库。另外一类是运行在HDFS上的高性能应用，SQL等等。第三类是定制应用。使用DSSD运行高性能的数据库和数据仓库，可以实时分析更大的数据级，并且不需要做过多的调整。
　　使用DSSD运行在HDFS上的高性能应用，可以使实时分析成为可能，并且可以独立扩展计算和存储。
　　使用DSSD用于定制应用，可以提供更好的带宽密度，减少等待时间和增加分析。
　　DSSD可以达到1000万的IOPS（5U系统），延迟100微秒，带宽100GB/s，原始数据存储容量144TB（可用容量100TB）。运行数据库，与Oracle最快的存储平台相比，性能是Oracle的三倍，延迟是Oracle的1/3，总体拥有成本是Oracle的1/3。
　　在DSSD上运行Hadoop，只需要存储一份数据就可以了，这与传统的Hadoop解决方案相比，存储容量仅是传统解决方案的1/3，速度是传统解决方案的10倍。
　　DSSD可以用于各行各业，可以用于信用卡的欺诈甄别，金融的风险分析，可以用于预测建模，流数据的近实时分析，还可以用于金融的交易建模，政府的设计仿真，石油天然气的抽取模拟网格，生命科学研究等定制应用。
　　在信用卡实时分析方面，过去由于没有能力快速地分析，可能只能分析少量的字段，来判断这笔交易是正常交易还是欺诈交易。有了DSSD，可以在更短的时间分析更多的字段，来分析这笔交易是否是正常交易还是欺诈交易。一家公司使用DSSD支持欺诈分析，使欺诈的金额降低了25%。