存储技术
云计算走向2.0时代,开始成为企业IT基础的核心引擎,软件定义存储也被赋予了新的角色,成为跨云的桥梁。任意云、任意设备、任意应用、任意数据,软件定义存储,构建了云2.0时代数据流动的平台。
12月12日,2018年中国存储与数据峰会“软件定义存储”论坛,以“软件定义,全栈软件赋能 从核心到边缘”为主题,邀请VMware大中华区高级技术总监李刚担纲出品人,浪潮存储产品部副总经理孙斌、青云QingCloud 存储高级技术专家刘乐乐、群蜂科技CEO王成巍、京东云产品研发部中间件负责人李道兵、中国移动苏州研发中心对象存储研发工程师余礼杨、XSKY产品营销总监吕磊等嘉宾进行分享和探讨。
浪潮存储产品部副总经理孙斌发表了主题为“面向新数据的软件定义存储”的演讲。以下内容根据速记整理,未经本人审定。
浪潮存储产品部副总经理孙斌
孙斌:谢谢李刚介绍我上个舞台。
软件和硬件在存储领域,刚刚提到说硬件不断在翻新、升级软件怎么样跟得上,其实20年前英特尔就一直在埋怨微软跟不上节奏。我们做企业系统的软件产品,不管哪一个领域哪一个行业不断在繁衍。
今天我更多想分享的是,上一周去Gartner关于数据中心的峰会,其客户有75%是使用IT设备的用户,还有25%是IT知名厂商,它左手拿着供应商右手拿着客户,说明设计游戏规则Gartner已创造了一个很好的商业模式,这是我理解的。这是我个人的感受,不知道网上是否有类似的内容。
昨天在主论坛我们同事李辉跟大家分享“新时代呼唤新存储”,刚才李刚总提的“企业云2.0” 也很契合也很我们这个主题——数据峰会,这么多年第一次听到数据峰会。
我们尝试着做一个归类,也借鉴了一些第三方机构的数据,包括福布斯最近两三年的数据,有AI的,大家想想AI现在和明天会如何影响我们自己或周边,还有物联网、社交媒体、通信(短信早就过时了,我相信在座的跟我一样都不发短信了)。不同的维度,这是传统的数据来源还有新应用产生的数据的一些特征。看到新数据有这样的来源也好,形态也好,我们看看应用负载有什么变化。
挑了一个应用,人们反复讲的AI应用,这是浪潮这两年的一个积累,我们在国内做AI服务器这块占比是遥遥领先后面所有的对手,超过他们的总和,所以我们有机会接触到公有云服务商在公有云上的应用,以及厂商四小龙,大量的传统企业,像通信行业、金融行业已经在大规模采购跟AI相关的软硬件平台设备。
这里想说的跟AI有关的应用分哪些数据阶段,从提取到准备,包括标签到训练、推理、归纳,不同的阶段对存储的要求是不一样的,你会看到协议会有差别,以及I/O的模式,I/O有很多,顺利还是随机,有没有一个高峰、低谷,还是顺顺当当走一个水平线等等。这个更多是来自Gartner数据。作为一个企业看到了这方面应用的特征,有的数据大家可以记下来。我们认为这只会跑得更快,不会跑得更慢。未来四年公司的部署将超过50%,今年只有4%。
今天的主题是软件定义存储,这个概念出来估计有十年甚至更长的时间。什么叫软件定义存储?超融合也好,分布式存储也好,有一个特点就是存储系统都是跑在标准的商业服务器上面。这其实算是软件定义存储的一种形态,在五年前你要问一个做IT的估计他也这样回答,但是这两年在变化,软件定义存储把范围远远拉开了。
举例,把传统的软件一体的也算成软件定义存储,超融合、分布式也算是,还有正在发生的新的变化,不管是全球或者国内的一些公有云服务厂商,还有一些新兴的存储厂商以及新兴的创业公司,他们开始把存储产品变成一种服务部署在云上面。我们自己的一个看法,在这些软件定义存储多种形态里面,分布式存储将越来越成为占比越来越高的,其中也有一些Gartner的数据,现在的企业数据目前是40%存在在横向扩展的存储中的,40%的数据是从容量的角度,3、4年之后是80%。
国内的一些大型央企已经在发生这样的变化,速度很快,每年几倍增长把非结构化和半结构化的数据放在分布式存储里面。
分布式存储未来发展的一个方向就是真正的私有云,但是这个私有云可能跟一两年前的那个定义有一些差别,更多是需要具备像今天公有云这样的弹性,敏捷等等特征,数据也好,应用也好,都可以在云上云下多云之间顺畅流动,为什么企业要建大量的私有云,把数据搬到公有云上,很多国际的企业从私有云撤下应用或者数据。Gartner也有一个统计,使用公有云服务考虑的第一要素是什么,第一投票选择节省成本。对主流客户来说数据上云再下云等等是不是像公有云更便宜,第二这个数据是不是更放心放在私有云上面。公有云政策下移,沉降到私有云里面,硬件和存储设备成本差两倍,可能一年或者两年之后,计算硬件和存储硬件成本相差三倍甚至更多,这样的问题如何解决? 我们看好分布式存储,一方面就是刚才分享的及时响应,第二就是真正的企业私有云为中心,是有公有云服务能力的。
说到分布式存储给大家看一个图,是Gartner定义的规则。当年一些国有厂商进入中国、中国的厂商会问你是不是一个主流厂商,如今当我们把产品带到国外的时候,就像当初人家进入中国一样。这是被问到的前三个问题之一。
这里面有两家中国企业,Gartner为能进入四象限的供应商定义了大量的准则,有两个维度,一个是执行力,一个是愿景能力,代表未来的方向。这里面也定义了很多一级、二级的要素。以执行力来说,产品和服务能力分布式存储,总体反映力是高要求的。愿景能力是对市场的理解,在产品上的创新,尤其是抓住新应用上面的创新等等。
这个有浪潮自己的理解,当然也有Gartner的一部分,有一个报告叫《关键技术存储能力》针对每一个象限,每一个厂商会选择综合技术能力表现较好表现的定义这样形态的产品,主要面向哪些应用场景。比如说分布式存储一共定义五大类的应用模式也好,应用场景也好,包括像大数据、高性能计算,列为两种类型。第五种就是混合云也好,云计算也好在这个基础上增加了如火如荼的视频监控,可能占了中国整个企业外部存储的30%、40%的空间和收入空间。我们看到,国内大量的像广电也有存储的需求,以及现在还没有进入到Gartner,我们看到快速增长人工智能上的需求。Gartner定义了一共八个技术能力,包括定价、吸引力、产品安全、部署弹性、性能、效应等等,在每一个典型应用场景下面,其实各项关键技术的要求是不一样的,有兴趣的可以下来到相关展台跟我们相关同事做一个交流。
Gartner定义了大量的标准,量化各个企业给它提供的各种调研报告里,产品在不同案例以及不同应用场景下面各项得分的情况。Gartner全球选出来26家厂商,只有两家中国厂商,进入到四象限的一共16家厂商,进入到工业技术能力一共7家厂商,浪潮两个应用场景里面,一个是叫大数据分析,这和今天的AI应用有一定关联,另外一个是高性能计算,在这两个维度上还比较靠前。
这个是在昨天辉总论坛分享的一个场景,分布存储AS13000,有几个特征,有一些特征在业界是数一数二的,是我们率先推出来的。
一是同一个硬件用一套软件架构软件栈能主机承载四种数据服务,包括不同的文件等等,网络文件、网络协议以及像与AS3相仿的协议,块、文件、对象与大数据的对接等等。
二是选择Openstack,浪潮也推出了自己业务的Openstack发行版,提供了对Openstack多个版本以及最新版本各种插件的支持,这些都开放到社区里面。
分布式存储,往往客户部署很少会看到节点,有这样特征类似像哑铃的有不少的客户,分布式是50个节点、100个节点甚至更大规模几百个节点的,对这些客户来说他们的应用场景只要超过块以上,不管是文件还是对象,访问的企业的复杂度。
我们不断跟客户学习新的应用场景,所以我们提出来“场景化定制”,换句话说就是“研发即服务”,让产品在客户这样的应用场景下应用有限的资源配置,触发应有的性能也许是可用的空间等等,给客户创造价值。
有几个技术点可以分享。
一个是“多源数据零拷贝”,这是技术工程师起的名字。我们发现,中国存储产生数据源往往有多种,不是像传统的看到的往往是单一的个位数,而分布式往往是出几组甚至更大的,不同的业务往往会支持已有的协议或者写进来或者读出来。
分布式存储分析处理再加工,有不同新的协议要进来。一组数据同一个数据做一个转换做一个临时的空间文本占用,还有一种方式给它戴不同的帽子,不管是用什么样的网络文件协议写下的文件,都可以用别的网络文件协议,你能不能用对象模式访问、能不能用网页?同样的数据访问的同时不需要做任何数据的转换,这是几个真实的生产应用里面常发生的问题,有不少客户对这样的特性非常的怀疑。
二是向大家分享性能优化。性能优化是永久话题。我们2016年推出这个产品以后也在不断演进,今天说到的SDS,网络,网络协议也在变化,看到这样的数据报告,一个远程访问的延迟和当地访问延迟只相差几十微秒,基本上跟当地一样快,这样的新的硬件跟底层协议的变化,怎么去拥抱它,让它能为客户的生产系统充分被利用上来。
我们讲的性能优化是在原数据层面,比较动态,要根据访问模式定义一些规则,对数据一定要做分区。产生的结构是什么好处呢,使得一个分布式存储系统最少从几百到几十个节点都能工作,跨度确实很大。
这个是文件聚合,十年前、五年前的一些学术方面的论文时不时都会谈及,包括现在看到访问文件协议常用的SND也好,几乎每一个五种场景都是使用的网络协议,效率极低。我们曾经做过一个测试,用当地的文件系统模拟出来,同样去做一样的扩展对比,获取的每秒超速和使用网络系统真的是一个NaasAS,存储能力一样,差了将近6倍,这是今年上半年测试结果。多方面的原因,有些是属于网络文件协议者本身的设计,有些NaaSAS性能优化是一个持续的过程。
举例,比如说针对哪些类型小文件要识别,以什么样的方式进行组合,存储节点达到一些效果,我们以访问次数进行了一个统计。小文件其实就是把这个痛往后挪一挪,还有一个挑战就是接触过SND,我们也了解过任何一个数据结构算法都要做垃圾分工,像平时用的电脑进行碎片整理,降低后台运行对前台的影响。
三是统一管理。以前我们看到的典型的数据中心就是一个机柜,放了几台设备都不满,现在越来越多的用户不只是一个机柜,而是多个机柜,甚至城市的数据中心。如何解决管理设备问题,以前一个管理员只需管理几台设备,现在要管理几十上百台。十年前我在IT行业经常听到怎么样提高管理效率,我当时笑不存在这个问题,因为我们的IT工程师便宜,国外一个IT工程师10万美金是起薪。今年不便宜了,明年会更贵,光靠他一个人两只手,24个小时还不够。
这是怎么样存储从应用到一个盘之间,存储协议之间,所有的逻辑路径、物理路径也好,以及设备各方面的检测、配备。最近这一年在这个行业比较热的就是自有云。有一定的能力,进行排查,指导用户或者二级工程师排查,真正能把这个承载系统运行能及时有效地汇总起来,不管是交给客户数据中心,还是供应商的数据中心,由他们来做后端的数据分析,找潜在的问题,及时提供修复问题的建议,以及还有哪些可以优化的地方。
Gartner的一个分析师分享了一个成熟的分布层面的系统,周期很长,要7年,这可能是观察了无数企业的结果,浪潮已经跨过第九个年头,从2008年、2009年承担国家项目,当时就是海量浪项目,到2016年底推出了自己重构第三代存储系统。这个离不开长期积累。我们已经授权的发明专利300个,在国际也是名列前茅的,也离不开大量的技术合作伙伴,我们也积极参与行业的组织、社区以及国家、行业标准建设,比如牵头海标委(海量存储标准委员会),高校、研究所和供应商等一起来研讨、制定出台国家相关的标准、技术标准。
从企业存储产品、业绩增长、新增的用户以及七大业务场景(其实应用场景下面还有大量的二级场景的覆盖),新增多少的合作伙伴,新增多少节点数量、容量等(不一定成正比,因为越来越多的需要更灵活的空间的配置,高密的,也要偏计算型的),七大应用场景让我们收获和合作伙伴和客户合作各行业成功案例,赢得了用户的认可。
主持人:刚才听了孙总的演讲,我觉得国产存储的技术发展非常快,因为个人的关系,我眼见浪潮存储事业部一步一步发展起来,而且有很多核心的技术,另外一点非常好就是提到了研发即服务的概念,这个概念特别增强了国内厂商的核心竞争能力,更加贴近用户,很多的功能创新都是来自场景,这个是一个扩展加速创新流程的概念。中国加油!
全部0条评论
快来发表一下你的评论吧 !