多源零拷贝技术在数据存储中起到了怎样的作用?

描述

在互联网、云计算、AI、大数据等新智能应用驱动的新数据时代下,数据存储作为一切其他数据行为的基础,扮演着越来越重要的角色。浪潮软件定义存储AS13000通过模块化定义的方式,基于多源零拷贝技术实现多应用高效共享一套存储系统,提高数据应用效率。

云计算、大数据、AI、物联网等各种新智能应用不断涌现,带来数据需求的改变。文件、对象等数据类型需求增多。一方面,传统的文件系统存储服务正被企业广泛应用;另一方面,有着鲜明的互联网、大数据时代特点对象存储,也越来越受到互联网用户青睐。

每一种存储分别对应不同的访问协议,文件存储主要操作对象是文件和文件夹,例如NFS协议;对象存储协议则主要为S3、Swift。浪潮软件定义存储AS13000的优势即在于,通过模块化定义的方式,实现了在同一存储系统中可以同时支持文件、对象等多种存储协议,让用户通过一套存储系统即可支持企业各种应用访问存储数据,大大节省TCO。

1什么是对象存储?

对象存储是一种新的采用扁平数据的组织形式,并提供基于HTTP协议的RESTful接口访问的分布式存储系统。它适用于一次写入,多次读取的非结构化数据存储的需求场景,例如文档、图像、视频等网络媒体文件。在云计算与大数据时代,对象存储发展迅猛。

不过,目前业界的同类存储产品,每种存储系统只能提供1种或2种存储协议。对于新增对象存储需求的用户,这就要求在多应用环境中必须部署2套或2套以上的存储系统,无疑增加了用户的初始投资,且增大了后期维护和管理的难度。

浪潮软件定义存储AS13000则通过所提供的多源零拷贝技术,实现了在线存储和大数据分析存储的统一融合。企业的各种应用在存取数据时,无需在存储集群间进行数据拷贝,而是通过文件系统方便地访问对象存储的数据,同时还可以高效实现大数据的分析和挖掘。

2对象存储:通过多源零拷贝技术,共享一套存储

多源零拷贝技术,是通过对NFS协议、HDFS文件协议和S3/Swift对象协议多种存储协议的融合,来实现多应用存取数据共享一套存储系统的先进技术。多源零拷贝技术既避免了数据在不同存储之间来回拷贝的问题,又解决了用户投资大、维护和管理难的问题。

多源零拷贝技术示意图

浪潮软件定义存储AS13000之所以可以同时支持NFS、S3/Swift、HDFS(Hadoop分布式文件系统)访问底层对象存储,是因为采用了以下技术:

AS13000基于DOS设计和实现S3/Swift接口。它在S3/Swift接口基础上封装FS适配器,实现了HDFS接口和NFS接口的对接,从而实现大数据应用程序和NFS应用程序对存储系统的访问。

AS13000的对象应用程序通过S3/Swift接口直接调用底层存储系统,从而实现对象应用程序对对象数据的上传与下载。AS13000底层存储是一个高可用、智能化的分布式对象存储系统,支持自修复、自管理等底层数据管理功能,它向上提供UDOS访问函数库,能够支持DOS、DFS和DBS等模块的访问。3提高对象存储数据访问效率

浪潮软件定义存储AS13000提供的多源零拷贝技术,避免了企业不同业务应用数据在多存储系统之间的拷贝,因此可以有效提升数据访问效率,为多场景、多应用的“互联网+”用户带来了优势。

浪潮软件定义存储AS13000在医疗领域慢病跟踪私有云存储场景的应用

目前,浪潮软件定义存储AS13000在各行各业已经有了广泛应用。以医疗领域应用为例,AS13000已经应用于慢病跟踪私有云存储解决方案。系统的数据来源包括病人公有云监测数据、电子病历文件及数据库、PACS影像数据等多种渠道,通过Storming,Spark等流式和批量数据分析和运算,将HBASE开源数据集存储到AS13000中,然后通过慢病档案等应用,对HBASE结果数据进行前端展示,提供辅助治疗决策及建议。

浪潮软件定义存储AS13000存储系统的优势在于,支持原生多种文件/对象协议接口, 通过一套存储集群,适配多种场景多个应用,给医院节省了硬件成本;与此同时,通过数据存储融合,使得Spark、Storm读取多源数据的效率提升,HBASE存储数据效率也得到相应提升,从而提升了整个存储系统的访问效率。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分