南京紫光基于对象存储系统的随机读写对象的方法

紫光的该项专利提出的基于对象存储的随机读写对象的方法，以索引对象和多个数据对象来构成一个向用户提供服务的完整对象，在索引对象中记录各个数据对象中的数据在整个数据段中的位置关系，基于这样的存储方式能够大大缩短随机读写时间。

集微网消息，作为中国三大半导体存储企业之一的紫光集团，为了促进存储产业的建设，在武汉长江存储项目之后，又在南京展开了产业基地的重大项目。

随着互联网、Web2 .0的快速发展，人们上传海量的照片、视频、音乐，社交软件每天都新增数十亿条内容，人们每天发送数千亿封电子邮件。据IDC统计未来在10年间数据将增长44倍，到2020年全球数据将增加到35ZB，其中80％是非结构化数据，且大部分是非活跃数据。

面对如此庞大的数据量，仅具备PB级扩展能力的块存储(例如SAN架构)和文件存储(例如NAS架构)显得有些无能为力。人们需要一种全新架构的存储系统，这种存储系统需要具备极高的可扩展性，能够满足人们对存储容量TB到EB规模的扩展需求，于是对象存储应运而生。然而面对大量随机读写的场景，特别是针对GB和TB级别大小的对象，对象存储的缺点就暴露出来了，对CPU、内存和网络带宽的要求非常高，即使在资源条件很高的情况下，随机读写耗时也很长。

针对现有技术的不足，南京紫光申请了一项名为“基于对象存储的随机读写对象的方法和系统”的发明专利（申请号：201810554758.8），申请人为南京紫光云信息科技有限公司。

图1

图1是该专利提出的对象存储方式的组成示意图，一个完整的对象包括一个索引对象和多个数据对象，数据存储在这些数据对象中，索引对象用来记录完整对象的基本信息以及数据对象中的数据在整个数据段中的位置。索引对象主要包括索引头信息和数据段信息，索引头信息中提供了对象的基本信息，包含对象大小等，数据段信息记录了数据段与数据对象中的数据的对应关系。

图2

上图是该专利提出的一种对象存储系统的结构示意图。该存储系统包括客户端和对象存储设备。对象存储设备指的是向用户提供对象存储服务的设备或资源 ，比如存储云等。客户端分为两种，一种是标准客户端 ，一种是集成SDK (Software Development Kit，软件开发工具包)的客户端，由SDK提供相关接口来读写。

我们通过图2对该系统结构做一个简要说明。网关由请求分析模块、透传模块、SDK读取模块、SDK遍历模块和SDK删除模块组成。首先S3客户端发送请求给网关，网关收到请求后，通过请求分析模块解析请求类型，根据请求类型和请求目标调用其他模块进行相应操作。请求类型包括读取(GET)对象、删除(DELETE)对象、遍历对象、写入(PUT)对象等。当请求类型是读取、删除或遍历请求时，判断被请求的对象是否为索引对象，如果是，则调用相应的SDK模块进行处理；如果被请求的对象为标准对象，读取请求可以直接通过透传模块获取数据，删除请求直接删除对象，而对于遍历请求则不做任何处理；如果请求类型是其他请求，那么直接通过透传模块将请求透传到对象存储设备中，由对象存储设备来处理。

该专利提出的这种基于对象存储的随机读写对象的方法，以索引对象和多个数据对象来构成一个向用户提供服务的完整对象，在索引对象中记录各个数据对象中的数据在整个数据段中的位置关系，基于这样的存储方式能够大大缩短随机读写时间。

在相关政策的支持下，国内的存储产业发展迅猛，诞生了许多诸如紫光集团这样的存储公司。为了打破国外的垄断，它们为科技创新、产品升级注入了许多心血，为我国存储行业的发展贡献出自己的力量。