存储技术
数据存储管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理、应用的过程。数据存储管理的目的是充分有效地发挥数据的作用。目前,数据存储管理系统可分类为:传统数据存储管理系统、大数据存储管理系统。
一、传统数据存储管理系统
目前,应用较广泛的传统数据存储管理系统包括两种:普通文件系统、关系型数据库。
(1)普通文件系统
普通文件系统是指通过操作系统对文件进行存储和管理。普通文件系统可提供命名文件与放置文件的逻辑存储和恢复等功能,文件被放置于分等级的(树状)结构中。DOS、Windows、OS、Macintosh(简称Mac)、UNIX-based操作系统均具有普通文件系统。
(2)关系型数据库
关系型数据库可将复杂的数据结构归结为简单的二元关系(即二维表格形式),并通过对表格分类、合并、连接、选取等运算实现数据的管理。关系型数据库的表格形式与Excel类似,两者的区别在于关系型数据库的单元格不能再被划分为子单元格,而Excel的单元格可以再被划分为子单元格。常见的关系型数据库包括:MySQL,Oracle等。
现实世界当中各种实体之间的关系,均可以通过关系模型(个人理解:关系型数据库是关系模型的表征之一)表示,关系模型中存在一对一、一对多、多对多等数据关系。
关系模型的逻辑结构是二维表格,实体之间的关系均以二维表格表示,此类表格即可组成关系型数据库。关系型数据库中每一行代表一条数据记录(个人理解:一条数据记录可被理解为某一实体的所有属性),每一列代表一个数据字段(个人理解:一个数据字段可被理解为所有实体的某一属性)。
图片来源:学堂在线《大数据导论》
二、大数据存储系统
因为传统数据存储系统和数据库的存储容量和吞吐性能不足以支撑大数据的规模,所以大数据的存储管理系统不采用传统数据存储系统,而采用能够支撑大数据规模的分布式文件系统(HDFS)和非关系型数据库。
(1)分布式文件系统
分布式文件系统将文件分布存储于多个计算机节点,所有的计算机节点构成计算机集群。
因为传统的文件系统容量相对较小(传统的文件系统相当于包含一个计算机节点的文件系统),不能支撑大数据规模,所以出现可将多个计算机节点连接,并可将数据分块存储于计算机节点中的分布式文件系统。
(2)非关系型数据库
非关系型数据库的类型包括:列式存储、文档存储、Key-Value存储、图结构存储。1)常见列式存储非关系型数据库:Hbase。2)常见文档存储非关系型数据库:Mongodb。3)常见Key-Value存储非关系型数据库:Redis。4)常见图结构存储非关系型数据库:Neo4j。
编辑:黄飞
全部0条评论
快来发表一下你的评论吧 !