大咖解读之SafeVideo

描述

·

 

机械硬盘作为存储设备中高速运转的部件,使用一段时间后很容易出现故障。替换新硬盘的过程中不仅会影响设备的正常使用,坏掉的硬盘数据往往也会遗失,数据的安全性很难得到保障。

针对视频存储应运而生的技术——SafeVideo,究竟有什么不一样的地方呢?一起来看看吧~

 

 

大咖解读

 

Q  A如何通过软件技术来应对硬盘故障?  

 

由于硬盘损坏不可避免,尤其是硬盘的坏道,所以业界通常都是用RAID技术来应对。RAID是数据块经过XOR得到校验块,从而提供数据冗余进而可以进行数据恢复的一种技术。通常有多种不同的RAID,现在用的比较多的是RAID1、RAID5、RAID6等,主要区别是数据盘和校验盘的配比不同。

 

Q  ASafeVideo就是RAID技术的一种吗?与通常的RAID有什么差别吗?  

 

Safevideo就是一种RAID。传统RAID或者当前的Linux内核开源RAID,基本上是基于数据块也就是block来组装RAID,形成一个新的block,业务使用时会在新block的基础上创建文件系统来存放视频和图片文件等。SafeVideo的创新在于直接基于文件分片来组装RAID。对视频和图片业务来讲,看到的是SafeVideo提供的文件,SafeVideo内部的RAID管理,也是基于文件,是2级不同概念的文件。

 

Q  ASafeVideo基于文件来做有什么好处呢?

主要体现在性能、容错性和业务存储一体化设计三个方面:

     

性能:传统基于block的RAID,业务使用的时候,要在RAID提供的新block上再创建文件系统,这样即使是一个大的文件,经过文件系统和block级RAID的2级打散,最后落到磁盘上就是比较小的IO。而SafeVideo基于文件的RAID,可以自行规划大的视频文件具体是怎么分布到不同磁盘上的文件分片,所以最终落到磁盘上的IO也是大的IO。磁盘的特性是每次读写都需要移动磁头,这个动作对性能的影响很大,所以最终磁盘访问的IO大就可以减少磁头移动的次数,从而获得更好的性能。

 

   

容错性:SafeVideo通过3重保护来提升数据的容错性。第一,可以利用文件系统自身的数据重定向能力;第二,如果文件内的数据出错,可以创建新文件,文件系统会重新分配磁盘扇区,然后替换原有故障文件,保留了原有文件名,但是实际用的磁盘扇区不一样了。第三,SafeVideo提供了一个重要特性是RAID局部重构能力,由于SafeVideo是基于文件的RAID,所以比较容易标识出有问题的文件分片,当写入某个文件分片出错的时候,只需要知道RAID条带中其他文件分片是OK的,就不需要让业务等待该文件的立即恢复,只需要标识该文件分片为错误,业务可以继续进行。之后并行地基于其他文件分片进行XOR,就可以恢复这个错误的文件分片。这样通过局部重构,可以容忍一定的介质错误的问题,且可以保证数据是正确的。

 

 

 

一体化设计:定制化虚拟文件是这里的核心。SafeVideo总共是有2级文件系统,一级是虚拟文件系统,对视频图片业务呈现标准的文件访问接口,一级是磁盘本地的文件系统,作为组成RAID的文件分片。在性能设计上,为了配合SafeVideo RAID内部IO的管理,上层业务需要配合SafeVideo按照一定的规则来下发IO命令。在RAID的各种故障处理方面,上层业务与SafeVideo之间做了一些联动处理,以便更好地识别和处理故障,比如视频业务对IO的时延要求是比其他业务高很多的,这部分就需要一体化的联动设计。

 

 

 

SafeVideo,具备视频读写更高效、数据存储更可靠、存储配置更便捷的特性,为视频存储提供高效和高可靠解决方案。

 

 

关注华为行业感知了解更多动态

  ·华为    华为   ·华为  华为  华为  

 

 


原文标题:大咖解读之SafeVideo

文章出处:【微信公众号:华为机器视觉】欢迎添加关注!文章转载请注明出处。


打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分