存储技术
从视频监控领域的巨头到固态盘的深度布局,海康威视的一举一动都备受业界关注,就在2019全球闪存峰会——企业级SSD技术论坛的现场,海康威视智慧存储业务中心产品总监张庚,深入探讨了“AI乌云”下的视频监控存储变革,海康威视在存储研发过程中的实践,以及对存储现状的分析。
大家下午好,我们的系统很早就已经非常成熟了,现在大部分的视频监控相关的AI应用,在AI技术基础之上,实现了大数据运算,大数据目标。这种系统在全国非常普及,大部分的公安新系统都是这样,无非就是一个摄像头识别100个,1000个,10000个目标的区别。
过去海康威视在存储这个领域就是视频跟图片,还有少数的结构化数据。在以往仅仅是视频,人用眼睛一个一个看,可能需要花很久很久时间,现在智能结构化有了之后可以搜新文件形式的出现。
我这里依托海康威视已有的融合云存储的平台应用,解释一下我们的视频数据,到现在到底发生了什么,我们看到这些视频数据是视频监控的基础,我们海量数据首先要先存下来,我听到好多嘉宾说视频不断成长,会成为以后数据量成长的关键节点。
在整个数据存储中,视频数据的成长远超于其他任何一个领域,我们现在说的视频数据,不单指视频监控、视频数据,比如说抖音。这些数据会是今后视频主要的数据成长引擎,还有就是视频数据以后的摄像头从8K变成16K,会不会变成120K,这是很有可能的,这也是我们努力的目标。但是整个视频存储依赖于很多因素,现在来看,机械硬盘的成长还依赖于一个服务器,而视频监控存储量成长一个是应用,我想存更久的东西,还是说我的视频更有价值了?视频数据价值在以前比如说我一个视频数据有百分之几是可用的,在1%以下,大数据没有外发的时候是不会拿出来看,大部分数据都在一定时间段以后被覆盖掉了。
说数据量成长,一方法是说它的分辨率从以前更小,现在更大,以及我们公共视频监控,以及民用视频监控体量的成长。比如说以前我家里没装摄像头,现在加了一个摄像头。但是仅仅依赖于分辨率上升是不够的,因为分辨率上升有一个明显的局限,所有的摄像头采集到数据需要先编码再传输到某个地方去,再存下来。
整个链路上无论是编码层还是传输层,还是已显示层, 这些一定要就绪,是有很多受到整个产业链中间的限制。我还清晰记得当初刚进公司不久,从普轻变高清的时候,很痛苦的是好多显示器显示不出来我们的录像,因为没有显示200万和400万的能力,我们如果想把它增到8K、16K,肯定依赖于更多配套相关东西来成长。
图片存储在视频监控中一直以来都是比较核心的东西,以前比较简单,比如说发生移动侦测,我发现画面中有人动,我就发现画面有改变,就把图片保存下来,这是AI的雏形,我只是判断有东西在动,就把这个东西作为判定。现在说有很多应用有人脸、有人体、有车辆。首先以扣图的形式,存下来和刚才的视频数据就分开了。
还有智能结构化数据,这个也是近几年,我需要把视频中图象数据转化成一些字符,存图象,机械无法理解,我把它结构化成字符放在结构里面,它就表示当前目标,所以加结构化数据。
这些是车辆特征,人体特征,用这些东西以后才有机会做后面的大数据。这是问题大数据的基础,后面你想从人群中找到人是不可能的。现在说应用,视频监控说热数据有点不太自信,因为视频监控冷数据太多了,现在有了AI之后,明显把数据挖掘出来,如何把这个数据从以前1%使用率调到2%。
现在我首先在整个事件中获得一些智能事件,还有应用反馈,以及动作反馈,比如说手机按上一个客户端,现在我的摄像头发现一个人在门口,它给我抓了一个图,我是不知道,云后台就发现门口有个人在动,他把这个人相关的录像设置为热数据,因为它知道事件发生了。还有很多判定,比如说我现在把应用打开了,然后翻我的事件,我动作点开哪个事件,后台云就认为,点开这个事件认为想要看这个事件,后台认为和这个事件相关的数据是热数据,这也是作为判定的依据。
比如说我看摄像头的录像,我如何判定录像是热数据,我首先就是先把一些有事件,有人员有移动的数据变成热数据,然后我按照以往的,我认为首先想看到晚上的画面,我们判定热数据之后就把热数据放在SD里面,以备迅速翻出来。
这就是热数据动态存储应用,还有应用就是安防数据和普通视频数据不一样,比如说我现在看一个电影,这部电影有头有尾,它可以选择是不是1080P的,2个G你看不看?比如说我流量不够,我选个720P的,它知道这个路线有多大,它也知道从什么时候开始,什么时候结束。
流数据就不一样,流失数据,特别视频监控数据无头无尾,你发现海康威视录像拿普通的播放器放不了,因为我们文件头,没有文件尾,这时候厂家说我就用NFS好了,我每隔段时间给你切片录像。我们视频监控就变成分录像,实际上我们下面的应用,下面的物理层完全无差别的,但是如何展示给用户好像是我们把录像分开了呢?我们肯定和刚才一样有一个判定依据。
比如说发生一个从下午1-3点中间,这个门口从来没有动过,从3点门进来一个人,到这个人走出摄像头的范围,我们认为另外一段,这个作为我们流数据文件展示的方式,这也是一种判定。
我如果判定是一个新的文件,这种实际上也是未来做大数据的时候,怎么能迅速把文件找出来,迅速把这些文件跟目标,跟对象,跟事件还有人脸的特征关联起来一个重要的前提。还有一个现在不得不提的应用,这个应用实际上是一个放在摄像头上的存储,很多人都再说你们视频监控怎么就把这个录像放在摄像头上了?实际上是一个大势所趋,我们无法回头。整个应用起来,比如现在说一个民用数据,我没有理由把摄像头放在另外一个录像盒子里面,我肯定是买摄像头,你给我配的东西往里面存就好了。
我们回头说一说整个分级和应用的整体,我刚才说的那么多种类的文件,数据分层中是无差别的被放到数据池里面,分层只是应用,下面有很多设备存一些大数据。融合云存储,本身有高速池,中速池可以把SSD和SATA所有应用覆盖掉,这些应用放在里面之后识别一些冷热数据,是通过一些视频分析,行为分析,把最终我们认为冷数据,实际上视频监控在AI发展之前都是冷数据,因为数据还是比较冷,几乎很少翻出来看。现在数据如果一个摄像头放在一个路口,活跃度很高。
我这说的热温冷数据都不是通常说的概念,我们刚才说了分层存储,我们说一个分布还有缓存加速概念,我现在说一个云的概念,我们这个云是一个黑盒子。我们的云有可能是这个东西,我们组成个人的东西,我们这就有一个非常好的概念,我这个大楼,我建了私有云,我买了4个黑盒子,分别放在ABCD,这四个黑盒子建立起私有云,不需要跟外界联络,可以存储,可以分析,也可以做很多想做事,私有云可以把这些完成。
比如说有一个逃犯,我想把他抓出来,我把我的东西放在缓存池里面,我在实时画面搜这个人,这个冷热数据动态分层,在整个视频监控应用非常火热。基于上面的理解,我回头说SSD,我们自己也在做,SSD我们理解应该分为专用的和通用的,我如果理解的事情通用SSD很容易理解,比如说SATA SSD,我必须适配你这个惠普,你这个戴尔,你什么都要适配,这些是好多通用SSD必须要验过的。还有就是通用的,数据也好,分类也好,应用也好都是基于对某一类文件的理解。
比如说我就对视频监控文件理解很透彻,我所有应用都可以基于视频监控来做,我所有环境,我的使用,我的文件属性,我的特性以及往下写的一些那么多的速度,I/O,延迟都可以基于我们这个特殊应用来做。
所以我们以后SSD一定是走向专用的,就包括对我们自有系统的优化,缓存的优化以及温数据和视频监控的优化都会逐渐走入更加专业的一个小圆圈里面,现在用了很多通用,但以后会变更专业起来。
全部0条评论
快来发表一下你的评论吧 !