视视频云存储系统应用方案，为安防监控系统提供可靠数据存储

方案组网图

云存储基本功能齐全

集群管理功能：

使用三台服务器，部署管理服务器集群，通过唯一虚拟IP访问云存储管理页面，登录管理界面，查看云存储的运行状态等基本信息。验证了管理服务器集群部署成功，可以支持统一命名空间并以唯一虚拟IP对外提供业务服务。

视频、图片和文件功能：

验证了视频、图片和文件能够通过视频流直存方式成功写入云存储，并能对写入文件进行下载，没有经过平台流媒体服务器转发。

智能断网补录功能：

前端IPC、DVR和NVR本地录像正常，拔掉IPC、DVR和NVR网线2分钟后插回，查看录像缺失和录像补回的完整。验证了智能断网补录功能。

历史流补录功能：

前端IPC的SD卡中有历史记录，将配置的历史流补录计划到云存储中去，查看云存储中已将历史录像写入云存储中，且回放正常。验证了系统能支持历史流补录。

录像回放功能：

登录管理平台客户端，任意查询一段录像，进行了(任意时间，2、4、8倍速，倒序，I帧连续，指定定位时间等)回放。验证了系统能够对云存储中录像进行精准、倍速、倒序、I帧及定位回放。

智能负载均衡功能：

最大接入数减少的设备的实际接入数也减少，设备故障后，录像点位也自动均衡到其他设备上。验证了云存储能够根据设备硬件的差异，及性能、容量、IO、网络等，进行智能负载均衡。

循环覆盖功能：

周期为1天的资源池，在第2天触发周期覆盖，前一天的视频、图片和文件被覆盖，无法查询和提取前一天的视频、图片和文件数据；触发容量覆盖后，之前视频、图片和文件均被覆盖，资源池可用空间增加，新的录像、图片和文件能持续写入。验证了云存储能够支持周期和容量覆盖。

硬盘及设备在线扩展功能：

新增硬盘后，云存储集群总空间增加;新增设备后，集群容量增加，集群能够自动负载均衡，新设备上有业务写入，能够在线新增硬盘及设备。

多云间互联管理功能：

在互联中心上添加了两朵云，能够查看两朵云的信息;A云故障后，A云上的计划全部切换到B云上执行，查询录像正常;A云恢复后，B云上的A云计划自动切回A云，支持多云间互联管理。

运维管理功能：

云存储运维能够监控云存储的所有硬软件的运行情况;触发异常后，运维系统可通过多种方式对运维信息报警和统计。

可靠性测试表现优秀

磁盘漫游功能：

在任意设备间磁盘对调，云存储集群空间不变;通过平台查看录像不丢失。验证了系统支持磁盘漫游，云内磁盘任意插换，对数据无影响。

硬盘故障测试：

云内资源池数据冗余类型为4+2，在任意两台设备中拔出一块硬盘，不影响录像业务。将原盘插回，秒级恢复;新盘插入后会触发重构，高速重构恢复。验证了系统支持多盘故障，读写业务也不中断，历史录像不丢失;原盘插入后，秒级恢复;新盘插入后，高速重构恢复。

存储节点故障测试：

云内资源池数据冗余类型为4+2，拔掉任意两台设备的网线，录像业务不受影响。原设备恢复，数据立即恢复，不触发重构。设备不恢复，触发重构，统计重构耗时。验证了系统支持多存储节点故障时录像和回放功能正常。

EC类型在线修改：

资源池EC类型由4+1修改成4+2后，云存储可故障节点数增大到2台。资源池EC类型由4+2修改成5+1后，云存储可用空间增大。在以上操作过程中，录像业务不受影响。验证了系统支持在线修改EC类型。

降级读写功能：

将多台存储节点下线只留一台，历史录像能够回放但画面有跳帧，新写入录像能够正常回放。验证了系统节点故障数量超过上限时，系统能够进行文件读写。

高可用性功能：

元数据服务器任意一台故障(拔掉网线)，录像能够正常读写，历史录像不丢失。元数据服务器两台故障(拔掉网线)，录像只能写，查询回放受影响，历史录像不丢失。元数据服务器全部故障(拔掉网线)，录像只能写，查询回放受影响，历史录像不丢失。所有的元数据服务器恢复后，录像查询回放下载正常，历史录像不丢失。验证了系统支持元数据服务器部分和所有故障时，云存储录像数据不丢失。

性能优越

视频下载性能：

使用客户端工具下载任意一个前端录像，录像文件下载成功，下载速度不低于80MB/S。下载5GB文件，耗时62S，平均速度为82MB/S。

图片下载性能：

通过客户端工具下载图片，图片下载成功。云存储下载10000张300K大小图片，耗时14S，平均714张/S。

视频云存储系统

　　海康威视针对大容量视频数据的存储和管理以及满足视频监控领域的应用需求，结合对象存储技术、分布式EC技术等设计了这套云存储系统。该系统采用软硬件一体化设计，通过将云存储技术与安防行业智能应用、大数据技术深度融合，提供了专业、灵活、智能、可靠的云存储服务。

　　这套云存储系统可以同时应用于接入视频、图片、文件的混合流直接存储，承担整个系统内的视频/图片的数据写入/读取工作。系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将存储功能、管理功能进行打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储服务。

视频云存储系统应用架构图

　　海康威视视频云存储的存储系统由存储管理服务器(存储管理节点CVMN)、存储设备(存储节点CVSN)构成。在硬件架构中根据节点功能需要来集成视频云存储软件模块功能，主要包括视频云存储应用软件模块和对象存储软件模块等。

视频云存储管理节点:

CVMN（Cloud Video Manage Node）（亦称元数据服务器）其主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。

　　管理节点集群部署模式适用于较大型的视频云存储系统，可以进行三台或三台以上配备。集群部署的优势在于通过视频云存储管理节点内部集群功能来协调各节点设备资源，将用户配置、数据库信息、策略计划进行统一调度，整体性能呈现线性增长。同时也增加了系统的可靠性，多台设备的故障不会影响到系统的运行。

视频云存储存储节点：

CVSN（Cloud Video Storage Node）（即存储设备）是一套具有容量提供、数据读写、业务应用集成为一体的专有化存储设备。主要是响应视频云存储管理节点（CVMN）和应用层的录像、查询、下载等操作申请，以及管理物理存储设备和空间。

视频云存储节点模块具有以下功能：

负责根据接收云存储管理节点下发的录像计划，并根据录像计划向对应的前端摄像头进行取流操作。负责将接收到的录像数据写入到存储底层或从存储底层读取数据，通过协议接口主要向上层提供录像、查询、回放及下载服务。提供存储设备的状态检测和信息上报功能。

　　存储底层由流式文件系统对硬件资源进行整合，同时使用分布式EC技术来保证数据安全，并对业务功能提供容量空间完成数据存储。

系统特点

系统拓展设计

1系统横向扩展

　　海康的这套云存储系统支持在线横向扩展，在线业务持续运行的情况下，可以动态增加或缩小云存储系统的容量，不影响现有业务运行。云存储系统正常运行下可在线动态增加删除节存储点，存储节点的容量可根据需要划分入现有资源池或独立创建资源采集，对业务层仅表现为存储容量的增加和删除。

　　增加新的存储节点时，配置好节点的网络地址，即可加入系统工作，实现一键扩展，快速部署。系统能统一管理不同型号，不同存储盘位的数据节点。系统具有线性扩展的特性，容量增加时，整体的读写性能也同步增加。同时，系统容量和每个Bucket容量的扩展可快速生效，数据自动迁移保持容量利用均衡。

2数据高速恢复

　　海康的这套云存储系统采用ErasureCode算法N+M可靠性机制，在系统规模设计时将条带中的块数据分散到不同设备中存储，因此系统中若干硬盘或者设备故障都只会损失部分块数据。

由于系统运用的纠删码算法所需要的块数据分散在不同设备、不同硬盘中，因此启动数据恢复算法时可利用多台设备性能，极快速恢复出故障硬盘或设备中的数据，保障用户数据的不丢失，读取业务不中断，降低硬件故障、网络异常等给系统造成的数据丢失风险，提供可高可靠的数据保障机制。目前云存储系统最大支持N+4级别数据保障。

3数据智能重构

　　海康视频云存储系统采用分布式EC算法，在数据恢复和重构的速度方面相比传统RAID技术有了大幅的提升。高效的数据恢复速度在安防数据存储业务中为数据的快速访问和不间断访问提供了有利的支持。

　　同时海康威视视频云存储系统结合安防行业特点，深入理解安防行业数据应用场景，结合Erasure Code数据重构速度快的特点，针对安防数据的重要程度实现可分级重构。即可定义数据优先级，在出现大范围设备损坏时，保障高级别数据优先重构，从而更加快捷、智能的保障用户数据应用的实时性。

　　海康威视推出的这套专业的云存储系统非常适合安防行业应用，能为安防监控平台“减负”，能精简、优化安防的存储架构，有较强、较好的用户体验。

社方观点

　　大量的高清视频监控产生了巨大的视频数据流，传统安防数据从采集、传送、存储到处理的整个过程中，存储和处理大约占据了80%以上的服务器资源。海康威视针对大容量视频数据的存储和管理以及满足安防视频监控领域的应用需求，设计了一套专业级的海量数据云存储系统。

01

　　系统采用高可靠性、高稳定性的集群部署模式，可实现单台或多台节点故障切换和实时动态负载均衡控制，提升资源利用率，降低设备的压力，单/多节点故障时数据不会丢失，数据的采集、传输、存储和处理过程中的安全性高。支持统一命名空间，以唯一的业务虚拟IP地址对外提供服务，简化了用户访问和应用流程。

02

　　系统采用了流媒体直存技术，具有视频、图片、文件三类数据流的存储、预览、检索、压缩、回放、下载、备份、补录等使用功能齐全，前端接入协议标准、开放，平台兼容性强，操作使用便捷，界面友好。实现海量数据的快速检索，真真做到亿条数据秒级检索。

03

　　系统具有高扩展性、自动化运维、节省成本三大优势。可以无限扩展存储容量，能自动对云存储系统内数量庞大的软、硬件全方位监控，自动收集软、硬件运行数据，为用户提供机群实时体检、故障在线告警、实时故障排查、运维数据统计分析报表等等服务。使用云存储后，用户不必担心设备升级、数据迁移、设备维护等，可节省大量费用。

04

　　海康的云存储服务非常适合公安、交通、司法、政府、金融、办公园区、文教等视频、图片等数据流大的行业使用。同时海康威视在视频云存储、数据结构化、处理智能化相结合的产品上还在加大研发投入，研发出更适合各种大、中、小用户即插即用的、软硬件结合的云存储产品。并在进一步降低用户使用成本，正确把握各种用户需求，追求更好的用户体验上做好领头羊。

方案特色

01

该方案是海康威视为适应安防大数据EB级增长的海量存储需求，采用软硬件一体化设计，通过将云存储技术与安防行业的智能应用、大数据技术进行深度融合，面向用户提供的专业、灵活、智能、安全、可靠的云存储服务。

02

方案在前端支持视频、图片、文件的统一混合存储，视频、图片采用流媒体直存技术。在存储端支持24、36、48等多种盘位存储设备，支持元数据服务器集群部署模式。支持符合标准协议(GB28281/ONVIF/PSIA/RTSP/SIP流媒体协议)的第三方设备接入，并提供开放、标准的接入协议。支持用户采用SDK、HTTP、兼容亚马逊S3协议等方式与海康七大行业平台对接，提供云存储服务。

03

方案采用独有的具有自主知识产权的流式数据结构存储技术，消除文件系统的瓶颈，满足视频大数据的持续写入，可大幅提升存储效率。设备采用集群化运行技术，激活了存储的潜能，全面提升了动态负载均衡能力。数据采用分布式存储技术，可并发提取，实现了数据的高速下载。系统以集群方式对外提供唯一的IP接口作为访问地址来实现存储+应用。是以应用视角来优化存储的专业安防云存储系统。

04

　　方案在信息传输安全上采用了写入权限认证、通信协议加密等技术，在数据存储安全上采用了EC纠删码的网络RAID等技术。能实现节点间数据冗余保护，支持多种N+M冗余容错机制，系统能容忍多台设备、多块硬盘同时损坏而数据不丢失，系统无单点故障，多接点故障时系统自动切换接管，业务不中断，保障数据完整、安全、稳定、可靠。

05

　　方案采用独立的运维平台来对视频云存储硬件、软件和系统三大模块中的系统压力、使用空间、硬件节点、监控点位等中的各种信息进行统一采集、报表统计和运维管理。对系统设备和资源服务状态实时查看，对多云实行统一设备和访问控制权限管理。当云存储系统的软硬件运行异常时，运维系统经过统计分析后可通过多种方式触发报警，并以显示，短信、语音、邮件等方式发送告警信息，方便实时监控云存储的运行。大大降低了运维人员对视频云存储系统的维护难度。并支持与标准的SNMP协议对接。