AI如何赋能视频监控

人工智能的发展由算力、算法和数据推动，它可以使机器借助先进软件和硬件，进行自主学习和独立解决问题。人工智能研究领域也包括计算机科学的其他分支，如机器学习、神经网络、深度学习等。在视频监控市场，现今应用最突出的人工智能技术是深度学习。

深度学习借助电子技术和软件算法来模仿人脑功能。深度学习系统会不断地从经验中获取知识，并像人类一样，通过学习真实的声音，图像和其他感官信息来感知和识别周围环境。

在这一过程当中，输入到系统当中的声音、图像和其他信息被拆分成多层高度抽象的网络，每一层都代表着一些特征或者标识符，比如边缘、颜色、形状和声调。人工智能的高速发展推动了其在智能手机、医疗保健和汽车等多个行业的应用。 同样，安防市场也越来越希望将人工智能应用落地，尤其是将深度学习算法应用在视频监控市场中。尽管深度学习并非新兴事物，但直到2015年深度学习才取得了重大的突破，机器视觉识别的错误率被大大降低。 在机器视觉竞赛中， ImageNet（一种用于视觉对象识别软件研究的大型视觉数据库）在分析图像数据库时首次成功突破了5%的人类平均错误率。深度学习如此快速的提升不仅是由于高级算法的发展，还因为基于多核图形处理单元（ GPU）而非传统的中央处理单元（ CPU）的新型的更新更快的硬件系统的开发。 这些新架构可以促使学习速度更快，结果更准确。因为与使用CPU方法相比，它们能够更快地模拟出10到100倍的人脑神经元。

随着视频监控系统中新基础架构的演进，业界已认识到两个主要趋势-AI能力从数据中心（云）迁移到端，以及多种类型的数据从端侧汇聚到云。

AI从云迁移到端侧–混合AI解决方案

AI解决方案从一开始就已部署在数据中心或云中，并逐渐扩展到边。这种发展取决于模型开发的过程和计算的动态性能。人工智能解决方案分为两个阶段-训练和推理。训练是指在多次迭代和大量训练数据集上模拟神经网络聚合达到所需精度的过程。因此，训练神经网络的计算量非常大。 由于训练一个算法所需算力非常大， 基本上， 训练仅在数据中心或云中进行。

当神经网络被训练得可以识别图像和视频的背景关系的时候，将其部署在推理设备上并将视频流输入。这个过程称为推断。 推理是一个正向传播过程，可以通过神经网络模型从新的输入信息中获取正确的结果。 当今市场上的大多数深度学习解决方案都包含某种GPU硬件。由于当前GPU硬件的功率要求较高，深度学习分析一度只能在云端或在深度学习服务器或录像机上运行。 但是， 近年来，随着基于ASIC的SoC的发展， 摄像头也能够运行AI推理算法。

因此，视频分析既可以在现成的标准化分析服务器或录像机上运行， 又可以嵌入到诸如网络摄像头和编码器之类的视频监控端侧设备中。

目前，主要有三种方法来部署AI解决方案。

部署在端侧的AI摄像头 - AI摄像头生成的结构化数据通过网络传输到服务器，用于例如面部图像识别和车辆识别等基于场景的其他应用程序。但是，这种方法难以被广泛采用的原因是AI摄相头替换传统摄像头的成本相对较高。

此外， 端侧AI摄像头的算力限制也阻碍了广泛应用。即使使用最新的ASIC芯片，许多端侧设备也将无法同时运行多种算法。因此，仅靠端侧设备很难实现规模效益。

部署在中心的AI解决方案 - 借助这种方法，无需更换传统的摄像机便可将视频流发送到分析服务器或录像机或云端以进行集中处理。这使系统能够为每个摄像头视频运行更多样的分析，并将多路摄像头联动来运行不同的视频分析。但是所有数据都需要被发送到数据中心， 而这种方法需要高带宽支持。 数据中心必须能够提供所有算力，这很大程度上意味着用户为购买AI服务器和录像机需要支付高昂成本。

云-边-端基础架构上分布的AI解决方案 - 这种混合方式可通过结合使用端侧的智能摄像头、 边侧集中式服务器和云中心， 来确保视频分析的工作负载更加均衡。这意味着可以在摄像头上运行一些分析，例如人群监视、 计数和对象检测，目的是节省带宽并减轻后端的算力压力。可以使用功能更强大的集中式分析来运行需要大算力的应用程序，例如人或车辆的特征提取以及对象搜索。

新技术推动多种类型的数据从端侧汇聚到云

深度学习分析能够将非结构化视频和图像转换为结构化以及半结构化数据。数据通过云-边-端基础架构汇聚，从AI摄像头开始，然后到边缘侧的服务器或录像机，再到云数据中心。该过程由算法和算力实现， 需要强大的逻辑处理器、 图形处理器、 内存和存储的支持。

在端侧，芯片组制造商和安防设备厂商正在将具有更高算力和更低功耗的处理器嵌入下一代智能摄像头。目前具备1 TOPS算力的嵌入式SoC的智能摄像头已经很普遍， 而一些高端摄像头更采用了16 TOPS算力的芯片，这些高端摄像头可以运行多种深度学习算法和应用程序。

有些高端AI摄像头甚至可在一帧视频中捕捉200多个面部图像并对图像进行结构化处理。 这种高度智能化的摄像头会7X24小时不间断的产生高码率视频图像数据以及大规模结构化数据，并对这些数据进行实时存储。

此外， 大量基于AI技术的上层应用显著增加了用户对视频数据以及结构化数据的读操作。 这需要存放这些数据的存储器具备更高的顺序和随机读写性能，以及更大的本地存储空间。因此，高性能大容量并且具有高P / E（写入/擦除）周期的嵌入式闪存存储器在端侧的AI摄像头中被越来越多的使用，例如e.MMC和UFS。

在后端，特别是“ CPU + GPU”架构最适合运行包括图像识别在内的大量的深度学习任务。这种组合的流行，部分原因是GPU能够执行并行计算。当运行深度学习神经网络时，该体系结构使其速度比通用CPU快得多。

而随着越来越多的数据在包括录像机和企业级存储在内的后端存储中被汇聚，需要更大的存储支撑。具有更高容量的硬盘存储阵列可在有限物理区域中提供更大的容量。由于叠瓦式磁记录（ SMR）技术的发展，使得最新一代3.5英寸硬盘的容量可以最高达到20TB。

叠瓦式硬盘通过将驱动器磁道部分彼此叠置（类似于屋顶上重叠的瓦片）来实现更大的容量，从而以较低的成本增加同一区域的存储密度。这种方法可以在视频监控云中心中很好地发挥作用， 因为视频数据流具有顺序化存储的特性，并且视频云中海量归档的视频都不会进行随机写操作。

为了提升在云端进行密集的AI计算的能力， 一些厂商开始在视频监控系统的AI计算中引入非易失性内存主机控制器接口（ NVMe） 存储， 即NVMe enterprise SSD。与传统的SSD或HDD相比，这种类型的存储可为AI计算访问数据时主动提供更高的带宽和更低的延迟， 并将这些数据存储在距离计算最近的位置。这种方法可以使在大型数据集上进行实时分析成为可能。

此外，业界还引入了NVMe分区存储（ ZNS）， 其在SSD上的工作方式与叠瓦式（ SMR） HDD类似，能够以较低的成本提供更大的存储容量，并能更好地实现主机系统和ZNS SSD之间的协作， 合理的分配存储的工作负载。尽管这项技术现今在SSD上落地仍处于初期阶段，但它有潜力确保以更具性价比的方式使存储系统更高效、 更稳定、更持久地运行。

人工智能技术的协作与整合

人工智能和深度学习视频分析现在正在影响新型的视频监控基础架构， 即从端到边再到云数据中心。 AI初创公司，半导体厂商与传统的视频监控供应商已经建立了一个完整生态系统以提供从芯片到算法和应用程序的解决方案，推动AI技术的落地。

随着成熟的AI加速器厂商不断推动芯片算力的提升， AI初创公司正在积极开发算法，以确保AI发挥其全部潜力。此外，视频监控设备制造商和数据中心硬件提供商正在不断探索将市面一流解决方案应用于其产品， 使最终用户可以以合理的成本从支持AI的解决方案中受益。

另一方面，系统集成商和最终用户正在寻找有效的方法，将具有一流的AI功能的视频分析软件与可靠的视频监控基础架构相结合。AI解决方案的开发需要涉及科技界多方共同努力。 没有一家企业可以独自推动AI产业向前发展，因为AI硬件和软件的开发非常耗时耗资，甚至对一些科技巨头都是一项巨大的挑战。由于AI的这个特点， 各厂商的AI技术的协作和整合是构建可持续视频监控生态系统的必要条件。

责任编辑：ct