智能视频监控技术应用及解决方案集锦

　　随着宽带有线和无线网络基础设施的完善以及全球安防市场需求的增长，视频监控的应用正呈爆发性的增长态势。视频监控系统的发展趋势非常明显，在经历了数字化和网络化之后，下一个重要的趋势就是智能化，即智能监控和视频分析技术的应用，从而实现智能视频监控。

　　传统的视频监控由人工进行视频监测发现安全隐患或异常状态，或者用于事后分析，这种应用具有其固有的缺点，难以实现实时的安全监控和检测管理。带有智能分析功能的监控系统可以通过区分监控对象的外形、动作等特征，做到主动收集、分析数据，并根据预设条件执行报警、记录、分析等动作。智能监控系统可以运行于服务器，也可以运行在基于DSP的嵌入式系统上，而后者已逐渐成为主流。

　　智能视频的应用大体上可以分安防、人体行为检测和智能交通三方面的应用。其中安防应用是被广泛认为是最具潜力的市场，它包括以下几个应用类别：入侵检测，可以自动检测出视频画面中的运动行为特征；物品移除检测，可以自动检测物品搬移事件——当防区内某特定位置的物品被拿走或搬走时发出报警；遗留物检测，可以对遗弃物进行自动检测——当物品在某个防区内被放置或遗弃的时候自动报警；智能跟踪，可以使摄像机对自身的云台和变焦镜头进行自主PTZ驱动。人体行为检测应用包括脱岗检测（可以实现自动检测岗哨人员就位情况）、徘徊检测（对重要区域人体徘徊检测）。智能交通应用包括：对非法停留的交通工具进行检测，当交通工具在防区内非法停留时发出报警；车辆逆行检测，及时辨别逆行车辆。

　　随着准确率和可靠性逐步提高及产品成本的下降，智能视频在越来越多的场合得到了应用，它能够替代部分安防设备，降低安保人员的工作强度，提高工作效率，减少管理成本。事实上，智能视频的应用具有非常巨大的潜力。随着技术日趋成熟，智能视频技术的应用领域正在迅速扩展，这些应用主要包括上述的安防、交通以及零售、服务等行业，如人数统计、人脸识别、人群控制、注意力控制和交通流量控制等。

　　实时视频监测的需求正在快速增长，特别是随着实时安全监控应用的需求增加，实时发现安全隐患或目标异常行为的功能已经具有越来越重要的现实意义，智能视频监测系统产品在这种日益增长的需求带动下，正在成为视频监控应用的新热点。特别是随着半导体技术的进步，例如以Blackfin汇聚式处理器为代表的先进嵌入式解决平台方案的推出，具有极高性价比和极高实用性的智能视频分析设备不断推出，并在一些关键应用中发挥极为重要的作用。

　　

　　图1：传统的视频监控应用示意图

　　智能视频监控设计攻略

　　硬件平台方案的选择往往决定了系统的整体方案成本、性能、开发工具和方法的可用性，以及方案未来持续升级的可行性等，因此方案平台选型至关重要。智能视频应用自身的独特性要求在硬件平台的选择上进行综合权衡。视频监控系统的网络化和智能分析要求，以及大规模工程安装对成本、体积和功耗的限制，非标准化的智能视频分析方法和几乎定制化的方案优化方式，使得结合了MCU和DSP优势、具有软件设计灵活性和强大处理能力的汇聚式处理器方案平台体现出更加明显的优势。本文结合ADI、华为、联想等智能视频监控解决方案为你解惑。

平安城市高清智能视频监控解决方案

　　1.1 系统概述

　　随着经济的发展、城镇建设速度加快，导致城市中人口密集、流动 人口增加，引发了城市建设中的交通、社会治安、重点区域防范等诸多城市管理问题，而公安警力增加远不能满足实际需求的速度。为了打击各种各样的经济刑事犯 罪，保护国家和人民群众的生命财产安全，保证各行各业和社会各部门的正常运转，采用高科技手段预防和制止各种犯罪成为安全防范的发展方向，视频监控作为一 个重要的技术防范手段得到越来越广泛的应用。

　　平安城市视频监控系统主要是应用视频处理技术、传输技术，对大型聚集场所、治安复杂区域、 重要单位等部位的治安动态情况进行实时监控，及时发现违法犯罪活动、利用监控录像资料查证犯罪线索、实时掌握大型活动和群体性突发事件现场动态，实现监控 图像信息和其它信息的综合应用，为提高公安机关驾驭社会治安局势服务。最终使城市区域社会治安的突出问题得到基本解决，治安环境明显改善，人民群众的安全 感不断增强。

　　1.2 系统组成

　　平安城市高清智能视频监控系统主要涉及到 音视频的采集、传输、存储、管理、共享等环节。整个解决方案可分为前端监控资源采集、监控资源接入、联网集中管理平台、图像资源存储以及图像资源共享平台 建设等部分。前端视频采集主要包括：道路卡口、红路灯路口、宾馆酒店、娱乐场所、网吧、城市街道、派出所滞留室、其他公共区域等，在这些重点区域安装百万 高清网络摄像机实施高清晰的现场监控、抓拍、智能分析；使相关管理部门充分把握现场的详细情况，提供高质量的画面给监控人员或者是后端智能分析系统，在完 成传统事后分析功能的同时逐步实现事前预警提示。每个区域构建前端高清监控子系统，完成对每个区域的详细记录、监控，同时通过视频光纤专网将各个子系统统 一并入专网实现大规模集中城市高清视频监控，实现统一调度，资源共享，提升相关执法部门的工作效率。指挥中心在视频监控的同时，可同时对多个前端喊话（广 播），对求助人员可提供语音帮助，对不法分子的犯罪行为可起到威慑作用，实现可见即可控，为城市的和谐繁荣构筑一道高清视频安全监控网。

系统架构图

系统多级互联拓扑图

　　1.2.1 社会治安监控

　 　在政府机构门口、金融、行政机构门口、人口分布稠密处、交通要道、复杂环境场所（广场、影剧院、娱乐场所、车站、宾馆饭店、公园等）、城区道路等位置进 行监控，定点路口采用高清摄像枪进行监控，动点采用高清网络球机实施大范围的监视，使治安监控人员更及时准确的发现并跟踪警情，提高响应速度。

　　传输网络采用“有线为主，无线辅助”的建设模式，着重于成本控制和接入质量，以点对点、可网管接入模式为主的思路。有线方式采用自建光纤接入或租用专线接入；无线接入采用3G或WIFI。

　　监控中心由管理服务器、流媒体服务器、存储服务器、智能分析服务器、客户端、高清解码矩阵、大屏幕电视墙等组成，能在统一操作平台、统一界面下实现对多路监控前端的监视和控制功能。

　　1.2.2 网络广播

　 　在治安复杂区域、重要路口、广场、社区等治安监控场所，在安装网络摄像机进行视频监控基础上，安装拾音器、IP网络广播、号角等音频设备，以及紧急求助 按钮、报警探头，经网络广播终端通过监控专网将上述信号传输至公安局指挥中心，在指挥中心配置网络麦克风和音箱，就可以实现音视频报警联动功能，即指挥中 心在视频监控的同时，可以同时对单个或多个前端喊话（广播），对求助人员可提供语音帮助，对不法分子的犯罪行为可起到威慑作用，以降低犯罪率。

　　1.2.3 高清卡口

　 　通过在省际、城际、城区主干道、主要交通要道、主要出入口等安装高清治安卡口系统，对经过的所有车辆进行抓拍，获得车辆图像，并自动实时地识别车牌字 符，记录下车辆经过的时间、地点、车牌号、行驶方向等数据，并全部汇入网络传输子系统，传输至中心管理平台。平台可实时将前端上传的图片与黑名单库比对， 发现布控车辆后通过软件界面、声音、短信等方式报警；系统可按车牌、地点、车道、时间等信息，进行单条件查询、组合查询和模糊查询等；系统可按日、周、 月、年等时间段，统计不同点位、不同设备的车辆信息，并以报表、曲线图、柱状图等各种直观的方式显示出来。

　　1.2.4 高清电子警察

　 　采用140/200/500万CCD高清一体化摄像机为采集主体，单台摄像机覆盖单向1~3车道；同步支持闪光灯和LED频闪灯进行夜间补光。系统可以 通过对视频的智能分析判断车辆直行闯红灯、右/左转、逆向行驶、压线、跨线、违反禁止线等违法行为，能自动检测抓拍到机动车违反交通安全法行为的连续三张 违章图片，违章照片能清晰地反映“红灯、停车线、车型、车牌、时间、地点”等违法车辆的基本情况。系统做到人、路、车三者的有机结合，充分应用闯红灯记录 系统使交通监控真正实现“智能化”，极大地提高交通管理的效率，确保交通安全。

　　1.2.5 社会资源接入

　 　为了加大重要治安复杂场所的监控力度、加强重点治安单位和公安部机关内部单位的管理力度，提高公安机关发现、控制、制止、打击各类违法犯罪行为的能力， 提升全市社会治安整体防范水平，需要对大量的社会面资源监控系统进行有机整合，实现统一管理、资源共享。社会资源监控包括：重要交通路口，路段；首脑机 关，要害部位，公共复杂、人员集聚场所；网吧，娱乐场所；宾馆、酒店；民爆物品储存、使用单位；内保单位；居民小区；公安基层单位；公安监所；特种车辆 GPS监控。

　　1.3 系统特点

　　架构先进：采用分布式的网络架构，实现分布式部署、集散式控制，充分整合现有的监控资源和各个分立系统

　　高清监控：采用百万像素摄像机进行高清监控，图像画质清晰逼真，分辨率达1080P、720P，支持实时双码流，远程浏览与本地存储互不影响

　　流媒体转发：具备流媒体功能，可以响应用户对现场实时视频和录像文件的点播，并对视频流进行转发，使网络带宽资源得到最有效的利用

　　报警联动：前端布置的红外探头、紧急按钮发生报警时，本地警号报警并实时录像，联动管理中心平台，在电视墙显示报警联动图像，同时在管理平台上弹出电子地图

　　可见即可控：发现有可疑对象或紧急情况时，监控中心能即时对监控点进行远程语音喊话和指挥，对行人群疏导或指挥现场处理工作，也可对可疑对象进行语音震慑，制止犯罪。

　　智能分析：采用智能分析技术，能对人员行为进行识别、跟踪，对人脸进行抓拍

　　1.4 系统功能

　　实时监控功能：对社会治安、交通管理监控点实时视频图像进行动态观察，结合GIS电子地图应用，直接在电子地图上标注监控摄像机的实际地理位置，实现监控图像与GIS电子地图联动，便于各级领导查看指导。

　　可见即可控功能：通过网络广播系统平时可以实现背景音乐功能，当报警发生时能通过预设方式自动触发图像复核或声音复核设备进行报警复核，值班人员可通过强切操作对前端进行喊话或进行双向语音对讲。

　　刑侦辅助功能：有效震慑各种违法犯罪活动，为案件提供侦查线索、高清录像。

　　智能交通功能：实现车辆多级布控，车牌智能分析识别，违章信息处理，流量分析，分类查询、数据统计，报表输出等功能。

　　统一调度功能：实现对系统设备和用户进行统一管理、身份认证、权限分配、配置下发等功能。

　　网管系统功能：对社会治安、交通管理监控点前端设备运行情况进行巡检，温度过高或过低告警、图像丢失告警、设备断电告警、设备断网告警，便于系统故障排查。

　　智能化监控功能：对重点区域辅以智能分析功能，做到事前预警。系统具有跨线检测、进入区域检测、非法停车检测、物品遗留检测、徘徊检测、人员聚集检测、打架斗殴检测等功能。

　　欲了解更多视频监控相关解决方案与电路图设计，可关注电子发烧友荣誉出品的Designs of week栏目：

 

　　

华为智能视频监控系统设计解决方案

　　1.中小型视频监控概述

　　近年来，随着经济的快速增长、社会的迅速进步，校园、工厂园区、中小企业、楼宇等领域对安全防范和现场记录报警系统的需求与日俱增，视频监控在工作、生活各方面得到了非常广泛的应用。而传统的中小型规模的视频监控系统存在着较大的局限性：

　　模拟化：设备投资大、施工布线难度高、传输距离受限且不易扩容。 清晰度低：由于信号衰减和被干扰，监控图像较模糊。

　　存储消耗大：模拟视频未经压缩或者压缩比较低，存储消耗很大。 性能低：分发性能、录像性能低，需要配置较多的服务器和存储设备。

　　可靠性低：系统关键部件缺乏可靠性设计，系统容易故障。

　　华为依托对IP化、网络、存储等技术的深刻理解，同时也积极理解各中小型企业客户的需求，致力于提供高清晰、高可靠、高性能、可管理的中小型视频监控系统。

　　2.华为SmartNVR智能视频监控平台

　 　华为针对传统的监控系统局限性，推出以数字视频编码压缩技术为核心，以数字网络和数字存储为承载，以实时监控、录像、录像回放、监控中心、电视墙为主要 业务，集报警探测、报警联动、报警防范、智能分析于一体的新一代数字化、智能化、网络化视频监控系统SmartNVR系列。

　　All In One Solution

　　华为SmartNVR提供一体化设计理念，SmartNVR 100采用纯软件化设计，SmartNVR 3000将平台软件与存储设备集成，形成All In One的解决方案，帮助客户实现快速安装、快速部署，同时提供简单便捷的使用和维护方式。

　　统一的管理能力

　 　完善的管理模式。 y 提供自动部署、远程维护、统计报表、告警管理等功能，真正做到“安装简单、部署简单、使用简单、维护简单”。全面的硬件监控功能。 y 专用的管理模块提供对服务器的硬件智能监控功能，符合 IPMI2.0 标准。支持 CPU、内存等热关键器件及整机环境温度实时监控，支持风扇转速实时监控。

　　高效可靠的存储（SmartNVR 3000）

　 　支持RAID5功能，保证磁盘高利用率的同时，提供高可靠的存储环境。提供 10个可热插拔的、容量为2TB的3.5” SATA 录像存储硬盘。使用RAID5创建磁盘阵列后，系统可提供的存储容量高达 16TB，可满足100路D1分辨率（2Mbps）的摄像机存储7天的需求。

　　智能业务集成（SmartNVR 3000）

　 　智能分析系统是采用视频处理和行为识别等先进的技术，对视频信号进行自动分析和监测，降低使用成本，提升监控效率和准确性。华为智能视频监控系统提供统 一的接口，方便集成各种智能分析模块，如入侵检测、绊线检测、遗留检测、移走检测、路径检测、突然出现检测、突然加速检测等。

　　节能环保，降低TCO（SmartNVR 3000）

　　支持降频功能，在处理器低负载下主动降低工作频率来降低计算能耗

　　采用优化的散热设计，根据热关键器件温度综合调节风扇转速，节能的同时降低了噪音并提高风扇的可靠性

　　支持实时系统功耗监测，系统实施综合节能策略，每年为用户节省数以万计的能源成本

　　3.典型组网

　　4.典型应用场景

　　校园监控应用需求：

　　规模：十几～几十路等；

　　价格比较敏感，要求高性价比

　　重点监控区域为大门口、围墙、教室、走道等

　　需要与报警、红外对射以及扬声器等功能联动

　　典型组网：

　　楼宇监控应用需求：

　　规模：几十～一百路；

　　重点监控区域为各出入口、电梯、走道、地下车库等

　　需要与红外报警、烟感报警、门禁以及扬声器等系统联动

　　典型组网：

　　小区监控应用需求：

　　规模：十几～几十路等；

　　重点监控区域为道路、围墙、花园、车库、门口、电梯等重点防护区域；

　　若用户希望在家里安装视频监控，可通过VPN专网方式，通过严密的权限控制，实现特定用户的远程浏览。

　　典型组网：

 

　　工厂监控应用需求：

　　规模：十几～几十路等；

　　重点监控区域为厂区、车间、围墙、花园、车库、门口、电梯等重点防护区域；

　　需要与烟感报警、红外对射、门禁以及扬声器等功能联动；

　　典型组网：

　　

Lenovo家庭无线视频监控解决方案

　　随着经济的快速发展和人们的收入的不断提高， 对居住房子的舒适性要求也提升到了更高的档次， 但是这类高尚豪华的住宅社区， 确也成为了盗窃、 抢劫等犯罪分子下手的目标。通过无线视频监控---“看家宝”可以帮你做好安全防盗工作，解决安防难题，有效打击入室犯罪，保护业主房内的人身及财物更有 力的安全保障。

　　人们生活节奏的提高， 照顾家庭的时间越来越少。 无线视频监控--- “看家宝”能帮你随时随地的关注家里的老人、 小孩、 行动不方便的人士情况， 对一些紧急和突发的情况做出最快的处理。

　 　家居无线视频监控系统----看家宝， 是对远程目标和受监测点进行监控管理体系中的一个重要组成部分， 是一种高科技智能型的综合系统。 它可以通过摄像机或其辅助设备 （镜头、 云台等） 直接观看被监控场地的一切情况，解决了传统的网络无法实现布线而又必须远程监控。 本系统广泛应用在： 家居安全， 防盗， 智能家居等方面。当有人入室盗窃或发生火灾等情况系统可以把实时的现场视频传输至你的电脑。 录像以便有关部门更快的破案，也可以成为犯罪分子定案的证据。

　　系统结构：

　　系统由四个部分组成：

　　1. 现场视频采集端（看家宝）

　　2. 视频传输网络（互联网）

　　3. 视频转发服务器

　　4. 远程电脑端。

　　采集端：

　 　前端监控设备按照室内、室外的不同环境可以选择不同的设备：在室内，可以直接采用 W610、 W611、 W612 室内型 wifi 技术监控产品---看家宝， 也可选择 G610 室内型 3G 监控技术产品---千里眼。 看家宝千里眼的镜头可以选择 （镜头的作用主要是

　　清晰度， 范围） 连入的形式是无线的， 看家宝可以固定按照在墙上也可以摆放在柜子上，随时可以换位。室外型的可以选择室外防水型的产品，也可以选择太阳能供电的W510 型 wifi 监控产品+室外型摄像机。

　　视频传输网络：

　 　传输采用无线和有线的方式都可以实行，有线方式是：家里有线方式接入互联网（如：ADSL/以太网/专线等）监控产品通过路由器无线的 wifi 信号接入互联网，这样充分的利用互联网的经济方便的特性。3G 无线方式是通过中国联通、中国网通、中国移动的 3G 网络实施。

　　视频转发服务器：

　　VM100 视频转发服务器是新一代的网络视频集成化监控中心平台， 是一个集成 WEB服务、 管理、 和认证、 数据库、 存储、 转发、 回放等六大功能模块我一体的监控平台。

　　监控端：

　　用户可以在世界任何地方任何世界只要能上互联网的电脑就以随时关注到你的家，你所牵挂的地方。

　　应用领域:

　　应用于各种环境 wifi 超远距离传输，包括：

　　家庭居家无线视频监控

　　宾馆无线视频监控

　　工厂厂房无线视频监控

　　医院无线视频监控

　　公司办公楼无线视频监控

　　公共场所无线视频监控

　　车间、仓库、财务室无线视频监控

　　商铺无线视频监控

　　

基于Blackfin的智能IP Camera系统设计

　　1.背景及概述

　 　近年来，随着嵌入式应用越来越复杂，应用场合越来越多，特别是多 媒体功能在各个领域飞速发展，高性能计算变得无处不在，从消费电子，网络通讯到工业控制和监控，大多数应用都需要更高的数字信号处理能力。出于成本和设计 难度的考虑，人们倾向于使用单颗芯片完成所有的工作，传统的DSP处理器和MCU处理器开始以多种形式进行融合：

　　1.传统的MCU+DSP合作方案被集成到一颗芯片封装内；或者进一步实现为真正的异构多核，可以共享部分甚至全部外部设备。

　　2.以SoC的形式为MCU加上基于固定硬件IP模块的数据处理能力，如一些编解码器。针对一些固定标准的应用。

　　3.随着高端嵌入式处理器频率突破500MHz并正在挺进1GHz，MCU和DSP平台开始真正的融合， DSP处理器的外设接口数量和控制能力逐步提高，而MCU的带宽和计算能力特别是软件多媒体处理能力也越来越强，两者之间不再有质的区别。

　 　以上三种融合的形式，实际上互相之间都有借鉴和交叉，从这里开始的未来发展，DSP和MCU之间，多核处理器的核与核之间，都不再有真正的界限。对于任 何应用，对应的处理器都是灵活的软件计算能力、高效的硬件IP模块和相应外设的结合体，即所谓的“Convergent Platform”（会聚平台）。

　　这样的处理器平台，对于嵌入式软件开发者提出了更新更高的要求，高级语言编译器要能够最大程度的利用 硬件细节来优化编译性能，减少手工优化的工作量，保持软件的通用性；DSP算法开发人员不仅仅要了解硬件平台，也要考虑到软件平台的架构对算法实现和优化 的影响，例如分离硬件相关部分和无关部分以适应操作系统的结构；而软件平台开发人员也要考虑处理器的细节以便进行系统优化，例如为多核或DMA通道的并行 处理抽象出系统接口。硬件设计者，算法设计者，系统软件设计者之间的界限也在消失，复合型的嵌入式系统开发者和团队才能最适应底层硬件平台的变化。

　 　在这个DSP/MCU/硬件IP模块三者融合的大趋势中，ADI公司的Blackfin系列处理器就是一个代表产品。从最早的BF53x系列，到目前的 增加了图像处理单元的BF54x系列和低功耗BF52x系列，以及双核的BF561，都是以同样的内核配置多样化的带宽和外设，针对不同的应用和市场。在 这样的处理器上选择和设计软件，需要考虑的因素有很多：

　　1.如何保持对处理器DSP特性硬件细节的最大效率使用，以达到最优算法性能和并行性。

　　2.如何最大程度地保持软件通用性，避免过多的硬件相关代码和汇编代码。

　　3.如何降低软件平台开发成本，是否适合采用开源操作系统或模块。

　　4.系统是否需要实时性能，采用的软件平台是否提供这样的实时性保证。

　　这些因素有时候是互相矛盾的，需要考虑具体应用的特点和自身的资源，来做一个折衷的最优化设计。

　 　ADI公司为Blackfin的软件平台做了很多的努力，提供多样化的软件生态环境。Blackfin支持 uClinux，VDK，uC/OSII，Nucleus等等多种OS/RTOS，基于VDSP开发工具提供多种免费的音视频codec，硬件抽象函数库 及驱动。在这个基于BF53x的智能监控系统中，我们希望最大程度地发挥芯片处理能力，达到最好的编码和智能算法能力，所以选择了一种RTOS – uC/OSII及其网络协议栈作为操作系统平台。在小型的RTOS中，一般不区分用户态和内核态，访问系统硬件资源的开销小，中断和任务切换时间有实时保 证，对内存的使用和分配也比较自由，这些特点决定了在RTOS下更容易发挥Blackfin作为DSP处理器的性能，并能直接使用ADI提供的高性能 H264编码库；但缺点是对比Linux这样开源资源比较丰富的操作系统，RTOS缺少某些现成的应用程序比如HTTP Server，需要更多的开发投入或第三方资源。

　　2.Blackfin IP Camera系统架构

　　整个IP Camera系统主要包括音视频采集，智能视频分析或智能音频分析，音/视频编码，流媒体打包传输，系统控制等模块（如图1所示）。

　 　基本系统为Blackfin的视频接口PPI同数字视频流输入相连来接收视频信号，而串行的SPORT接口可以连接音频输入，音视频数据以专用DMA通 道传送到SDRAM；如果需要智能监控，可以根据需要插入不同的分析模块；然后软件编码器负责对实时采集进来的音视频进行压缩，并打成 TS（Transport Stream）流来传输。整个系统是数据流驱动的，下图中不同的输入，分析和编码模块可以根据需要来选择，每个模块的输入和输出的是符合标准的数据流，可 以灵活地插入系统数据流的不同位置进行处理。一般的Blackfin单核芯片只能同时使用其中的一部分模块，但双核芯片如BF561或双片方案中，可以同 时使用所有的模块。

　　图1 基于Blackfin 537处理器IP Camera系统框图

　　详细资料：用于IP Camera的Blackfin 537处理器

　　2.1 视频采集和编码

　　Blackfin 系列DSP专门针对高速并行数据特别是视频数据集成了并行外围接口（PPI），在传统的数据总线的基础上增加了一条专用数据吞吐通道。

　 　PPI接口不仅可以按照BT.601视频流的“硬件同步”模式工作，还能自动解码BT.656前同步码，从而允许无缝连接到多种视频源和图像传感器，与 直接存储器存取（DMA）控制器配合使用，PPI可以在完整的视频帧信息中只读入有效的视频信息，或只有消隐区域。这样当不需要完整的视频帧时显著节省了 带宽。另外，PPI可以忽略隔行的BT.656视频流的所有第二场图像信息，从而提供了一种很有效的方法用于快速抽取输入信号。最后，因为PPI本身就可 以解码BT.656视频流，所以它可以直接连接到流行的类似ADV7183A视频解码器。

　　IP Camera上主流的编码标准如H.264，MPEG4等，ADI公司都提供了免费的编码器软件。本项目采用H.264视频压缩标准，ADI的H.264 编码器性能得到了最大的优化，充分利用了片内L1 内存，数据通过DMA来搬移，与处理器的运算并行执行。主要的特点有：支持YUV420和UYVY422 （CCIR-656） 视频输入格式，输出是以NAL为单位的基本视频流；对于H264编码，支持Baseline Profile和一些Main profile的特性（Interlaced encoding， CABAC），在BF53x上能达到最大实时1/2 D1，BF561上支持D1实时，支持I和P帧，自适应CBR码率控制等。对于不同的应用，ADI H.264编码器的比特率是可调整的，低比特率下甚至可以在CDMA1x这样的低带宽应用中实现实时传输。

　　2.2 智能监控

　 　目前监控市场的发展越来越趋向于智能化，各种视频或音频的智能分析算法得到产业化应用，如运动目标检测和跟踪，入侵检测，特殊声音检测和定位等等。 Blackfin处理器从架构到指令集都对多媒体处理有很好的支持，有专用的视频处理指令，因此特别适合于实现灵活的多媒体智能分析算法。ADI公司推出 了“Image Tool Box”智能监控软件包，针对智能监控算法中的一些常用和基本函数做了专门的优化，有很好的性能，可以加速上层算法的实现和优化。

　　一般 智能分析的实现是针对未编码的媒体流进行分析，但也有利用编码器输出结果的算法。本项目因为直接使用ADI公司给定的编码库，因此使用前置的智能模块直接 分析输入的媒体流，并输出结果。音视频的智能处理种类比较多，并在不断地改进，所以用一般都用高性能DSP来实现。在Blackfin上目前有多种智能处 理模块，如鱼眼矫正，运动物体检测及基于运动检测的上层算法如遗留物检测、入侵检测，枪声检测和定位等等。根据智能模块的输出结果，系统控制和编码部分都 可以做相应的智能处理，如勾勒运动物体边框，调高编码器分辨率，根据音源位置调整摄像头方向，等等。这些模块一般都有比较标准的输入输出接口，便于二次开 发中的系统集成。

　　2.3 媒体流传输

　　IP Camera的主要用途就是通过网络来实时传输远程的视频信息，本项目采用传输流（TS）通过UDP或上层的RTP协议来传输。传送流是根据ITU-T Rec.H.222.0 | ISO/IEC 13818-2和ISO/IEC 13818-3协议而定义的一种数据流，其目的是为了在有可能发生严重错误的环境下进行一道或多道程序的编码数据的传输和存储。TS主要应用于实时传送的 节目，比如实时广播的电视节目，主要特点就是要求从视频流的任一片段开始都是可以独立解码的。所以在接收端可以随时接入。目前视频监控领域还没有统一的媒 体流标准，但采用TS over RTP/UDP这一标准有利于将来的系统整合。ADI的一些第三方提供了完整的RTP协议栈产品，网络上也有一些开源的实现可供参考。

　　 数据链路方面，对于压缩视频传输，一般的网络接口芯片都能满足带宽要求，但是在评估网络性能的时候，处理器占用比也是一个非常重要的标准。BF53x系列 中的BF537芯片有内置的10/100M MAC接口，并有专用的DMA 数据通道，因此传输和处理器占用比性能都非常好，在基于BF537的IP Camera上每1Mbps的网络流量只消耗约1%的处理器性能，例如传输 H264 D1分辨率的监控码流，消耗处理器不到10MIPS。

　　2.4 软件架构

　 　µC/OSII是Blackfin所支持的RTOS之一，在高速的Blackfin处理器上有很强的硬实时性能，OS中断响应时间约为110 cycles（600MHz下约0.18us）。系统首先创建一个主任务（main task），负责系统的初始化和创建其他的模块任务。各模块任务独立运行，处理自己的输入和输出数据流，模块之间的耦合程度较低，可以灵活的取舍。网络协 议栈方面，Blackfin上也有多种选择，除了各商业RTOS配套提供的TCP/IP协议栈外，LWIP作为开源网络协议栈中的佼佼者，也在 Blackfin处理器上有移植版本。本项目采用了uC/OSII配套的uC/IP协议栈。

　　软件架构分为音视频采集，智能分析，编码打 包和网络传输，系统控制等模块，每个模块由不同优先级的任务负责，这非常有利于系统的集成和模块化设计。模块之间相互独立，用信号量进行同步，模块之间的 数据结构都设计成双缓冲或者多缓冲，，保证IO模块和运算模块并行执行。对于高系统负荷下的容错，程序和数据结构也考虑在内，偶然出现的丢帧现象不会影响 系统的继续运行，并且向系统控制部分报告错误。

　　下表（表1）列出了系统中各模块的来源：

　　表1 IP Camera系统模块来源

　　3.系统优化

　 　在DSP系统中，一旦算法确定下来，实现过程中的优化思路一般也是固定的，首先利用编译器的一些优化开关和手段，其次对算法做分析，找出关键代码和数 据，对关键部分做一些手工的调整，如改写成汇编等。但在实现一个包括多路输入输出，多种算法并行的完整的系统时，如何达到整体运行的最优化，除了传统的算 法优化外，还需要从系统的角度考虑一些因素：

　　1.系统带宽的最大化和最优化

　　在这样的一个复杂系统中，视频和音频数 据 的多路输入输出带来了冲突和延迟，对片外内存的使用效率有很大影响。Blackfin的SDRAM控制器支持多Bank的数据并发传输，因此我们要尽量把 不同通道的IO数据放在内存的不同Bank上。因此在音视频和网络数据结构的设计上，不光要保证高效的同步，还要利用Blackfin开发工具提供的特性 把数据分散在不同的Bank上。

　　2.片内L1内存的高效分配

　　传统上，DSP处理器内部的L1高速内存可以直接访 问， 存放关键代码和数据，提高算法运行效率。而MCU的L1一般全部用来做Cache，软件不能直接控制。在Blackfin等高性能处理器上，L1可以灵活 地配置成Cache或者直接访问。在一个完整的系统中，我们要兼顾到各个模块和操作系统本身，L1内存一部分用作Cache，以保证整体cache命中 率；另一部分作为SRAM用于算法的关键模块。这里需要做一些反复的调整和测试，来找出一个最优化的L1配置方案，最终目的是达到L1 内存使用效率（命中率）最大。

　　3.最大效率地使用DMA通道

　　越来越多的处理器为IO接口提供专用的DMA通道，以减 轻处理器做数据输入输出的负担。Blackfin上除了音视频接口的DMA外，还有专用的内存DMA通道。但是要最优化地使用DMA，最重要的是使用乒乓 缓冲，使处理器和DMA通道流水化工作。在数据输入，算法内部的内存DMA，数据输出等每个环节上都要使用DMA和乒乓缓冲，才能保证系统效率最高。这需 要每个驱动和软件模块都支持这样的数据结构和运行模型。

　　综合起来，新型处理器上往往集成了多种提高性能的机制，软件系统优化的思路，就是保证系统总带宽（如多总线，多DMA通道）和总运算单元（如多核，多乘法器）的并行化、流水化，这需要开发人员从系统和应用不同的层面来保证。

　　4.性能分析

　　系统使用的RTOS带来的额外开销主要就是定时为10ms的Timer Tick，可以忽略不计。而由于BF537高超的网络性能，网络传输所占用的处理器时间也非常小。主要的处理器时间消耗在音视频的智能分析和编码上。

　 　本项目可以运行在单核或双核Blackfin平台上，接收端用开源项目Video Lan Client（VLC）来接收并播放。对于单周期指令集的600MHz Blackfin内核，我们一般用600 MIPS来表示单核的总处理器能力，下表列出的部分系统模块消耗处理器能力也用MIPS来表示，如下表 （表2）所示。

　　表2 IP Camera 的性能测试 （单位：MIPS）

　 　从上面的性能列表可以看出，对于系统中可以使用的每一个模块，我们都可以有一个不同参数下的性能分析，在此基础上，使用不同性能的处理器，不同的模块， 不同的编码格式，甚至不同的帧率，我们可以针对各种应用组合出不同的系统，实现产品的差异化。比如我们可以完全运行智能处理算法，只在必要的时候启动编码 模块发送关键部分的媒体流；也可以平时以低码率、低帧率运行编码模块，由智能模块动态控制提高关键帧的码率和帧率。这样的智能监控系统，会更加实用化，最 大程度地减轻人工负担。

　　图2 基于Blackfin的智能监控IP Camera

　　5.小结

　 　未来嵌入式处理器的发展，以高计算性能、硬件IP协处理、多核、面向应用等特点，软件平台和软件开发人员需要适应这样的变化和特点。正向着智能化方向快 速发展的监控领域，正需要这样的软硬件平台提供支持。Blackfin处理器家族作为新一代处理能力和控制能力融合处理器的代表，需要设计更新更完善的软 件平台与其相配合，才能充分发挥其性能和灵活性，既能最快满足市场的需要，又能保证各厂商之间的区别和创新。同时ADI公司及其合作伙伴提供多样化的工具 和支持，来保证客户能够快速、低成本地开发出市场需要的各种嵌入式产品。

　　相关文章：

　　基于DSP的智能视频监控终端设计

　　嵌入式网络智能视频监控系统设计方案

　　监狱智能视频监控系统设计解决方案

　　欲了解更多视频监控相关解决方案与电路图设计，可关注电子发烧友荣誉出品的Designs of week栏目：