网络摄像机
网络摄像机是一种结合传统摄像机与网络技术所产生的新一代摄像机,它可以将影像通过网络传至地球另一端,且远端的浏览者不需用任何专业软件,只要标准的网络浏览器即可监视其影像。 随着网络的飞速发展,网络产品逐渐覆盖我们生活的各个角落。网络摄像机的发展创新,广泛应用于多个领域,如教育、商业、医疗、公共事业等。
以下为大家整理了10个最受欢迎的网络摄像机设计方案
TOP 10:基于TMS320DSC2x的数字网络摄像机设计
作为DSP领先者的美国德州仪器公司(TI)在数字照相机应用方面同样独占鳌头。首先基于TMS320C54x通用平台上实现影像压缩,然后将影像前端处理的分立器件集成为一个专用芯片,进而把两者合二为一并集成ARM7通用处理器,就是TMS320DSC2x系列通用数字相机平台。这是TI为业界首创的单片影像处理体系架构(SOC),之后又不断提升该平台的性能和功能,并成功推进更新换代。
与此同时,在通用DSP上实现数字网络摄像机的尝试始终没有停止,而真正的突破在与TI的DSP专家采用C6211实现的MJPEG实时处理系统。虽然外围还需要不少分立的期间,但是依赖于C6x高速并行处理能力,其视频性能在业界处于优异的水平。而其功能已经可以满足数字监控基本需求,并且系统较为当时的市场所接受,因此很快得到实际应用,其中在中国的产品化进程并没有落在国际之后。随着通用数字媒体处理器DM642的问世,数字网络摄像机集成度更高,而且可以支持实时H.264,并已集成视频口和以太网接口。DM642对数字视频监控的贡献是划时代,其成功不仅在网络摄像机,还有数字视频服务器、视频压缩卡、嵌入式硬盘录像机等。
影像SOC的继续创新表现在核心处理上集成协处理器,先支持影像后支持视频增强能力;在控制器上由ARM7升级到ARM9;在前端处理方面也由影像提升到视频功能等。至此,产品由DSC系列上升到DM270再到DM320和DM355.DM系列就是Digital Media,即数字媒体处理器的含义,该系列不仅支持JPEG静态影响压缩,还可支持MPEG-4实时处理,因此已经是数字摄像机的理想平台。将该器件扩展以太网接口就是网络摄像机,而且DM355可支持实时MPEG-4达到分辨率为720P.由于这个体系有视频前处理子系统VPSS,可以直接连视频传感器,由在主芯片上进行ISP处理的可能,就是使得网络摄像机达到一个更高程度的集成。
后来,沿着DM642的轨迹有了称为“达芬奇”的DM644x系列,集成有ARM9、DSP和VPSS的SOC平台,于是支持D1实时地 H.264产品不少迁移到此平台以提高集成度;再往后,沿着DM355的足迹有了DM365,不变的是720P高清的性能,但已是支持H.264,而且有了以太网接口,前端也是名副其实的ISP单元。
总之,DSP启动了摄像机市场,就推动了数字视频监控市场的发展,而以此为核心的SOC又使这样的推动力向更高更新的技术领域迈进。
TOP 9:基于TMS320DM642的网络摄像机的设计
随着网络技术和多媒体技术的广泛应用,数字网络视频得到了飞速发展。在网络视频会议和网络监控领域中,将传统的模拟视频信号转换成数字视频信号,并且借助于现有的IP网络进行传输已成为当今的一大热点。
从技术实现方式来讲,通常是采用网络摄像机来实现。目前市场上的网络摄像机一般有两类:一类是普通摄像机加视频网关构成,但是这种方案体积庞大、操作繁琐;另一类是把全部网络接入功能都集成在摄像机中,其体积小、功能全、易于使用和维护。后类摄像机有多种解决方案,本文提出一种基于嵌入式 DSP的设计方案,并且给出具体的硬件及软件实现。
1 硬件系统设计
1.1嵌入式处理器TMS320DM642
TMS320DM642(以下简称DM462)是TI公司近来发布的新一代多媒体处理器,它基于其第二代高性能的VelociTI VLIW结构,适用于多种数字媒体应用.DM642的时钟频率为600MHz,指令速度高达4800MIPS.这款DSP的两大特色在于:第一,拥有三个可配置的视频接口(VP),可同时采集三路视频信号;第二,集成了以太网接口,10/100Mbps模式自适应,能工作在全双工或半双工模式下,并具有硬件流控制和服务质量保证(QoS)支持.DM642的功能十分强大,它是构成多媒体通信系统的最佳平台之一。
1.2硬件整体架构
本系统的硬件平台由六部分组成,分别是视频采集、数据存储、视频处理、视频显示、网络和电源管理。其结构框图如图1所示。
视频采集部分采用模拟PAL制摄像头,配合高精度视频A/D转换器得到数字图像.A/D转换器采用TI公司的TVP5145芯片,其采样精度达到10bit,输出支持CCIR-656和BT656等格式。
数据存储部分的RAM采用三星公司的SDRAM.为配合DM642的64位EMIF(外部存储器接口),使用四片SDRAM,每片工作在16位模式,单片容量为32MB.数据存储部分的ROM采用ATMEL公司的NOR型的Flash芯片,总容量为256KB,数据总线为8位。本系统中的 SDRAM用来存放系统运行时的代码以及临时图像数据,Flash用来保存系统自启动代码以及系统程序代码。
视频显示部分采用数字LCD,可省去数/模转换芯片,只需一片CPLD驱动LCD.CPLD采用Altera公司的MAX3000系列。这部分作为辅助功能,可根据实际运用场合进行选择。
DM642的以太网控制器(即EMAC)属于数据链路层,因此需外接物理层芯片才能进行网络通信。这里采用Intel公司的LXT971A芯片,它提供了MII(Media Independent Interface)接口,可以方便地和DM642连接。
电源管理部分在一个硬件系统设计中占有举足轻重的地位。本系统的电源模块采用MAXIM公司的解决方案,包括一片MAX1762芯片(产生1.4V电源给DM642的I/O供电和产生5V电源给LCD的逆变器供电)。
2 设备驱动设计
TI为DM642的VP口开发了一个两层设备驱动模型。上层驱动称为Class Driver,更靠近底层硬件。应用时只需根据这个模型编写驱动程序就可以了。
对于以太网口,TI提供了一个网络开发组件(NDK),为在DSP上开发网络应用程序提供了平台。有了这个平台,在开发网络应用程序时,就不用过多考虑数据如何封闭成IP包,也不用过多关心TCP/IP协议内部的工作机制,这样可以缩短产品的开发周期及上市时间。
2.1 视频端口的两层设备驱动模型
两层设备驱动模型如图2 所示。最上层是应用程序,最下层是底层硬件,包括DM642的VP口和视频A/D芯片。中间大花括号括起来部分即为设备驱动。图中还有一层芯片支持库(CSL),它提供配置及控制片上外设的C语言接口。
根据VP口的特点,设备驱动的两层驱动模型的每一层又细分了两层。从图2可以看到,把Class Driver分为FVID Class Driver和GIO Class Driver.前者更靠近应用程序,它提供一些特别适用于图像的API函数;后者提供与Mini Driver进行通信的API函数.Mini Driver分成通用部分和特殊部分,这样分的优势在于:当改变硬件构成时,无需重写Mini Driver,只需修改特殊部分即可,提高了代码的重复使用性。
2.2网络开发组件
网络开发组件的核心即为一系列TCP/IP协议栈库。包括:(1)栈库和网络工具库,它含有一些经过优化编译的协议栈代码;(2)操作系统适应库,它用来协调TCP/IP协议栈和DSP/BIOS之间的接口;(3)网络控制及调度库,它决定TCP/IP环境的初始化以及网络相关事件是如何被调度的;(4)多种硬件抽象层平台库,为TI公司的多种开发板(比如DSK、TEB和EVM等)提供支持。由于本系统为自行开发,所以不涉及HAL.
协议栈库的流程框图如图3所示,其中灰色模块分别代表前术五个库。
软件设计及实现【略】
阅读详细文章:基于TMS320DM642的网络摄像机的设计
Top 8: 基于ML86500的网络摄像机方案设计
1 引 言
近年来,随着数字图像处理技术、多媒体技术、嵌入式系统软硬件技术的高速发展以及宽带网络的不断普及,视频监控已逐渐走近了人们的生活。与传统的模拟监控相比,IP视频监控克服了模拟闭路电视监控的局限性:首先,数字化视频可以在计算机网络 (局域网或广域网)上传输图像数据,基本上不受距离限制,信号不易受干扰,可大幅度提高图像品质和稳定性;其次,数字视频利用现有的计算机互联网络,无须重复布线,安装方便灵活;最后,数字化存储成为可能,经过压缩的视频数据可直接存储,查询简便快捷。
目前,网络摄像机方案多数采用了CPU+DSP的组合,CPU完成控制、通讯等功能,而DSP则主要完成音频、视频信号的编码处理,但此类方案一般成本较高。本文设计的基于ML86500的网络摄像机方案具有高压缩率、低带宽占用、高图像质量以及低成本等优势。
2 系统硬件设计
2.1 硬件总体方案
网络摄像机硬件总体方案如图1所示。
网络摄像机的基本原理为:CCD传感器将光线转变成电荷,并输出CVBS模拟视频信号给视频解码芯片(TW9910);视频解码芯片将CVBS 模拟视频信号模数转换(A/D)成YUV 4:2:2格式的数字信号,并输出给视频编码芯片——ML86500;ML86500对视频信息进行编码压缩处理,生成MPEG4数据流;MPEG4数据流经RTP协议封装经过网络发送到远程客户机(PC),远程客户机解码还原视频信息进行播放。
2.2 MPEG4实时编码器电路
ML86500是OKI公司开发的实时MPEG4图像压缩(编码)处理单芯片产品,该芯片灵活运用了OKI独创算法及专用加速器,低成本实现了高画质,其设计目标就是面向监视摄像机、网络摄像机等图像监控设备。因此本网络摄像机方案中的视频编码芯片选用ML86500。
ML86500内部的原理见图2。
ML86500主要技术指标:
视频编码方式:MPEG4 SP/ASP;
支持的视频方式:NTSC@29.97 f/s,PAL@25 f/s,VGA,QVGA;
数据格式:亮度信号8 b、色度信号8 b(4:2:2);
支持隔行扫描视频(NTSC/PAL);
变换输入帧率;
码流编码模式:CBR/VBR;
外部SDRAM接口;
通用8/16位主机CPU接口;
电源电压:3.3 V±0.3 V(IO),1.5 V±0.15 V(CORE,PLL);
封装:144管脚塑料LQFP。
ML86500的实时编码器电路参见图3。
ML86500的内棱使用1.5 V电源供电,PLL电路亦使用1.5 V电源供电,考虑到PLL电路可能会干扰内核电路,因此PLL电路通过一个π型低通滤波器供电,消除高频于扰。
ML86500使用27 MHz有源晶振作为时钟,考虑到防止27 MHz有源晶振对系统电源产生干扰,为27 MHz有源晶振的电源供电设计了π型低通滤波器。
ML86500需要外接一块32 b数据总线宽度的SDRAM作为数据缓存。
系统软件设计【略】
Top 7:基于嵌入式操作系统的网络摄像机
与传统模拟监控系统相比,数字视频监控系统具有诸多优点:
1)把监控录像保存在大容量硬盘上,数字信号存储信息永不丢失,图像质量不下降。
2)数字视频容易被计算机处理。可以在监控图像中设定报警区域,计算机对报警区域的图像进行分析和处理,做到自动监控,无人值守。
3)数字视频经过压缩之后,占用带宽较小,而且数字信号在传输时容易进行加密,非法截取的信号无法还原为视频图像。
4)数字录像存储在计算机硬盘上,可以用计算机来检索和管理,摆脱了手工管理和检索的复杂繁琐。
基于网络摄像机的远程视频监控系统的研究,国外起步较早,成熟的网络摄像机产品有索尼营销公司推出的10BASE2T的网络摄像机 “SNC2VL10N”,以及松下KX2HCM130、三星SNC2100P、安特ANT2NWC10/50/100等。国外同类产品一般采用MPEG或者小波压缩方法,性能较好,但价格昂贵,国内用户大都无法承受。我国这方面的研究刚刚起步,大多数厂商仅代理国外产品,从事实际研究的单位不多。
目前国内市场上已经投入使用的视频采集设备多以视频采集卡的形式存在。本文设计的方案采用TI公司的TVP5040作为前端视频采集设备的主体芯片,可以作为独立的单元存在,并且具有体积小、处理能力强且功耗低的特点;加之采用了功能强大的TI嵌入式处理器芯片TMS320DSC21,使系统可以快速、稳定地实现图像数据的采集、压缩和打包上传,为数字化视频监控提供了解决方案。本文中简单介绍了TMS320DSC21,详细介绍了自行研制的远程视频监控系统视频数据采集与处理端的硬件结构,以及运用该系统实现网络实时监控的设计方案。
1 TMS320DSC21微处理器
TMS320DSC21微处理器(简称DSC21)是一个高性能的单芯片微处理器,由以下几部分组成:
1)1个DSP(TMS320C5409)子系统;
2)1个微控制器(ARM7TDMI)子系统;
3)2个DSP协处理器(iMX和VLC);
4)SDRAM控制器;
5)图像外围单元①。
DSC21的高集成度使之特别适合应用于视频、音频和图像类产品。其5个子系统在单个芯片上组成了一个完整的系统。片上MCU运行用户操作系统处理复杂的协议,实现控制功能和位操作;DSP和DSP协处理器完成大运算量计算、数字信号处理以及算术计算;图像外围组件和SDRAM控制器提供极大的数据流量。因此,DSC21可以在单芯片上实现高性能、多处理器的图像处理系统。
图1示出DSC21模块图
DSC21模块包括:
1)ARM子系统。由ARM7TDMIRISC内核、内部RAM和外设模块组成。ARM子系统完成所有的控制功能,支持实时操作系统,如 ucOS,Vx2Works,uITRON,Nucleus和Linux。ARM也控制各个外设模块,如定时器、中断控制器、CCD/CMOS控制器、 OSD、NTSC/PAL视频编码器、USB、CF卡、SM卡、IrDA、预览引擎、串口等。用户接口软件也在ARM上运行。
2)DSP子系统。由DSP核、32KBRAM和专用内存块(ImageBuffer)组成。DSP核是一个基于0118μm技术的DSP处理器TMS320C5409DSP。
DSP子系统负责所有大运算量信号处理任务,如图像处理,JPEG压缩;处理所有的实时I/O,如音频和ModemI/O,MP3,AAC播放的实现;支持可编程实时自动曝光、自动聚焦、自动白平衡(AE,AF,AWB),以及图像/视频拍摄和回放。
3)DSP协处理器。由iMX和VLC两部分组成,负责协助DSP子系统进行图像处理。iMX由4个并行的乘加单元(MAC)组成,适合矩阵运算;而 VLC针对JPEG,MPEG1的量化和Huffman编码进行优化。DSP子系统可以通过调用子程序实现对DSP协处理器的操作。
4)SDRAM控制器。是片外扩展SDRAM与片内所有功能模块的接口。它为片外SDRAM提供与DSC21处理器和图像单元连接的高带宽接口,支持最高80MHz,32bitSDRAM。SDRAM控制器支持实时CCD数据流输入和TV显示数据输出,其访问性能达到320MB·s-1。
5)图像外围组件。DSC21有4个图像单元:
CCD控制器、预览引擎、连拍模式压缩/解压缩单元和硬件图形单元。这些专用的图像单元由ARM控制,用于向DSC21系统读入数据并建立彩色显示。
CCD控制器可以为CCD/CMOS图像传感器提供必要的同步时序逻辑,并支持逐行扫描和隔行扫描CCD/CMOS图像传感器。通过对CCD控制器内部的寄存器进行配置,可以使CCD控制器处于不同的工作状态。CCD控制器能支持高达16Mpix(4K×4K)的CCD/CMOS图像传感器。
预览引擎模块将CCD控制器传来的数据转换成适合NTSC/PAL编码器的显示格式,它可达到实时30帧·s-1的NTSC/PAL预览。预览引擎内置增益控制、白平衡、垂直水平噪声过滤、CFA插值、降采样、伽马校正和色空间转换等功能。
连拍模式压缩解压缩模块采用无损(或有损)算法,将从CCD控制器传来的原始图像数据压缩并写入SDRAM,解压缩引擎在DSP的控制下可以对这些数据解压。这些数据被处理、显示,存回SDRAM。连拍模式可以支持10帧·s-1高分辨率照片的拍摄。
硬件图形单元由3部分组成:OSD(OnScreenDisplay)、NTSC/PAL编码器和DAC(数模转换器)。
OSD支持3个硬件窗口,NTSC/PAL编码器集成了复合视频信号输出通道和独立R,G,B输出通道①。
系统硬件组成【略】
TOP 6:基于ARM和以太网供电的网络摄像机设计
1 系统的结构
整个系统由AT91RM9200处理器、CMOS传感器、音频采集系统、以太网供电系统和以太网数据通信等几部分组成。首先,通过CMOS传感器镜头采集图像,同时还可以进行音频采集,经过AT91RM9200处理器处理,整个过程通过网络进行数据传输,通过网络进行供电,从而实现以太网供电的网络摄像机系统功能。
2 系统的硬件设计
2.1 AT91RM9200相关设计
AT91RM9200嵌入ARM920T ARM Thumb处理器核,工作于180 MHz时,性能高达200 MIPS,存储器管理单元SRAM为16K,ROM为128K。AT91RM 9200集成了许多标准接口,包括USB 2.0全速主机和设备端口、多数外设和在网络层广泛使用10/100 Base-T以太网媒体访问控制器(MAC)。此外,它还提供一系列符合工业标准的外设,可在音频、电信、Flash卡红外线及智能卡中使用。
独立的媒体接口(MII)或简化的独立媒体接口(RMII),对于接收与发送有集成的28字节FIFO及专用的DMA通道。自动协议控制及快速自动数据传输与MMC及SD存储器卡兼容,支持两个SD存储器、32位的高速数据流传输,系统的硬件结构如图1所示。
AT91RM9200作为系统的CPU,采用MT9D131作图像采集传感器。 MT9D131是CMOS传感器,拥有200万像素图像传感器芯片,因为其较好的性能,广泛应用于监控行业。捕获麦克风的音频信号,通过WM8731进行处理,WM8731是一款带有集成耳机驱动器的低功耗、高质量音频编码/解码器,专为便携数字音频应用而设计。该器件可以提供CD音质的音频录音和回放,为16Ω的负载提供50 mW的输出功率。此外,AT91RM9200具有丰富的外设及I/O,这对将来的系统升级也提供了很大的便利。
2.2 POE电源设计
2.2.1 POE供电的工作过程
首先,PSE设备在端口输出很小的电压,直到其检测到线缆终端的连接为一个支持IEEE802.3af标准的受电端设备。当检测到受电端设备PD之后,PSE设备可能会为PD设备进行分类,并且评估此PD设备所需的功率损耗。
POE技术允许在现有的五类线、超五类线和六类线网络上安全可靠地传输功率高达15 W的48 V电源,特别适合于通信方面的应用。它可以为13 W(在被供电设备测量)范围内的IP电话、WLAN接入点、网络摄像机和其他各类网络终端供电。POE供电原理图如图2所示。
2.2.2 以太网供电控制器LTC4269
凌力尔特公司(Linear Technology)推出IEEE802.3af以太网供电(POE)控制器LTC4269,它具有一个集成开关稳压器,极大简化了受电设备(PD)设计。LTC4269增强了传统POE功能。
用户可以配置一个代表PD功率分级的分级负载电流,一个坚固100V热捅拔MOSFET,在检测和分级时隔离以太网供电接口DC/DC转换器,同时提供1 00 mA浪涌电流,当采用任何PSE时能顺利地加电过渡。
3 系统的软件设计
软件系统组成包括系统引导程序Bootloader、嵌入式操作系统以及上层应用程序。大多数Bootloader都包含两种不同的操作模式:启动加载和下载。启动加载模式也称为自主模式,即Bootloader将操作系统从目标机上的存储设备加载到RAM中运行,整个过程并没有用户的介入。下载模式下,目标机上的Bootloader将通过串口连接或网络连接等通信手段从主机(Host)下载文件。
软件系统还包括网络摄像机关键的TCP/IP、UDP协议库。应用软件包括完成文件系统管理、网络服务、邮件发送、文件传送、侦测报警等。网络服务程序把语音、图像发送到网络的某个端口,以供其他网络设备来访问。
U—Boot移植过程:U—Boot的源代码可以到官方网站下载。在Linux里安装交叉编译器,编译代码,生成U—Boot.bin文件。启动后显示。代码如下:
DRAM Configuration:
Bank#0:20000000 16 MB
Flash:16 MB
In:serial
Out:serial
Err:serial
Hit any key to st op autoboot:0
K9Uboot》
结语
本文介绍了以AT91RM9200处理器为核心的网络摄像机的设计与实现,网络供电模块LTC4269增强了传统POE功能的DC/DC控制器。CMOS传感器MT9D131实现图像的采集,其强大的图像采集能力,保证了动态图像的清晰可靠。
音频编码解码器WM8731可以实现摄像机音频的采集。目前AT91RM9200在音频/视频、语音和多媒体等消费电子等领域有着广泛的应用。因此,该系统具有很好的应用前景。
TOP 5:基于CMOS图像传感器OV7720的网络摄像机设计
网络摄像机具有联网功能,又最大限度地保持了模拟摄像机的功能,无疑是监控领域的新星。网络摄像机一般使用成品CCD摄像头做视频捕捉前端,CCD 摄像头在硬件成本中占了很大的分量,且CCD摄像头输出的是模拟信号,系统中必须加视频A/D转换器。开发用于网络摄像机的CMOS摄像头对降低设计成本和复杂度有重要意义。
1 图像采集系统采用的芯片介绍
1.1 图像传感器OV7720
OV7720是一个高集成度的CMOS Camera Chip传感器,在单芯片上提供了VGA图像处理器的全部功能。OV7720的一个独特性能就是有很大的主光线角度,它能显著减小模块高度,而高度是让相机能够装配进当前超薄笔记本电脑的关键因素;OV7720的第二大亮点是能够工作在60f /s的VGA模式下,或工作在120 f/s的QVGA模式下实现设备的最佳性能。OV7720内部集成了对图像传感器的完善控制,包括曝光控制、伽马校正、白平衡、色彩饱和以及色调控制,所有的图像处理功能都可以通过它的串行相机控制总线(SCCB)接口实现对内部控制寄存器组的编程。OV7720采用专有传感器技术来提高图像质量,并通过减少或消除诸如固定图案噪声、拖尾和浮散等不良因素来产生明晰、纯净和完全稳定的彩色图像,其主要技术参数如表1所示。
1.2 相机控制芯片OV529
OV529是一种相机控制芯片,它可以将来自图像传感器(例如OV7720)的信号转换成压缩图像格式的数据。图1给出了OV529与传感器、主机以及E2PROM之间连接的逻辑关系。该芯片具有的技术特征是:可用于移动PDA系统、笔记本电脑中低成本、低功耗、高分辨率的单片相机控制器;不需要附加 DRAM;有8位并行相机芯片数据接口;内建采样电路、箝位电路和窗口电路;可用于 VGA,CIF,SIF,QCIF,160×128,160×120,128×128,80×64以及更多的图像分辨率;内建彩色转换电路可用于4 b/8 b灰度,16 b YUV,12 b/16 b/24b RGB图像预览;有串行相机控制总线、内置微控制器、可选的串行E2PROM存储器、通用I/O引脚和2个主机接口(RS 232,5wire)等。
2 系统总体设计
2.1 系统组成
系统总体设计分为硬件设计和软件设计两个部分。硬件设计模块主要包括微控制器模块、网络接口模块和相机控制模块三部分。微控制器模块主要由主控芯片、 DATAFLASH和SDRAM组成,其中主控芯片是整个系统的核心,负责整个系统的调度工作。DATAFASH里固化了嵌入式Linux内核及其文件系统、应用软件和系统配置文件。SDRAM作为内存供系统运行使用。网络接口模块主要是配合主控芯片传送MPEG-4码流。相机的控制模块主要是由 OV529和OV7720芯片组成,通过SCCB(Serial Camera Control Bus)将传感器的视频流传送到OV529;OV529通过控制OV7720将视频流转化成MEPG-4码流,并完成转发控制相机命令的功能。当系统启动时,微控制器通过SPI将Linux内核转入SDRAM中,系统从SDRAM中启动。
软件设计部分主要包括嵌入式Linux移植、CGI控制程序和MEPG-4解码程序三个部分。嵌入式Linux系统存放到由AT91SAM7X256 控制的DAT-AFLASH中,它负责整个系统软件的调度工作。CGI控制程序主要负责对摄像机的控制和对MPEG-4视频流的相关设置。MEPG-4解码程序主要负责对通过网络得到的MPEG-4数据流的解码工作。
硬件系统实现【略】
阅读详细文章:基于CMOS图像传感器OV7720的网络摄像机设计
TOP 4:基于TI达芬奇技术的高速网络摄像机设计方案
1 达芬奇技术的主要特点
达芬奇平台是典型的基于共享存储的嵌入式多处理(ARM,DSP,VICP,视频前端和后端等)环境,支持的关键技术是片内实现了多通道的交换中心资源(Switch Central Resources,SCR)。基于片内SCR,达芬奇平台在片内多处理器之间形成了典型的C/S架构:计算能力强大的DSP可以作为服务器提供算法的实时计算服务;带有JAVA处理能力的ARM9实现网络,硬盘音视频I/O等用户界面。美国TI公司在达芬奇平台上专门为音视频编解码(Codec)多媒体应用精心设计了系统框架,提供了丰富的系统程序接口SPI,应用程序接口API以及视频,图像,话音和音频千余种流媒体算法组件。他们与操作系统,中间件构成了一个应用系统的大部分内容,应用系统开发团队只需要将他们封装成运行包,就能得到高可用性和高可靠性的产品。
达芬奇平台的最大特点就是基于DSP与ARM的SOC芯片,和与之相关的相关软件,如图1所示。
对达芬奇平台,硬件上给与双核架构强有力的支持,在DSP端用DPS/BIOS来支持音/视频算法的运行,在ARM端用 MontaVistaLinux(MV)来支持其对外设的管理。对于ARM与DSP之间的数据交叉,则用Codec Engine和Codec Server来加以管理。达芬奇平台的先进性,对高端音/视频系统来说,无疑是开发平台的最好选择。
2 TMS320DM365介绍
TI公司的TMS320DM365是一款面向多媒体技术应用的高性能芯片。TM320DM365功能框图如图2所示。
内核方面TMS320DM365集成ARM926EJ-S.H.264协处理器(HDVICP),MPEG4/JPEG协处理器(MJCP),能以 1080p格式与10帧/s的速度提供H.264编解码功能,和以1080p格式与24帧/s的速度提供MPEG4编解码功能,以及以720p格式与30 帧/s的速度提供H.264或MPEG4编解码功能。存储方面扩展存储器接口EMIFs包括1个16位256 M地址空间的DDR2和mDDR,以及1个16/8位的AEMIF,可扩展的类型有8/16位NAND Flash,16Mb NOR Flash,SRAM,16位OneNAND等。其他外围扩展控制器还包括16位HPI(Host-Port Interface),2个MMC(Multimedia Card)/SD(Secure Digital)/SDIO接口,1个16位的WDT(Watch DogTimer),5个SPI(Serial Port Interface)接口其中每个具有两个片选,1个主/从I2C(Inter-Integrated Circuit)总线控制器,1个支持2.0USB OTG接口控制器等。
TMS320DM365集成的ARM926EJ-S处理器包括32 kBRAM、16 kB ROM(用于非AEMIF启动模式下的ARMbootloader)、16 kB指令缓存、8 kB数据缓存、CP15及MMU等。其中CP15用来对指令、数据缓存、MMU以及其他ARM子系统进行配置及控制。MMU使用统一的TLB来对页表中存储的信息进行缓存,并为类似Linux、WindowsCE、ultron以及ThreadX等操作系统提供虚拟内存。该处理器的写缓冲数据容量高达17 kB,使其可以大幅提高内核的性能。
TMS320DM365中的视频处理子系统(VPSS)由两个接口,分别用于视频捕获的视频前段(VPFE)输入接口和用于图像显示的视频后端(VPBE)输出接口。图3为视频处理子系统系统框图。
VPFE模块主要用于捕获视频信号,也可以直接从前端输入已有的视频信号。VPFE输入接口有1个CCD控制器(CCDC)、1个预处理器、柱状模块、自动曝光/白平衡/聚焦模块(H3A)和寄存器组成。CCDC可以与视频解码器、CMOS传感器或电荷耦合装置连接;预处理器是一个实时的图像处理器,它把来自CMOS或CCD的原始图像从RGB转变为YUV422的编码;柱状模块和H3A模块实现基于原始图像信息的硬件操作。
VPBE输出接口由1个OSD引擎和1个视频编码器组成。OSD引擎能够显示两组独立的视频窗口或两组独立的OSD窗口,还可以以2个视频窗口、1个 OSD窗口和一个属性窗口的形式显示。OSD用于在视频图像上叠加音量,图标等位图或图像信息。视频编码模块提供数字输出和模拟输出。数字输出支持 24bitRGB888格式、8/16bit BT.656以及具有独立的水平和垂直同步功能的CCIT.601输出;模拟输出支持4路10bit DAC,均工作于54 MHz,支持复合NTSC/PAL、S端子和分量视频。
硬件系统设计【略】
阅读详细文章:基于TI达芬奇技术的高速网络摄像机设计方案
TOP 3:基于DM365的嵌入式网络摄像机设计
引言
在许多比较恶劣的环境如野外、井下、甚至在战争中,人们更需要获取及时、有效的视频信息,这种环境对系统的能耗、抗干扰性、稳定性等方面提出了更高的要求,把嵌入式技术应用于视频的采集和传输可以解决很多复杂的环境问题。德州仪器 (TI)推出的基于达芬奇技术的新型TMS320DM365 数字媒体处理器,DM365 高度集成了众多组件,其中包括符合生产要求的H.264、MPEG-4、MPEG-2、MJPEG 与VC1 编解码器,可满足智能视频处理功能的集成影像信号处理(ISP)解决方案,以及一系列板载外设等,可使开发人员将系统成本降低25%。本文围绕DM365 数字媒体处理器,对基于DM365 的嵌入式视频采集与传输系统的设计做了具体介绍。
1 嵌入式视频采集与传输系统的整体结构
本系统利用目前先进的WiFi 无线通信技术,结合H.264 视频压缩算法构建无线视频监控系统。系统工作过程为:视频采集节点将采集到的视频、音频数据,经过前端压缩等处理之后,转换成统一的IP 数据包格式,以WiFi 无线方式发送到AP,AP 接入工业光纤以太网,实现无线与现有通信网络的无缝连接,构成感知矿山多媒体数字网络。该无线视频监控系统既可应用于矿井救灾应急通信系统,也可用于井下皮带、液压支架等煤矿安全生产管理,可极大提高矿井安全监控系统的能效,节约矿井生产成本。无线视频监控系统图如图1 所示。
图1 系统整体架构
2 系统硬件实现
2.1 系统核心架构
本视频采集与传输系统完成的主要功能是在煤矿井下能够进行实时流畅的多媒体通信。
系统设计的总指导原则是:在保持实时的多媒体通信质量的前提下,低功耗,低成本。节点硬件主要包括:视频采集前端、视频处理模块、无线发射模块和电源模块以及一些外围电路。
系统的原理框图如图2 所示。
图2 摄像机原理框图
系统硬件实现【略】
阅读详细文章:基于DM365的嵌入式网络摄像机设计
TOP 2:基于Android的MJPEG网络摄像机设计
深入研究了MJPEG视频压缩算法,阐述了算法实现过程,并设计出基于Android操作系统的3G手机网络摄像机客户端软件。本系统通过实地安装与测试达到了预期效果,突破了传统网络摄像机客户端固定地域的限制,有良好的应用前景。
1 系统硬件组成与网络架构
摄像机硬件核心采用三星公司推出的基于ARM9架构的S3C2440A芯片,该处理器主频达到400 MHz可以满足实时压缩,MJPEG视频流可以达到320×240分辨率25 fps的性能要求。外围搭配64 MB SDRAM、256 MBNAND Flash,网络功能由DM9000以太网MAC控制芯片负责,摄像头模块由USB控制器控制,系统供电由3片LM71117组成,分别输出3.3 V、1.8 V、1.25 V电压,辅助外围接口构成摄像机硬件结构。S3C2440A系统硬件框图如图1所示。
网络摄像机是互联网上的TCP/IP设备,系统网络拓扑图如图2所示。其中在家庭区域内根据安防的特点在大门走廊、客厅内、阳台区域分别布置摄像机,再由网线连接到路由器,配置路由器参数映射每个摄像机独立端口与IP地址,即完成Internet接入。远端由固定位置的PC机,移动位置的3G笔记本和随身携带的3G Android手机组成,PC机可以通过WEB浏览器访问与控制网络摄像机,Android手机通过客户端实现实时访问。
2 系统软件设计
2.1 网络摄像机软件设计
搭建摄像机需要Linux系统环境,首先移植Bootloader,对Linux 2.6.32内核进行裁剪,加载Linux UVC(USB video device class)驱动及相关驱动,将编译好的Linux系统镜像烧写到ARM板Nand Flash中,对Bootloader没置启动引导地址,即完成软件运行环境搭建。
分析网络摄像机性能需求与拓展性,须满足下列条件:
◆视频监控实时性;
◆支持多客户端同时连接;
◆图像识别算法或预留接口;
◆功能模块化满足后期开发可扩展。
因此,采用多线程架构与互斥锁机制来保证实时性、模块化的思想设计代码结构。软件程序主流程如图3所示。
其中主要实现如下功能。
①初始化Linux V4L2接口,必须按照V4L2标准结构初始化结构体,其中包括struct v412_capability cap;struct v412_format fmt;struct v412_buffer buf;struct v412_requestbuffers rb;struct v412_streamparm setfps。此外将视频设备名、视频宽度、视频高度、帧率、视频格式和抓取方法传递给函数init_videoIn(struct vdIn*vd,char*device,int width,intheight,int fps,int format,int grabmethod)实现初始化。值得注意的是众多USB camera并不支持JPEG格式视频流直接抓取,针对YUYV格式抓取却有广泛支持。后期进行图像识别算法操作时直接分析YUYV原始图像数据,将节省 JPEG压缩数据转换为原始图像数据的大量运算开销,因此采用YUYV抓取模式。
②创建核心图像处理线程。在该线程内实现:抓取功能。
◆UVC设备单帧抓取,uvcGrab(struct vdIn*vd)函数实现单帧YUYV格式的原始图像拷贝到内存,采用高效的mmap内存映射方法读取;
◆JPEG核心算法实现,JPEG压缩算法占用大量CPU时间,下一小节将详细讨论。
③创建套接字接口。为实现多用户同时连接网络摄像机,必须采用socket服务线程,每当有新用户连接同时产生一个新线程与之对应,实现多用户端同步监控。
④搭建基于Web浏览器访问方式的Web主页。嵌入式设备资源有限,轻量级的Web Server主要有:Boa、Httpd、Thttpd等。本设计选用开源的Boa、交叉编译Boa源码配置boa.conf文件,配置系统etc自启动 shell加入Boa程序,将编写HTML页面文件放入系统中对应的www目录后即可正常工作。
系统软件设计【略】
Android客户端设计【略】
TOP 1:IP高清网络摄像机解决方案
现在“高清”和“IP”已经成为安防监控领域最炙手可热的两大热点,随着IP高清产品的快速爆棚,所有厂家都在不计代价的投入,高清所带来的超高画质,超宽场景给人以极大的视觉震撼。IP高清摄像机已经成为监控领域增长,最吸引眼球的产品。在监控网络化大潮的推动和市场需求的驱动下,IP高清摄像机获得了重大突破,并进入到重大安保项目的实际应用中,视频监控已经进入IP高清时代,高清成为安防监控新时代主题。
IP高清摄像机产品的技术应用特点
IP高清摄像机从本意上讲超越了传统常用的模拟摄像机。现在市面上的高清监控摄像机已经形成以百万像素为基础,200万像素,300万像素为先导的多元化产品格局。一台IP高清网摄像机主要由视频采集、视频编码、网络传输等几部分组成。一台IP高清摄像机可以被看作一台高清摄像机和一台电脑的结合体。它通过CMOS/CCD感光器进行逐行扫描,将光信号直接能够捕获影像并通过SoC单芯片处理,直接通过IP网络进行传输,从而使用户能够通过标准的基于 IP网络基础构架在本地或者远程地点实现观看、存储和管理高清视频数据。
IP高清网络摄像机最主要的技术应用特点就在于其高像素带来的高清晰图像,而且通过网络传输可以很方便的实现多区域联网和远程控制,这对于安防监控来说具有非常重要的意义:
1)覆盖范围更大 如上文提到,IP高清摄像机的一大优势就是,覆盖面更广,相同监视区域可以替代原有的多个固定点摄像机或全方位摄像机。这对于密集型场所,如机场安检通道、车站、地铁、商场出入口、停车场、工厂、银行柜员等,原来一般需要设计多个密集的低分辨率摄像机,来保护死角,而现在,部署IP高清摄像机是个不错选择。
2)图像质量更好 正所谓“细节决定成败”,IP高清摄像机采用先进的感光器使图像细节更加清晰,尤其对于移动物体来说,逐行扫描方式可以给我们提供更好的图像质量,有效解决了隔行扫描带来的梳状模糊现象。可靠的图像质量+细节=可靠快速的调查和分析,让视频存储海量的硬盘数据中全部是有价值的图像资料,这对于车牌、人脸识别等应用具有重要意义。相反,如果图像质量差,缺少细节信息,无疑会给日后的调查分析工作带来巨大的困难。
3)多区域联网更方便 随着IP高清网络摄像机的普及,与之相配套的后端产品高清嵌入式NVR产品也变得愈加丰富,其在网络摄像机尤其是IP高清摄像机的普及中扮演着非常重要的角色,其主要功能是对网络视频流进行录像、存储,并提供实时显示和代理转发等功能,一般多采用嵌入式架构,硬解码支持多路网络标清或者高清摄像机接入。以天地伟业的嵌入式NVR为例,它可以支持16路标清或者8路高清网络摄像机的接入;嵌入式硬解码,可以实时预览,录像;内置硬盘盘位可以存储;内置代理转发模块可以对接入的视频流进行转发;
此外还带有VGA和BNC两种输出接口可以解码上墙显示;此外它还可以作为节点设备,在系统做中做节点监控和分布式存储。IP高清网络摄像机可通过 IP网络使其互联互通性带来极大的提高,实现了多个平台的互联互通,可以整合整个社会资源,联动各个指挥中心和信息中心,实现了信息互通、资源共享、技术兼容,有利于整个社会资源的共享,对于各类事件的处理可以有效、快速的响应,“即插即用”的使用模式提供了灵活的扩展功能。
IP高清摄像机产品的解决方案【略】
IP高清摄像机产品的创新及应用【略】
全部0条评论
快来发表一下你的评论吧 !