DSP在数字视频处理中的应用

关键词： dsp , 视频处理

早些年间，由于带宽和处理能力的限制，人们在谈到数字信号处理时，更多的是简单的语音信号处理。接下来，随着技术的发展，人们可利用的带宽越来越大，处理能力越来越强，简单的语音已不满足人们的需求，人们开始关注动态范围更广的音频处理直至现在的视频处理， 人们要求越来越多的视频应用。比如，希望更远方亲人通电话世人看到他们的笑容，希望随时随地的看电影，希望拍摄家庭聚会的场景同亲友分享在未来回忆，希望用视频监控保护着家人，等等。归纳一下，在这个市场上我们会看到以下的应用：

视频局端设备
无线视频网关
机顶盒
数字视频播放器/点播机
IP视频电话
网络相机\监控系统
数字摄录机
便携式视频流装置（等等）

这些应用的共同点是它们都要求视频和图像的处理，这些处理可能是图像质量的优化，如锐化、白平衡等；也可能是视频和图像的压缩/解压缩，如MPEG-4；也可能是不同压缩制式之间的转换，如H.263与MPEG - 4等等。这些处理都要求主处理芯片有较强的图像视频处理功能，但由于所有这些运算由于针对的最终市场并不不同，它们对处理器的要求也不尽相同。所以在对某种应用进行开发之前，必须要理解该应用对处理芯片的要求，从而进行成功的选型。本文首先对这些应用进行分类，然后以德州仪器的系列处理芯片为例给出相应的选型建议。

视频应用及其分类

首先我们概括地看一下上文提到的几个典型的视频应用

视频局端设备

最常见的局端设备是位于有线电视局端的视频再复用器，它通常提供以下的功能：

接入复用数字通道
插入本地内容（如广告等）
输出客户定制内容

这几项功能需要处理芯片完成以下的工作：

视频码制转换
视频码率转换
音频码制转换
音频码率转换
前期/后期处理
数字程序插入

这些工作一方面由于在局端，通道密度较高，所以要求芯片处理能力较强。另一方面又由于编码技术在不断地发展，不断会有新的标准出现，因而要求处理芯片具有较强的可编程性和可扩展性，产品具有较好的延续性。

芯片外围接口的主要需求是高吞吐率。

无线视频网关

无线视频网关是位于MSC内的一个局端交换系统，用于将任何制式的视频内容转成手机支持的格式从而将这些内容在无线网络上发布。它的功能使得对处理芯片的要求与视频局端设备比较相像，但也有它自己的要求。由于无线网络对环境的依赖比较大，不同连接的信道质量会有所不同，这就要求网关针对信道质量将视频内容转换到该信道所支持的码率上。

相应地对芯片要求同局端设备但性能要求更高。由于作为网关要与其它网络例如分组交换网接口，要求芯片的外围接口支持网络总线例如ATM或以太网

机顶盒

这里的机顶盒是指在用户端同步解码，处理和播放几条视频，音频和数据流的媒体集中播放器，有些机顶盒还支持对DVB或DVD其它MPEG数据流的编码功能。

这里，芯片处理任务比较简单，一般就是接受数据流然后解码或编
码，但由于是进行流处理，并且多半是MPEG 2质量的视频流，所以需要处理能力较强。

IP视频电话/视频会议

IP视频电话是将实时的多通道视频集成到现有的IP语音电话中，视频会议则在多点间实现视频电话会议。

目前这两种应用多采用H.263或MPEG-4，芯片要完成这两种制式的编解码，同时完成图像采集处理的任务，单芯片处理能力要求较强。

由于要进行视频采集，接口要求支持视频输入，要实现TCP/IP协议，则要求有以太网口的输出支持。

数字视频监控系统

数字视频监控系统相较传统视频监控系统来说是一个显著的飞跃，它增加了更多的智能型，例如可以进行移动报警，通过图像处理方法，在监控区域发现移动物体就报警；数字化的视频档案更加便于管理，例如可以通过自动图像分析方法来找到目的片断，通过网络，数字化信息更便于传输。

这里最主要的要求是可编程性，这些智能特点没有可编程性不可能实现。当然，处理能力也是实现这些特点的保证。另外，视频输入和网口也是不可或缺的。

数字摄录机/数码相机

这两领域是消费类数字图像的典型应用，一般来讲，前者强调移动图像的摄录，后者追求静止图像的高质量。如果处理芯片的可编程性足够强，这两者完全可以兼顾。这可以带来两个好处，第一，可以开发出平衡这两方面需求的产品，既可以录像又可以拍出高质量的照片；第二，考虑到成本的影响，仍然开发不同的产品，但可以共用一套图像处理方案，这样便减少了开发的重复投资。

除了可编程性，这两应用对芯片的要求就是低功耗，因为它们都是便携式的。其它的要求就是对移动存储的支持。

个人数字视频播放器_随身看/点播机

这类设备都是完成视频解码，前者更强调便携性而后者则强调节目源的丰富。

在这里处理性能并不是第一位要考虑的，整个系统的能耗显得更加关键。另一方面，要求芯片的接口比较丰富以支持LCD显示屏，CFC或其它存储卡，或者硬盘接口。

这些视频应用总体上可以分为两大类：一类是高性能，要求多通道处理或多编码制式，或追求高图像质量，同时由于技术的不断发展，它又需要较强的可编程性支持未来的技术发展；另一类是可便携应用，强调的是小型化，低功耗，支持多种移动存储接口以及USB, 1394或其它高速总线。

针对应用选择合适的芯片

上文已提到，这些应用大致上可以分为两类，高性能和可便携。TI针对这些市场都有相应的产品。

首先我们看一下高性能的应用。

高性能视频应用

在这类市场里，通常数据运算量极大，比如仅考虑这类图像运算中最基本的运算离散余弦转换（DCT），对于单通道30帧的VGA视频，它就需要每秒大约6千万次的乘加运算。这还仅是其中非常一小部分。

要完成这么艰巨的任务，我们就不得不看一看TI的单核性
能最强的DSP核C64x，一个主频可以达到720MHz，峰值运算能力达到5760MIPS的32位DSP。除了这些无与伦比的主频和通用乘加性能，C64的核更增强了对8位和16位操作的支持，而图像领域绝大多数运算是在8位的基础上。例如，C64x增加了很多专用指令，如SUBABS4，同一机器周期里可同时完成四次减法和求绝对值， 还有诸如BITC4，AVGx，MPYHLx，DOTP2等等。这些增强使得运动补偿平均提升达七倍，而四重8位运算则使得每时钟周期运动估计的8x8最小绝对差(MAD)的计算能力提高到7.6倍。这些都使以C64x为核心的DSP成为高性能视频应用的选择。

我们来具体看一下，例如上文提到的视频局端设备，由于它是一局端设备，挑战在于多路多码率以及多制式，因而要求片上内存要大已放下足够的多路数据和各种译码器，同时也需要与控制主机相连。由此TMS320C6415就是一个不二的选择。它主频可以跑到720MHz，有8兆位的片上内存，有PCI接口。图一就是一个C6415为核心的局端设备框图。

图一 视频局端设备

相类似的应用还有无线媒体网关。

对于客户端设备，用TMS320C6415就不是那么合适了。例如IP视频网络电话，它通常是单路的，因而不需要太大的片上内存，但它的接口却要求很多。例如他们一般都是直接视频输入输出，或从有线电视或从摄像头到LCD，又要求接以太网。这里，我们就需要一个内存够用（因而便宜），支持通用视频标准如BT656，还带有以太网口的处理芯片TMS320DM642。

TMS320DM642是针对这类客户端市场的数字信号处理芯片，TI 出了一系列类似的处理芯片，成为数字媒体（Digital Media）处理器。DM642带有三个视频口，均可输入或输出，支持BT656，百兆以太网口，多路音频串口，66MHz PCI等等，可支持四路D1图像30帧的MPEG-2的实时压缩。以它为中心的IP视频电话结构非常简洁，如图二

  图二 IP视频电话方案

相类似的高性能视频应用还有机顶盒、数字视频播放器/点播机和网络相机/监控系统，它们都可以以DM642为中心将上各自特需的硬件，形成不同的应用。这也最大程度上发挥了开发投资的价值，一套方案上的经验可以为其它所有方案利用。

可便携设备的视频应用

这类设备中最典型的应用就是数字摄录机/数码相机，除了共有的视频图像处理外，它们最大的考虑就是功耗。这些都是电池驱动的，因而能量消耗必须有所限制。这种情况下C64x核的处理芯片就很不合适，如一颗C6415跑在600MHz时功耗超过1瓦。

幸好TI在功耗上很有研
究，她的C5000是专门针对低功耗计算市场的，特别是C55x，创造了业界耗电最低纪录，0.22mW每MIPS！C55x功耗低，性能也不差，它具有双MAC双ALU结构，200MHz的主频可以达到400MIPS的处理能力！低功耗高性能使得C55x系列DSP成为便携式消费类电子的最佳选择。

对于我们今天谈到的视频图像应用更重要的是TI 有系列专门针对便携媒体市场的处理芯片TMS320DSC21/DSC25/DM270/DM310，这系列芯片的共同特点都是双核结构RISC的MCU核加上C5000的DSP核。运算主要有DSP完成，同时针对图像处理使用了硬件加速。所有这些芯片都有图像扩展协处理器iMX 和变长编解码协处理器VLCD，除了DSC21外都有量化反量化协处理器QIQ。其中iMX是多个并行乘加器来加速那些运算量极大的图像处理算法，例如DCT运算。VLCD是用来进行Huffman编解码的，它DSP从不停的跳转中解脱出来。QIQ则是进行量化和反量化，由于量化是执行除法运算，DSP没有专门的除法指令，只能用移位指令实现，相当耗资源。

有了这些协处理器，DM系列芯片的处理能力也向当地强，例如DM310可以实现D1图像（720x480）30帧每秒的实时MPEG-4编解码。

图三 数码相机

图三即为一个DM310为基础的系统。

芯片之外

看到这里，大家可以看到，这些应用都有一些共同点，也会自然而然地想到，不同的客户用同一套芯片开发同一种应用会不会造出同样的东西？这点勿须担心，DSP充分的可编程性是差异化的保证。同时为了更好地集中于差异化，那些标准件，如各种码制的编解码器，也可以同第三方获得。TI围绕DSP完备而成熟的开发环境也是缩短开发周期迅速占领市场的保证。