数字视频编解码技术回顾及展望

　　电影、电视随着数字化、网络化、云计算等技术的快速发展和多样化个人消费电子多媒体产品的普及，已不仅仅依赖传统的银幕和屏幕呈现。运动视觉信息可随时、随处获取，运动视觉感知信息被以多样化媒体形态呈现，人们也更多地依赖运动视觉感知来获取信息。（引用“运动视觉感知”是因为电影、电视、视频等词义不能完整涵盖）运动视觉感知技术进步是信息技术进步的体现，其前提是人们对运动视觉图像数字视频编解码技术的研发。一个运动视觉感知效果的优劣直接与数字视频编解码器的基础理论研究成果相对应。

　　目前数字电影、数字电视、交互式个人智能终端等都离不开数字视频编解码技术。数字视频编解码技术不仅在影视、通讯、网络等多专业技术领域广泛应用，也容易地在个人消费电子产品终端上实现，而且这些设备上有可能同时实现多种数字视频信号的编解码应用。

　　数字视频编解码技术领域的特点是种类繁多、多类型并存、新旧共存、研发成果日新月异。目前没有那种数字视频编解码技术可以替代其它所有的数字视频编解码技术。系统了解数字视频编解码技术是认识运动视觉感知技术现状及未来的很好途径，我们通过按数字视频编解码技术开发时间顺序及研发机构的分类来了解常见的数字视频编解码技术。

　　1. H.261标准由ITU-T（ITU Telecommunication Standardization Sector中文：国际电信联盟远程通信标准化组）的前身CCITT（International consultative committee on telecommunications and Telegraph中文： 国际电报电话咨询委员会）下属T VCEG小组（Video Coding Experts Group中文：视频编码专家组）于1988起开发、ITU-T（VCEG）于1990制定的。H.261主要在老的视频会议和视频电话产品中使用，H.261是第一个使用的数字视频压缩国际标准。H.261标准使用混合编码框架，包括了基于运动补偿帧间预测。它使用了常见的YCbCr颜色空间，4:2：0的色度抽样格式，8位的抽样精度，16x16的宏块，分块的运动补偿，按8x8分块进行的离散余弦变换，量化，对量化系数的Zig-zag 扫描，run-level符号影射以及霍夫曼编码。H.261只支持逐行扫描视频输入。虽然H.261目前已很少使用。但它是视频编解码领域的鼻祖，之后的所有的标准视频编解码器都是基于它设计的。

　　2. MPEG-1标准由ISO/IEC（International Organization for Standards / International Electro-Technical Commission中文：国际标准化组织/：国际电工委员会） 下属MPEG小组（moving pictures experts group中文：动态图像专家组）制定的第一个视频和音频有损压缩标准。MPEG-1（Part2）视频压缩算法，ISO / IEC（MPEG）于1990年定义完成MPEG-1视频编码标准。1992年底，MPEG-1（Part2）正式被制定为国际标准。其原来的主要目标是在音频CD（Compact Disc）光盘上记录图像，MPEG-1（Part2）视频压缩标准是VCD（Video Compact Disc）光盘的技术核心。有些在线视频也使用MPEG-1（Part2）这种格式。MPEG-1（Part2）编解码器的质量大致上和原有的VHS录像带相当， VCD应用约定MPEG-1（Part2）的分辨率约为352×240，数字视频信号编码使用固定的比特率（1.15Mbps）。虽然只要输入视频源的质量足够好，编码的码率足够高，MPEG-1（Part2）可获得更大的画幅尺寸、更高的运动视觉感知质量。但是考虑到要让所有商业化的VCD播放机有一个统一的技术标准及硬件处理能力的限制，规定高于1.15Mb/s的视频码率或者高于352x288的视频分辨率都不被单体的VCD播放机（包括一些DVD 播放机）使用。这样使得VCD在播放快速动作的视频时，由于数据量不足，令压缩时宏区块无法全面调整，视频画面出现模糊的方块。MPEG- 1（Part2）视频压缩算法具体实用在VCD时对运动视觉感知效果欠佳，这也许是VCD在发达国家未获成功的原因。而MPEG-1 Layer 3则是目前广泛使用的mp3音频压缩技术。如果考虑通用性的话，MPEG-1的视频/音频编解码器可以说是通用性最高的编解码器，几乎世界上所有的计算机都可以播放MPEG-1格式的文件。几乎所有的DVD机也支持VCD的播放。从技术上来讲，比起H.261标准，MPEG-1增加了对半像素运动补偿和双向运动预测帧。和H.261一样，MPEG-1只支持逐行扫描的视频输入。

　　3. H.262视频压缩标准，是ITU-T（VCEG）于1994年升级H.261后制定的视频压缩标准，它与ISO / IEC（MPEG）制定的视频压缩标准MPEG-2（ISO/IEC13818-2）内容上相同，使用在DVD、SVCD和大多数数字视频广播系统和有线分布系统（cable distribution systems）中。当使用在标准DVD上时，它支持较高的图像质量和宽屏；当使用在SVCD时，它的质量不如DVD但是比VCD高出许多。MPEG- 2（ISO/IEC13818-2）也被使用在新一代DVD标准、HD-DVD 和 Blu-ray（蓝光光盘）上。从技术上来讲，比起MPEG-1，MPEG-2（ISO/IEC13818-2）最大的改进在于增加了对隔行扫描视频的支持。MPEG-2（ISO/IEC13818-2）虽然是一个相当老的视频编码，但是它具有很大的普及度和市场接受度。ISO / IEC（MPEG）原先打算开发MPEG-1、MPEG-2、MPEG-3和MPEG-4四个版本，以适用于不同带宽和数字影像质量的要求。继MPEG- 2之后打算开发的MPEG-3编码和压缩标准最初是为HDTV开发的编码和压缩标准，但由于MPEG-2已能适用于HDTV，使得原打算为HDTV设计的 MPEG-3，还没出世就被抛弃了。

　　4. H.263视频压缩标准，制定于1995年，主要用在视频会议、视频电话和网络视频上。在对逐行扫描的视频源进行压缩的方面，H.263比它之前的视频编码标准在性能上有了较大的提升。尤其是在低码率端，它可以在保证一定质量的前提下大大的节约码率，对网络传输具有更好的支持功能。与之前的视频编码国际标准（H.261，MPEG-1和H.262／MPEG-2）比较H.263的性能有了革命性的提高。1998年增加了新的功能的第二版H.263+，或者叫H.263v2，与初始版比较H.263+显著的提高了编码效率并提供了其它的一些能力，在2000年又完成的第三版H.263++，即H.263v3 它是在H.263+的基础上增加了更多的新的功能。

　　5. MPEG-4（ISO/IEC 14496-2）于1999年初正式成为国际标准。有时候也被叫做“ASP”。 它们可以使用在网络传输、广播和媒体存储上。比起MPEG-2和第一版的H.263，它的压缩性能有所提高。MPEG4 MPEG-4（ISO/IEC 14496-2）它是一个适用于低传输速率应用的方案。和之前的视频编码标准的主要不同点在于，MPEG-4（ISO/IEC 14496-2）更加注重多媒体系统的交互性和灵活性。MPEG-4（ISO/IEC 14496-2）是第一个含有交互性的动态图像标准，它的另一个特点是其综合性。从根源上说，MPEG-4（ISO/IEC 14496-2）可以将自然物体与人造物体在运动视觉感知上相溶合。MPEG-4（ISO/IEC 14496-2）的设计目标还有更广的适应性和更灵活的可扩展性。它引入了H.263的技术和1/4像素的运动补偿技术。和MPEG-2一样，它同时支持逐行扫描和隔行扫描。

　　6. H.264视频压缩标准和MPEG-4（ISO/IEC 14496-10）是相同的标准，MPEG-4（ISO/IEC 14496-10） 有时候也被叫做 MPEG-4 AVC 简称 “AVC”或“JVT” 。H.264/MPEG-4 AVC制定于2003年，是ISO / IEC（MPEG）和ITU-T（VCEG）合作完成的性能优异的视频编码标准，并且已经得到了非常广泛的应用。该标准引入了一系列新的能够大大提高压缩性能的技术，并能够同时在高码率端和低码率端大大超越以前的诸标准。已经使用H.264技术的产品包括例如索尼公司的PSP，Nero公司的Nero Digital产品套装，苹果公司的Mac OS X v10.4，以及新一代DVD标准HD-DVD和蓝光光盘（Blu-ray）等。在通信、计算机、广播电视等不同领域MPEG-4|/H264、AVC是目前的主流视频压缩标准。而MPEG-4|/H264、AVC出台的新专利许可政策被认为过于苛刻导致产业化推广遭遇困难。促使相关企业和部门竞相研发自己独立的视频压缩标准。又由于MPEG-4|/H264、AVC是一个公开的平台，各公司、机构均可以根据MPEG-4|/H264、AVC标准开发不同的制式，从而促使了众多视频编码标准的产生，以往市面上出现了很多基于MPEG-4（ISO/IEC 14496-2）技术的视频格式，例如WMV 9、Quick Time、DivX、Xvid、3ivx等。以后缀*.avi， *.mp4， *.ogm 或者 *.mkv结尾的文件有一部分也是使用MPEG-4（ISO/IEC 14496-2）视频编解码器。

　　7. HEVC也非正式地称为H.265，H.NGVC，和MPEG-H（Part2），是一种视频压缩标准草案。HEVC标准是在H.264标准的基础上发展起来的，目前正在通过ISO / IEC（MPEG）和ITU-T（VCEG）联合开发。并且ISO / IEC（MPEG）和ITU-T（VCEG）成立了一个联合协作团队JCT-VC（Joint Collaborative Team on Video Coding中文：视频编码联合协作团队）共同开发HEVC标准。2012年6月MPEG LA宣布开始发放HEVC专利许可。2012年7月HEVC提交了国际标准草案，2013年1月HEVC最终草案有望被批准为新一代的国际标准。为便于高分辨率视频的压缩。HEVC将宏块的大小从由H.264的16x16扩展到了64x64，并采用灵活的块结构RQT（Residual Quad-tree Transform）及采样点自适应偏移（Sample Adaptive Offset）方式提升性能，虽然增加了算法难度，但减少了失真，提高压缩率，减少码流。HEVC比H.264增加一倍的数据压缩比且具有更高的视频质量，HEVC最高可以支持7680×4320分辨率。HEVC是当今及今后一段时期最高视频压缩标准，是超高清电视发展的基础。

　　两大制定视频编码标准的国际组织ITU-T（VCEG）与ISO / IEC（MPEG）在不同时期制定的相关视频压缩标准技术的国际标准。ITU-T（VCEG）的标准包括H.261、H.263、H.264，主要应用于实时视频通信领域；MPEG系列标准是由ISO / IEC（MPEG）制定的，主要应用于视频存储（DVD）、广播电视、因特网或无线网上的流媒体等。（注：MPEG-1、MPEG-、MPEG-4等系列标准是MPEG组织制定的一个大纲目，在每一纲目名称下又包含了多个相关领域的技术标准，所以当我们讨论视频压缩标准时要具体到后面括号内的内容）ITU-T（VCEG）与ISO / IEC（MPEG）个组织也共同制定了一些标准，H.262标准等同于MPEG-2（ISO/IEC 14496-2）的视频编码标准，而H.264标准则被纳入MPEG-4（ISO/IEC 14496-10）。

　　8. AVS（Audio Video coding Standard中文：音视频编码标准）是中国国家信息产业部数字音视频编解码技术标准工作组制定的音视频压缩编码标准，其不仅仅包括视频编码标准。 AVS（GB/T 20090.2）是一套包含系统、视频、音频、媒体版权管理在内的完整标准体系。它最主要是通过采用与MPEG-4 AVC/H.264不同的专利授权方式，制定了具有中国自主知识产权的数字视频编解码技术国家标准，提出了按需纵向算法组合、简洁高效的混合编码技术体系，并被接受为国际上三大视频编码标准之一。在技术上，AVS的视频编码部分采用的技术与H.264、AVC非常相似，其中十多项自主创新技术组成的低复杂度编码算法专利群，使编码效率在相当的条件下计算复杂度仅相当于同期国际标准的30%—70%，适应于多种应用的灵活码流结构表示方法以及抗误码和内容保护技术，还提出了适合网络电视应用的多项专利技术。标准制定的同时，同步完成了AVS高清晰度解码芯片设计和实现，推动了AVS标准的产业化应用。 2012年7月发布的AVS+（广播电视先进音视频编解码 第1部分：视频）行业标准将满足高清晰度电视、3D电视等广播电影电视新业务发展的需要。

　　9. WMV（Windows Media Video）是微软公司的视频编解码器家族，包括WMV 7、WMV 8、WMV 9、WPV 10。这一族的编解码器可以应用在从拨号上网的窄带视频到高清晰度电视（HDTV）的宽带视频。使用Windows Media Video用户还可以将视频文件刻录到CD、DVD或者其它一些设备上。它也适用于用作媒体服务器。WMV 可以被看作是MPEG-4的一个增强版本。WMV-9版本由SMPTE（Society of Motion Picture and Television Engineers中文：电影电视工程师协会）于2006年正式通过的VC-1标准。 从第七版（WMV1）开始，微软公司开始使用它自己非标准MPEG-4Part2。但是，由于WMV第九版已经是SMPTE的一个独立标准（421M，也称为VC-1），所以WMV的发展已经不象MPEG-4那样，它已是一个它自己专有的编解码技术。（刚推出的时候称为VC-9，之后被SMPTE改称为 VC-1）。技术上VC-1与H.264有诸多相似之处。VC-1压缩技术整合了MPEG及H.264之优点，采用Biliner和Bicubic方式，次像素（Sub-Pixel）最小可达4分之1像素。VC-1只有4种动作补偿（motion composition），压缩比无法胜过H.264。压缩算法复杂度只有H.264的约50%，但对特效电影有很杰出的效能表现。值得特别一提的是：SMPTE组织是从电影领域向数字电影及数字电视运动视觉感知技术探索的前卫组织，由它制订的运动视觉感知技术的国际标准多数都是基于电影高画质。当代影视领域内最新的超高清电视技术发展随处可见其身影。由SMPTE于2007年首先提出的UHDTV-2036标准，被进化为UHDTV 2036-1和UHDTV 2036-2即分别对应我们目前俗称的4K和8K的数字电视。UHDTV于2012年8月23日已被正式受理接纳为超高清电视的国际标准，ITU-T定义格式为ITU-R BT.2020。

　　10. Real Video是由Real Networks公司开发的视频编解码器。于1997年起开发，至目前已到Real Player 15版。它从开发伊始就定位为应用为网络上视频播放上的格式。支持多种播放的平台，包含Windows、Mac、Linux、Solaris以及某些移动电话。相较于其他的视频编解码器，Real Video通常可以将视频数据压缩得更小。因此它可以在用56Kbps MODEM拨号上网的条件实现不间断的视频播放。一般的文件扩展名为.AM、RM、RAM。现在广泛流行的是RMVB格式，即动态编码率的Real Video。Real Video除了可以以普通的视频文件形式播放之外，还可以与Real Server服务器相配合，在数据传输过程中边下载边播放视频影像，而不必像大多数视频文件那样，必须先下载然后才能播放，目前常见于网络的在线播放。

　　11. Sorenson Video是Sorenson Media Inc.（Sorenson 媒体公司）1998年结合苹果公司Quick Time开发的一款编解码方案。很多因特网上的Quick Time格式视频都使用这种编解码器压缩技术，它也针对Adobe Flash的应用，较早版本的Adobe Flash Player都使用Sorenson Video编解码技术支持。后续有Sorenson Video 2、Sorenson Video 3、Sorenson Spark 等系列推出，但到Sorenson Spark版本就脱离苹果公司的Quick Time应用了。Sorenson Spark成为Macromedia公司Flash MX内置的运动视频编解码器。Sorenson Spark的高效间帧压缩是它不同于其它压缩技术之处。与其它编解码器相比，它需要很低的数据率就可以产生高质量的视频。用于播放被广泛使用的Flash 格式视频。Sorenson Spark被认为是一个不完整的H.263应用。目前H.264/MPEG-4 AVC已经被结合到新一代的Quick Time中。而视频播放器Adobe Flash Player也转向使用On2 Technologies公司所推出True Motion VP6视频编解码器。在True Motion VP6视频编解码器推出后也进一步推出VP7、VP8系列。Google 在2010年收购了 On2 Technologies公司，VP8或许会成为Google 专有的视频压缩解决方案。

　　12. Indeo Video是Intel公司针对PC视频应用而开发的高性能、纯软件视频压缩编解码方案。具有压缩比例高、音频、视频质量损失小的特点，可用于 Internet/Intranet和多媒体应用方案等。Indeo Video被广泛应用于构建多媒体网站、动态效果演说、游戏过场动画、非线型素材保存等领域，同时Indeo Video 5.1是Windows ME/2000这两款PC机操作系统自带的软件压缩编码。因此Indeo Video 5.1成为当时最流行的AVI编码。

　　13. SDTV（Standard Definition TV，标准清晰度电视）、EDTV（Enhanced Definition TV，增强清晰度电视）、HDTV（High Definition TV，高清晰度电视）三者是由ATSC（Advanced Television Systems Committee美国先进电视系统委员会）制定的国际数字电视信号的编码标准，其中包含了多种数字电视采用的画面格式，为目前广播数字电视业界最常见的编码标准。SDTV 480i标准清晰度电视，和模拟电视系统的最高画面质量相当，EDTV 480p增强清晰度电视，和DVD电影画面质量相当，HDTV包含了两种画面分辨率，1920×1080和1280×720。ATSC制定的标准是基于 MPEG-2编码格式，而且支援多种不同的显示清晰度、长宽比及帧率，下表所列为常见的参数组合。

　　

　　（注：UHDTV 4K及UHDTV 8K是制定中的标准。UHDTV 4K来自于电影界4K概念，好莱坞电影公司在将胶片转化成数字图像的过程中使用，4K的名称得自其横向解析度约为 4000 像素（pixel），目前电影行业采4K标准为4096×2160像素分辨率，业常见的还包括 Full Aperture 4K（4096 x 3112）、Academy 4K（3656 × 2664）等多种标准。另外对于4K数字电影是还有2K数字电影格式，分辨率为2048×1080， 1.3K数字电影格式分辨率为1280×1024，及0.8K数字电影格式1024×768像素分辨率等。）

　　小结

　　经过各种编解码方案处理过的数字视频信号的质量，最终要通过人的视觉感知来衡量其优劣，分辨率的大小是影响人感知的重要参数，图像分辨率的大小与图像清晰度直接相关。通过介绍常见的视频编解码名称及不同的视频编解码名称与运动视觉感知的关联性，我们可直观可见地体验到现在及未来的视频编解码技术。当然更深入地了解视频编解码技术我们会知晓动态图像的亮度、对比度、颜色、色域、色饱和度、画面长宽比及运动画面帧率和动态延时响应等都会影响我们的运动视觉感知。