从HEVC到通用视频编码的下一代视频压缩技术

本文来自于ATEME研究总监兼总监米克尔·劳莱特的主题演讲。他主要分享了MPEG-2、H.264、H.265、H.265、VVC，以及EVC、LCEVC等较新的编解码器。我们需要了解HEVC方面的编解码器授权，以及VVC标准化的过程。在探索的过程中，我们从Intra-coding和Inter-prediction方法等方面对图片分割进行了详细的介绍。在同样的背景下，我们通过VTM的复杂性、VVC的通用性以及它们在未来的编解码器之战中如何与VVC平衡。

所以，我将介绍从HEVC到VVC，以及今天到来的一些编解码器。  

  首先我先说一下ATEME。ATEME从事一家做广播的编码公司现在已经有20多年了，包括VideoLAN的一些人也在公司里面工作。所有的编解码器，我们一开始主要是从MPEG开始、VVC标准化，然后VVC竞争者，所有的编解码器都在一起攻克。其他的都是同时进行的，更重要的是我今天要讲的这个也是编解码器的未来进展。  

  我们同时是MPEG和ITU的成员，用我们所有的专业知识为它做贡献。但是我们的时间不多，我们主要是在实现编解码器。我们是AOM开放媒体联盟和MC-IF.org的成员，目的是减少我们为HEVC获得的模式问题。今天有一个大的社区论坛在讨论这个问题，同时我们也在VVC的标准化中活跃着。   与此同时，我们还有一个法国项目正在进行中，我们正在与VideoLabs即VideoLAN公司合作。我们会有VVC的全面交付，我们计划在今年的IBC上做一个演示。  

  在Ateme，我们主要实现的是绿色树时间线里的编码技术，从MPEG-2、H.264、H.265未来可能还有VVC。同时，有一个开源社区也是同步启动的，今天最知名的编解码器是VP9，而正在向开源编解码器靠拢的是来自AOM联盟，就是AV1。今天，他们正在讨论的是AV1的第二个版本，也就是AV2。   与VVC相同级别的还有另外两种编解码器EVC和LCEVC。LCEVC来自于日内瓦，而EVC则是由华为、高通、三星等一些公司的MPEG改编的。  

  MPEG格式化的思路是，与前者相比，要达到2倍的减少。每当我们得到一个特定编解码器的成功尝试，每隔10年就会有一次。2016年谷歌的演讲是说我们可以每隔18个月就能推出新的编解码器，而AV1和AV2并不是这样。它们的进展很慢但就MPEG而言，我们在2013年就有了一个，现在我们在2020年得到下一个版本。   目前，我们从HEVC比VVC提高了37%。他们声称主观上比HEVC有50%的改进。我们在复杂度方面比HEVC有6-10倍的复杂度，所以这也是我们在ATEME中要做的工作，因为我们要做的是实时性编码。  

  关于HEVC有一点，在HEVC标准化之后我们得到了很多专利池，这些专利池是在HEVC过程中出现的。之前只有一个单一的专利池主要是一些前标准公司拥有这个技术。后来到了MPEG LA出现了更多的HEVC专利池，这就给HEVC今天的部署增加了一些麻烦。  

  然后，我们再来看看HEVC的反应也是对AV1的反应。在MPEG组织他们希望编解码器的定义是自己的，他们希望从MPEG那里得到而不是从其他协会或联盟那里得到。我们从MPEG那里得到的反应是创建了MPEG-5的第1部分叫EssentialVideo Coding（EVC）;有两种版本文件一个是免版税的源自AVC的改进型，另一种是不免版税的但随着HEVC的改进它针对版税也更加友好。。   同时，我们有针对VVC的媒体编码行业论坛（MC-IF），目的是为了管理VVC内部的专利。大家可以看到VVC里面的专利会比HEVC多。同样这将是一个噩梦，但是VVC也有一个特殊性，你可以把里面有专利的工具去掉，可能会把你的技术中不想用的工具去掉。  

  只是给大家介绍一些关于VVC的情况，他们在2015年就开始了一个探索阶段。2017年的时候有一个联合征集方案，他们做了一个实验软件基于HEVC的基础上，他们做了一个实验软件比HEVC提高了34%性能提升。   后来他们认为可以在3年的时间内停止规范化进程。他们声称可以比HEVC有50%的进步。他们从一开始就想把目标锁定在HDR 和360°VR；标准化也将在2020年7月完成项目发布。  

  我们从这个幻灯片上看到了完整的过程。国际标准会在2020年7月发布，我们预计2021年或2022年有第一批硬件支持编解码。  

  VVC内部没有革命，这是一个非常高级的图表，我们对每个编解码器都使用了它。它使用帧内预测、帧间预测以及介于这两者之间的反馈。我们今天所拥有的是，我们在它们的每一个中都得到了越来越复杂的错误。基本上和以前的编解码器一样没有什么变革。  

  这里我们来看看HEVC和VVC的对比，左边是VVC，右边是HEVC。我们得到了更多的模式，更大的编码单元可达128x128。其中有不规则的形状，我们可以在下一张幻灯片上看到。另外，我们还有更多的DCT。  

  这是一张将AVC与HEVC和VVC进行比较的图片。我们可以看到你在VVC中有更大的块，还有一些我们在HEVC和AVC上不能有的矩形形式来带来改进。  

  从AVC开始我们只有9种模式。在HEVC中我们得到了35种模式的预测块，而在VVC中我们得到了67种模式！  

  今天在HEVC中，我们在以前的编解码器中没有的更多的东西是，我们有了一些六边形、三角形的形式，不再是矩形或四边形。这就是这个编解码器中真正新的部分。  

  以上是VVC对比HEVC的性能结果。你可以看到编码部分的复杂度高达8倍，我们记录的复杂度，在MPEG的目标是解码器不爆炸。另外，大家还可以看到VVC比HEVC的图表对比。  

  有趣的事情是我们在标准化过程开始时的复杂度。编码器的复杂度达到了2，现在我们的复杂度达到了9，但是我们的复杂度也从10%提高到了37%。我们看到解码器越来越停滞不前，我们正在为解码器本身找到更接近HEVC的东西。  

  VVC和HEVC之间的一个很大的区别是我们对HEVC做了几个修改，其实是对HEVC进行了扩展。因此，您有一些扩展配置文件，Scalable HEVC(SHVC)和Screen Content Coding Extension(SCC)。   VVC的第一个版本从一开始就会有这一点，基本上，你不会一个接一个地得到。到2020年7月你应该在一个编解码器中提供所有这些功能，这将加快编解码器的可用性。  

  现在我们还有另外3个编解码器要出来，其中一个已经完成了。  

  可以理解为那就是AV1。你可以看到一些大公司参与到这个标准化活动中来。我们的想法是要有一些互操作性和开放性的东西，是专门针对网络边界的OTT传输进行优化。   至少比VP9有20%的压缩收益，这是他们可以比拟的。存储没有增加，它使用了一些基于经典结构的工具，也使用了一些新的工具。更有趣的是，他们在解码器中使用了胶片颗粒合成，而HEVC则没有，它又回来了，为VVC。而且是的，他们可以扩展性和SCC。  

  HEVC和AV1比较，你有更大的编码块，这是他们比HEVC得到改进的地方。他们得到了更多的预测，他们有其他的方式来做时态预测。  

  我们比较了HEVC和AV1，因为它们没有使用我们在MPEG中使用的通用测试条件，所以很容易在MPEG编解码器之间进行比较，但是在Alliance和MPEG编解码器之间进行比较就变得越来越困难。   我们尝试将一些工具限制在AV1中，一般来说AV1的码率比HEVC更低。同时你可以看到曲线是交叉的，所以最终很难得到改善。我们看到HEVC有10%的改进，但谷歌最近声称几乎与VVC处于同一水平。   我们目前的实现比HEVC慢2到3倍，所以它并不比HM慢50倍。它现在更快了，但仍然不比HEVC快。  

  我要进入下一个MPEG-5第1部分，然后我将完成MPEG-5第2部分。   对于VVC，他们稍后开始活动，但MPEG的总体目标是与AV1和免版权费编解码器抗衡。这个想法是为了获得免版税的产品，并且对于Baseline配置文件来说确实非常快。我们可以为主要配置文件管理一些具有良好特许权使用费的产品，并且得到了三星，华为和高通公司的支持。   可以预期的时间表是，我们将在与VVC相同的日期之前获得国际标准的最终草案，基本上，一切都将在同一时间准备就绪。  

  绿框是基准配置文件，可能它们重用了MPEG-2组件以能够执行基准配置文件。一些工具也是免版税的，它们主要是对熵编码进行的。他们使用了HEVC的QT结构使之免版税。蓝色框是主要配置文件之一，大多数工具都与VVC兼容。这是在某一个特定的时间点上对VVC的提炼。  

  对于baseline profile，我们比H.264提升了40％。这点确实接近HEVC可以实现的目标。对于main profile我们的目标是比HEVC提高30％。您可以看到EVC baseline的编码器复杂度甚至比AVC还要快，而EVC则要慢4倍。  

  最新的是V-Nova的Perseus专有编解码器。他们来到MPEG提出他们的解决方案，baseline是典型的MPEG标准。他们可以使用AVC、HEVC或MPEG-2。然后，他们在技术之上添加了自己的技术，以提高视频质量。它将同时尝试完成，它将获得V-Nova的更多许可，因为它们是它的唯一贡献者。   最新的是V-Nova公司的Perseus专有编解码器。他们来到MPEG提出了他们的解决方案，其baseline是典型的MPEG标准。他们可以使用AVC、HEVC或者MPEG-2。然后他们会在基础上加入他们的技术来提高视频质量。它将在同一时间初步完成，它将有更多的授权给V-Nova因为他们是唯一的贡献者。  

  在底层，将运用到传统的编解码器。你可以添加一些其他层来改善这一点。LCEVC是上层，但基础层是标准编解码器。我们在此处看到的那样它们正在降低图像的分辨率，因此基础层确实很小，并且它们在基于子层编解码器的基础上增加了分辨率以及质量。  

  这就是组件所要求的，因此我们具有这些不重叠的漂亮曲线。与H.264相比，我们的技术之间有了很大的进步。我们使用他们的参考软件进行了相同的分析，我们也在ATEME产品上做出了贡献，说LCEVC与传统编解码器之间存在误解。   目前，我们团队正在努力改善常见的测试条件，以确保我们可以复制并实现每一处。我们在这方面做出了贡献，只是为了澄清他们的目标，以便能够复制他们声称拥有的决议。  

  在这里，我们几乎同时使用了3个编解码器。明年将发布。我们也许应该从所有这些硬件中获取一些硬件，至少我们知道三星将推动EVC。我们一定会努力推动VVC。   在2020年大家应该拥有第一个硬件，也是我们在2020年1月发布的第一个AV2代码库。我们期望在2026年（也许更早）发布一些AV2。  

  只是一个简短的摘要，我不会花太多时间在此上。我们将在幻灯片的末尾显示所有编解码器之间的差异。  

  作为演示文稿的摘要，我们有3个主要的编解码器同时相互对抗-VVC，EVC和AV1。我也没有提到对于AV1，我与Jean-Baptiste（VideoLAN）达成共识，我们在VideoLAN中获得了第一个软件实现，但与此同时，它们是今年将要推出的第一个硬件。   这样我们就能在IBC上演示哪种HD，HDR。大多数电视厂商将在2020年1月的CES上宣布他们将在其电视上支持AV1。我们还应该拥有到2020年支持AV1的电视。在2020年，我们将拥有两个编解码器，它们的硬件在2020年也可能会上市。   迄今为止，最好的仍然是VVC。EVC至少在专利问题上具有良好的权衡。我们为EVC基准提供了低端编解码器。这可能是AVC的成功，但AVC会在某个时候免费提供，是的，我们即将免费提供AV3。   有什么用吗？这就是问题所在。相反，我们的LCEVC似乎有不错的结果，但目前无法复制。我们希望对此特定编解码器进行澄清。在我们这方面，由于对VVC的需求更高，因此我们现在很可能会与VVC合作。   但是，如果需要，我们已经准备好过渡到EVC，并且我们已经有了AV1编解码器。