剖析AV1硬件的采用及未来发展

在开放媒体联盟（Alliance for Open Media,AOMedia,AOM）中，硬件和软件开发人员共同创建了AV1标准规范。本次分享我们邀请来自谷歌的高级产品经理Roshan Baliga，他将从什么是AV1、AV1硬件的采用、AV1的开发以及商业测试、软件解码，以及其对AV1生态系统的重要性等方面来介绍AV1的硬件。

大家好，欢迎来到由开放媒体联盟和LiveVideoStack共同主办的2021年开放媒体联盟峰会。我是谷歌的高级产品经理Roshan Baliga，从事开放视频编解码器的工作，致力于AV1硬件开发。AV1标准规范是开放媒体联盟在2015年至2018年的三年时间开发的。开放媒体联盟原本由7家公司组成，此后，会员数量迅速增长，许多公司都为AV1的研发做出了贡献。如今开放媒体联盟在全球拥有超过47家公司会员。  

#1. 具有AV1硬件的设备

这次峰会的其他演讲会集中讨论AV1的软件开发工作，而我想讨论的是AV1的硬件。已经发布三年。我们在AV1硬件被推向市场这方面取得了巨大的成功，而这一成功得益于我们在AV1开发之初以来一直所做的工作。  

#2. AV1的开发

在开放媒体联盟中，硬件和软件开发人员共同创建了AV1标准规范。原始设备制造商和流媒体公司合作共同提供输入。这让我们得以完成两件事：第一，我们可以确保编解码器中的工具到硬件上实现不会太难；第二，这意味着我们可以在规范开发期间创建一致性码流，硬件设计人员可以用这些一致性码流来验证AV1解码器的应用。  

#3. Film Grain HW示例

Film Grain是根据一个硬件设计工程师的反馈而修改的工具。视频输出管道通常包括缩放、颜色校正和去噪，因此要求在解码器输出时必须重建胶片颗粒不总是合理的。尽管Film Grain是AV1的标准工具，但该规范允许在显示路径中重新添加胶片膜颗粒噪声。  

#4. 商业测试流

在AV1的开发过程中，开放媒体联盟会员Argon Design致力于创建一致性码流，这些码流目前已上市。另外两个开放媒体联盟会员AllegroDVT和Vicue Soft也提供商业一致性码流，这些码流的上市帮助了芯片设计人员能够在AV1发布后迅速发布兼容AV1解码器。  

#5. 时间预期表

上图是我们预期推出AV1编解码器的时间表。如果观察硬件与设备部分会发现业绩实际上刚好超出预期。2019年12月OPPO发布采用联发科的天玑1000 SoC芯片的Reno3 5G手机，这是首款在硬件上支持AV1解码的智能手机。  

#6. 编解码器时间表

我们对硬件支持的渴望也影响了时间线。上图是开放编解码器与MPEG /ITU的时间线对比。开放媒体联盟将AV1的发布日期定在2018年，以确保我们在VVC发布之前拥有广泛的硬件支持，我们知道可以再研究两年获得更大的压缩，但2018年是启动的发布AV1的最佳时机。为什么我们需要硬件解码器呢？硬件解码器又能应用到哪里呢？  

#7. 软件解码 4K

Dav1d是一个由开放媒体联盟赞助VideoLAN和FFmpeg社区开发的开源AV1解码器。它是使用最广泛的AV1软件解码器，谷歌用Dav1d实现谷歌浏览器的AV1支持。在高端台式电脑上，例如英特尔和AMD，Dav1d可以以超过40帧/秒的速度解码4K分辨率的AV1视频。但Dav1d在低端台式电脑上就没有这么快了，有时Dav1d还达不到30帧/秒。笔记本电脑通常比台式电脑慢，所以可能只能解码1080p。而且，即使电脑可以在软件中解码4K，它也可能不满足接收高分辨率码流所必需的数字版权管理要求，付费内容通常只有在使用硬件解码器时才可以访问。  

#8. 电池续航

另外一个值得关注的是电池续航时间问题，随着用户在智能手机和笔记本电脑等移动设备上观看越来越多的视频，电池续航能力是重要的考虑因素。软件解码器在每个视频流上使用的电量比同等硬件解码器更多，即使SoC芯片能够用软件解码720P或1080P，硬件解码器对移动设备（的电池续航时间）也是至关重要的。  

#9. 谷歌Duo添加AV1支持

编码方面的差异甚至更大，一年前谷歌Duo添加了AV1，支持分辨率为320×240的视频通话。分辨率低的原因是在硬件AV1编码器应用到手机上之前，手机只能实现低分辨率的实时软件编码。这并不是说谷歌Duo使用AV1是不成功的，相反，这些低至15kbps的低分辨率通话给发展中国家只能打音频通话的用户带来了视频通话。我们需要更好的硬件编码让世界各地都能够享受更好的高分辨率视频通话。  

#10. Libaom编码速度

软件编码面临的另一个挑战是YouTube和抖音等网站承载的视频内容的巨大体量。对于这些类型的网站，用户不断的上传新的视频，这些视频必须立即被转码和流输出，这些视频的体量比网飞和爱奇艺等付费视频网站上的视频大很多。过去的两年中，我们提升了开放媒体联盟的参考AV1编码器的性能，Libaom现在在速度方面非常出色。它的编码速度大约比定稿发布时快了150倍，大致相当于VP9的编码速度。即使如此，对于需要高效率的大型视频网站来说，这种方法的性价比还不够高，软件编码对于视频网站的"头"来说是极好的，但是"长尾"还需要更多的CPU。  

#11. ASIC硬件编码

在未来几周，谷歌和YouTube将在ASPLOS2021年会议上发表一篇描述他们对硬件编码器的使用的论文。它将描述硬件编码器对大型视频网站采用新编解码器的重要性。AV1硬件编码器IP已经上市一年多，今年我们将看到AV1商业硬件编码器的上市。上个月开放媒体联盟会员公司NETINT发布了他们为直播或流媒体设计的AV1硬件编码器芯片。  

#12. 支持AV1解码器的品牌

如果视频不能流畅的回放，用AV1编码就没有什么意义，所以消费类设备上的硬件解码器非常重要。在过去的两年里，市场上出现了许多配置了AV1硬件解码器的设备，这些设备包括电视，智能手机，笔记本电脑，台式电脑和图形处理器。以上图片是目前支持AV1硬件解码器的一些品牌，由于AV1有商用的一致性码流，这些产品将成功解码所有的合规AV1流，有些产品甚至可以解码8K/60 AV1。  

#13. 硬件的未来

我们预计会有更多的制造商在他们的产品组合中支持AV1,尤其是低端市场。随着AV1被推向更便宜更实惠的产品，例如中端智能手机和更便宜的电视。增加的安装基数将刺激流媒体公司采用AV1，我们还预计很快会推出配置AV1的机顶盒，这些设备可以使用7年及以上的时间。   希望大家觉得这个演讲有用并了解到AV1硬件的发展和采用形势，以及其对AV1生态系统的重要性。在不久的将来，请关注更多支持AV1的设备和消费电子产品的发布，感谢大家的聆听。    

The cover from creativeboom.com

编辑：jq