从端侧到云侧，给硬件减负的AI超分技术

电子发烧友网报道（文/周凯扬）新一轮的AI文生视频需求爆发下，服务器对于GPU性能的要求再度达到了新的巅峰。然而服务器端在加强硬件性能的同时，消费终端却始终在探索如何降低对于硬件的需求，尤其是在图像处理上。
 
前几年随着高刷屏的普及，越来越多的厂商开发了对应的智能插帧补偿技术。而随着4K视频内容和屏幕的爆发，桌面端游戏4K的普及以及移动端游戏720P以上渲染分辨率的普及，AI超分技术成了视觉处理上的又一大技术路线。
 
桌面端超分技术
 
在桌面端，GPU往往是AI超分技术的主力军，而且随着技术的迭代，主流的超分方案不再是效果欠佳的插值算法，也不需要对于应用本身进行预训练，而是可以随意移植到现有的游戏开发中去。
 
英伟达的DLSS技术向来被称为目前超分技术的领头羊，通过其GPU专有的Tensor Core，英伟达得以通过深度学习进行实时超分，甚至引入了更加复杂的算法来提升超分画面的质量。以DLSS 3.0版本为例，英伟达为RTX40系列的GPU引入了光流帧生成算法，用于实现翻倍的帧率增长。
 
在3.5版本中，英伟达又加入了新的光线重构技术，进一步提高了性能，改善了图像质量。这得益于英伟达内部输入大量训练数据打造的降噪算法，这一全新的光线重构技术训练数据量是3.0版本的5倍，所以在超分后的降噪性能和效率上远超上一代。
 
在见证了DLSS的成功后，不甘示弱的AMD也推出了FSR超分技术，如今也从第一版的空域超分算法，变为优化后的时域超分算法，再到如今同样支持更低延迟的帧生成技术。相比起依赖专用硬件单元的DLSS，AMD的FSR更加开放，甚至支持非AMD的GPU。
 
同属竞争关系的还有英特尔的XeSS，XeSS和DLSS 3.5一样，同样采用了庞大的训练数据，但又和AMD的FSR技术一样，支持除了英特尔Arc以外的GPU产品。不过XeSS也分为两种变体，一种是借助Arc GPU独有XMX指令集的方案，一种是基于DP4a指令集的通用方案，后者在4K的渲染上要略低于前者。
 
面对如此多的AI超分技术，彼此之间又存在一定的硬件壁垒，对于开发者而言，提供硬件支持已经频繁遇阻，也加大了工作量。为了解决这个问题，微软决心从引擎上直接入手。在今年的GDC上，微软发布了全新DirectSR API，通过与GPU硬件厂商的合作，把超分技术无缝集成在游戏中。
 
只需一组通用输入和输出，开发者就能成功实现对于各种超分技术的支持，包括英伟达的DLSS、AMD FSR和英特尔XeSS。微软表示，这一新API的应用将直接通过Agility SDK更新实现，所以并不需要系统更新支持，只要是Windows 10之后的系统，集成了对应独立显示处理器的机器都能享受到AI超分技术。
 
值得注意的是，微软不仅仅想从游戏内部设置中直接提供对多家超分技术的支持，更是打算直接为用户开启自动超分。微软在最新的Windwos 11 24H2版本中加入了“自动SR”选项，在检测到支持的游戏后，系统会自动开启超分辨率技术。
 
另外，这一系统自带的AI超分技术很有可能会是下一代AI PC的独占技术，而并不是调用GPU厂商的超分技术。借助下一代AI PC上的独立NPU，下一代Windows将得以充分利用AI算力，实现游戏乃至未来视频的超分。
 
移动端超分技术
 
尽管桌面端的部分超分技术已经开源，比如AMD的FSR 2.0，但时域超分其对硬件的要求和对渲染管线的变更，注定了其无法在移动端普及。为此智能手机SoC厂商们也都各显神通，推出了相应的移动端超分技术。高通在去年4月份推出了全新的骁龙GSR技术，借助其Adreno GPU实现的单通空域超分算法，可在智能手机和XR设备上把1080p的源图像超分至4K。
 
同样在移动端发力AI超分辨率技术的还有联发科，AI-SR以及MEMC运动补偿都是其MiraVision视频增强中用到的技术。联发科利用GPU和APU两者结合来动态优化画质和功耗。通过第五代和第六代联发科APU，其AI-SR技术可以实现最高1.5倍的分辨率缩放，同时还能节省50%的功耗。
 
除了借助手机SoC自带的GPU/NPU之外，也有的厂商开始考虑引入独立的视觉处理器来实现AI超分。比如以今年发布的一加Ace3为例，就搭载了逐点半导体的X7 Gen2视觉处理器，从而实现基于高效神经网络算法的AI游戏超分。该方案也采用了分布式计算架构的方案，让GPU只需渲染关键帧和低分辨率画面，借助X7 Gen2视觉处理器来实现高分辨率的处理，从而减少GPU的渲染负担。
 
值得一提的是，为了解决传统SoC应用处理器中GPU/NPU存在多线程任务和固定渲染模式的问题，逐点半导体决定从内容渲染端到终端显示端打通视觉处理通道。所以他们选择了在游戏中集成手游渲染加速引擎SDK的技术路线，通过给开发人员提供这一SDK，厂商在集成这一SDK后就可以实现更优质的超分效果。
 
显示端超分技术
 
除了本身就拥有较高算力的PC和智能手机外，不少厂商也开始尝试在显示端做集成AI功能的显示芯片，比如紫光展锐的超高清智能计算芯片M6780。M6780本身采用了Cortex-A76*2+A55*2的CPU方案，和Mali Natt的GPU方案，也集成了最高6.4TOPS算力的NPU。M6780除了支持AI-SR超分辨率技术外，也支持AI-PQ画质增强、MEMC运动补偿的图像处理技术。
 
除此之外在汽车上，也有对应的超分方案出炉，比如早在2022年Imagination就和Visidon达成了合作，通过IMG Series4神经网络加速器和Tensor Tiling技术，将低分辨率的源数据上采样为高分辨率输出，从而降低视频传输的带宽。在汽车上，这不仅对于车载显示至关重要，即便是对于摄像头获取的ADAS图像数据，也可以充分降低SoC的内存带宽压力。
 
服务器端超分技术
 
除了降低端侧硬件的内存带宽外，降低网络带宽也成了服务器厂商和流媒体/直播平台苦恼的问题。视频商业模式的变化和用户对高清内容的需求不断放大，平台方想要为用户提供优质图像画面的同时，也希望进一步降低流量费用。而云平台也希望通过更加实惠的服务器方案，吸引更多的客户，尤其是专为视频平台打造的加速服务器。
 
相较起其他AI超分算法而言，服务器端的超分算法并不会将画面质量放在首位，而是优先侧重带宽成本和实时性。为此，一些直播平台往往都会选择小参数的超分算法，能够在单卡上实现30帧低延迟的画质增强。以华为云的昇腾AI云服务器为例，其就支持1080p视频/图片的AI超分，相较传统的GPU方案，其推理延时降低了60%，超分性能最高可提升至2.58倍。
 
AWS也推出了对应的AI视频超分解决方案，他们通过基于自研算法预训练好的超分辨率模型，依靠Inferentia推理加速器提供高吞吐量的推理，可将480p的分辨率超分至1080p甚至是4K分辨率，但越高的分辨率也就意味着处理原视频的每小时成本会成倍增长。
 
写在最后
 
以目前市面上已有的各种AI超分技术而言，无论是实用性还是技术成熟度都已经很高了。对于桌面端用户而言，可以进一步降低应用对显卡的图形性能要求；在移动端，超分技术改善视觉流畅度的同时，降低了硬件的整体功耗，提高了续航；而对于传统的数字电视和车载显示而言，超分技术释放了端侧有限的带宽，加强了用户体验；在服务器端，超分算法为平台节省了海量的流量成本。