最近有种单帧HDR技术,能让手机摄影低功耗+无伪影

描述

HDR(High Dynamic Range,高动态范围)仿佛是成像领域永恒的话题——感觉每年都有手机厂商在宣传自家手机摄像头拍照、拍视频,获得的画面宽容度能有多广。这两年,不仅手机夜间成像能不能拍到灯箱细节成为旗舰机的必考题,视频拍摄HDR也已经成为手机OEM厂商争抢的高地。

一般我们说,这里的动态范围是指成像系统在一幅图像里能够同时体现高光和阴影部分内容的能力。谁都希望即便在场景的亮处和暗处光比很大时,手机摄像头的最终呈现依旧游刃有余。随这些年CMOS图像传感器工艺技术进步,以及后端数字信号处理算力的提升,各种不同的HDR技术走得都还是比较快。

比如常见的所谓时域多帧HDR技术,就是相机针对同场景,连续拍下欠曝到过曝的多张图像,最后做图像的多帧合成,输出一张高动态范围HDR图像。再比如DOL/Staggered HDR,传感器每行像素以长短曝光先后输出,实现“准同时”的不同亮度的信号,获取最终的HDR画面。还有大小pixel分离结构,不同尺寸的像素获得不同的感光信号,覆盖不同动态范围。..。..

今年8月,格科微宣布发布业界首款DAG单帧高动态1300万像素图像传感器GC13A2。这里的DAG(Dual Analog Gain)又是一类实现照片与视频HDR的技术。在我们看来,这款产品有几个关键词。

其一是“单帧HDR”,并非手机拍照常见的多帧合成HDR;其二是从GC13A2的规格来看,1300万像素分辨率,1/3.1英寸大小,单像素尺寸1.12μm,可见格科微将真正的视频HDR技术,下放到了入门或中端手机设备上——大概明年,大部分手机都能普及此前旗舰手机才有的视频HDR了。

我们来看看格科微的DAG HDR究竟是怎样一种技术,效果如何。

DAG VS 多帧合成

传统的时域多帧HDR,如前文所述,就是以不同的曝光参数,拍下多张图像,最终对齐合成——欠曝的画面照顾到了亮部细节,而过曝的画面则能够较好地呈现暗部细节。合成以后也就有了HDR效果。

这类方案的缺陷主要是,即便拍摄多张照片或多帧影像的时间间隔很短,“多帧”的这些画面,毕竟仍然是不同时间拍摄的:那么当移动中取景或画面存在高速运动对象时,就会产生运动伪像或鬼影。无论是拍照还是拍视频,后端都需要对伪像再做处理。

即便现在包括AI在内的技术可用于消除运动伪像,多帧合成依然存在局限性。比如说要求AI模型有足够广的覆盖度,算法效果也未必理想;后期消除伪像,系统成本会随之提升——成本敏感型设备承受不了;影像拍摄的系统功耗也可能不理想。

那么很自然的,单帧HDR成为一个值得发展的方向。格科微选择的就是自研DAG HDR。格科微在资料中说,这项技术是基于单帧画面,针对画面暗部使用高模拟增益,使得暗部“更清晰,更有质感”,针对亮部使用低模拟增益,避免过曝。那么就能最终输出HDR图像。DAG的Dual Analog Gain应该就是指这两种增益了。

格科微告诉我们,所谓的“analog gain”模拟增益,是在ADC环节部分的增益,“暗部用一种gain,亮部用一种gain”基于对不同位置曝光的判断,“在传感器内部就完成整个过程”,“只输出一帧画面”。据说这种方案通过较小的成本增加,带来近10dB的动态范围提升。

DAG HDR至少在拍照的三个方面提升了动态范围,拍摄画面预览、拍照、拍视频。画面预览很容易理解:因为DAG HDR是单帧HDR,那么理论上在例如手机拍照时,按下快门前,拍照界面的画面预览就已经能够看到HDR效果。

比如下面这组预览取景对比,分别是GC13A2的DAG HDR画面(右),以及另外一款同样1/3.06“ 1300万像素图像传感器输出的常规10bit画面(左)。注意水面暗部细节,及大楼外屏亮部细节对比,可以明显发现DAG HDR还原的动态范围更大,高亮的霓虹灯几乎没有过曝。

HDR

左图:普通预览 右图:DAG HDR 预览

看看DAG实际效果怎么样

当然,即便应用了单帧HDR技术,仍然可以借助时域多帧HDR来更进一步提升画面动态范围。好处在于,用了单帧HDR的传感器,在做多帧合成时,合成数量减少、功耗降低。

当用于照片拍摄时,相较传统10bit方案,需要3帧合成的场景减少了50%。在格科微的高光比测试场景内,没有单帧HDR方案的图像传感器拍照时,在60%的情况下需要进行3帧合成才能获得HDR效果;而一旦有了DAG HDR的加持,那么80%的场景都只需要做2帧合成,10%的情况下用单帧就保留了高动态范围,还有10%才考虑用3帧合成。

HDR

左图:传统 HDR 拍照 右图:DAG HDR 拍照

下面这组图是GC13A2在打开DAG HDR以后,正常曝光与2帧合成的照片,以及关闭DAG HDR时的正常曝光与3帧合成照片效果对比。从背景抓娃娃机的灯光呈现,以及减少的合成帧数,这组对比还是能够明确感受到DAG HDR的威力的。

HDR

左组图:DAG HDR OFF 右组图:DAG HDR ON

那么对应的,多帧合成的任务减少,一方面更好地抗运动伪像和鬼影,另一方面则让系统功耗得到大幅缩减——对手机这样的功耗敏感型设备而言有价值。运动伪像的消除,可从下面这个快速摇摆的运动对象拍摄看得出来。

HDR

左图:多帧合成拍照 右图:DAG HDR单帧拍照

值得一提的是,实际上DAG这类单帧HDR方案,在功耗更低和无鬼影的问题上,也比隔行长短曝光之类的“准同时”多曝光方案有优势。格科微似乎也在内部测试中对比了stagger HDR,以表现DAG的明确优势。

HDR

左:stagger HDR 右:DAG HDR

另外在视频拍摄上,GC13A2可以全时低功耗输出12bit高动态范围图像和4K 30fps视频。在视频拍摄时,单帧输出就能获得比较理想的HDR效果。一方面在图像传感器层面,将HDR视频真正带到了入门手机之上;另外实现HDR视频的同时,因为期间没有采用多帧合成,所以功耗减少了大约30-40%,也避免了多帧合成的运动伪像问题。

在后端算力平台支持12bit数据处理时,这颗传感器就能将12bit数据完整输出;考虑入门平台不支持12bit数据的情况,则GC13A2也能通过global-tone-mapping算法,将数据压缩到10bit——虽说做了数据位压缩,但画面亮部与暗部细节仍有保留,所以仍有HDR效果。

未来会扩展到高端定位和其他市场

DAG HDR技术在格科微内部的研发,前后总共可能历经了3-5年。这项技术的难点在“电路、算法方面的经验积累”上。据说在格科微更早期的传感器产品上,就有对应技术的“试验”。到现如今正式量产,克服了不少难点。

格科微将GC13A2定位于手机、平板电脑之类的移动设备。未来格科微也考虑将DAG HDR技术应用到更高端定位的传感器产品上。“这项技术发布以后,未来入门级智能手机产品都能用上HDR视频拍摄和预览。”格科微相关市场负责人在接受采访时说,“1300万像素是能最快实现量产的产品。后续将技术复制到其他产品上也不会有问题。”

甚至未来格科微推出的大部分传感器产品,都考虑将DAG或者其他HDR技术作为标配。通过在更高性能的产品上搭载DAG技术,也能进一步拉高品牌定位。

尤为值得一提的是,今年6月,格科微在安博会上发布了一款面向智慧城市、智能家居、会议系统等的GC8613传感器。规格上,除了4K分辨率以外,这颗传感器就已经率先实现了DAG HDR单帧高动态。这是DAG HDR技术还可应用于更多市场的佐证。

格科微告诉我们,无论GC13A2还是GC8613,都已经有客户引入或做评估。GC13A2大概率明年就能在手机产品上看得到。

从这些年格科微布局sensor shift OIS光学防抖方案,再到COM封装技术(锡焊COB)等,都能看出格科微在技术储备上的努力。据说当前格科微针对HDR技术还在做进一步的深入和研究,很快大约也能看到DAG之外的其他成果。从格科微的时间和技术沉淀投入还是能够看出这家公司入驻高端市场的决心和实力的。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分