人工智能
视频处理。计算机视觉。
当然可以利用CPU处理这些任务,但是有了更加强大高效的Hexagon™ 680 DSP在手,还需要这样吗?
过去几年,开发人员一直在利用 Hexagon SDK,量身定制 DSP,处理音频、图像与计算 。在 HotChips 半导体会议上,我们揭开了即将上市的 Snapdragon 820 处理器中全新 Hexagon DSP 的部分面纱。这款 Hexagon 680 DSP ,集成宽幅向量处理 Hexagon 向量扩展(HVX)核心,充分利用新的DSP 应用实例。
集成 HVX 意味着现在可以将CPU从处理视频与摄像中解放出来,转由 Hexagon DSP 以较低功耗快速处理图像。我们已经发布了 Hexagon SDK 2.0 HVX 扩展,你可以在管线中加入自己的算法,利用DSP进行处理。
全新宽幅向量处理HVX核心照像、计算机视觉(CV)与视频耗电量巨大,迫切需要从CPU卸载,以减轻负担。Hexagon 设计人员利用 HVX 核心,加入宽幅向量处理,实现高性能与低功耗。
你可以在三个主要方面利用 HVX:
1.视频处理——利用你的算法,提升解码视频输出质量。SDK 扩展补充,提供框架,允许开发人员创建端对端应用,处理解码视频帧。我们提供的扩展示例专注两个方面:
•Android 端视频处理应用,可以作为 Android 多媒体管线与其它Android视频应用相结合的出发点。
•Hexagon 端视频处理算法,可以作为创建在Hexagon和HVX运行的算法的出发点。
2.相机后处理与CV——我们在扩展中包含了一些示例,包括一个端对端.apk ,实时接收相机输入,运行CV处理,并发送给显示屏。我们提供了一个简单算法动态应用,你可以替换成你希望在照相机预览路径运行的其它算法。
3.相机播放——传感器与摄像前端直接连接,HVX 还包括针对传感器、Hexagon DSP与摄像前端的硬件协议接口。你可以借助这个接口利用HVX,在传感器与摄像前端硬件引入DSP 处理(例如,利用非标准传感器或执行像素矫正)。SDK 中有一个例子告诉你如何创建所需的Hexagon库,并连接Android摄像机管线。
所有三个应用实例中,你的算法再也不必在软件中缓慢运行了。而且,你可以将DSP定制服务更轻松地集成于OEM创建流程。
总之,如果管线其余部分已经就绪,扩展是开发人员增加自己后处理算法的正式方法。以前也可以利用Hexagon处理视频、CV、照相,但是,HVX 更胜一筹,可以处理更大尺寸与分辨率的图像,并能更快地运行算法(见下表)。
进一步利用 Hexagon SDK 2.0 HVX 扩展
准备好在HVX上尝试你自己的图像处理算法了吗?搭载Snapdragon 820的设备将很快面世;同时,你可以在Hexagon SDK模拟器中测试你创建的算法。
敬请留意不久发布的硬件:全新移动开发平台(MDP)与全新DragonBoard开发工具包,很快就可在Intrinsyc购买。
如果你具有Hexagon DSP开发经验,记得获取 Hexagon SDK 2.0 HVX 扩展方面的新闻。如果没有,请申请获得Hexagon SDK。让你的图像处理从ARM卸载,由DSP接手。
更多Qualcomm开发内容请详见:Qualcomm开发者社区。
全部0条评论
快来发表一下你的评论吧 !