高通推出神经处理引擎（NPE）SDK，打造AI应用新优势

我们最近推出的骁龙™神经处理引擎（NPE）SDK，强调了在设备端对时间要求较高的AI应用处理的重要性。例如，自动驾驶汽车可以即时作出决定——在检测到障碍物的同时加以识别和避免，而不是通过网络发送到云端服务器。

图片：检测前方物体的AI汽车。

虽然边缘AI处理从本质上来说具有一定的复杂性，但是Qualcomm®骁龙移动平台拥有强大的功能和灵活性，具有先进的异构计算架构，支持优化工具、库和AI框架。借助骁龙神经处理引擎（NPE）SDK，开发者可以依赖 Caffe/Caffe2和TensorFlowdeep深度学习框架更加轻松地进一步调优AI的应用性能。

接下来，我希望通过介绍一些AI示例应用，了解设备端计算带来的差异化和关键优势，进一步探讨这方面的问题。

从对象识别到对象跟踪和预测建模的演变

现在，对象和面部识别已经成为基于云的照片共享和存储服务的标准特性，允许您快速过滤庞大的图像库。这是一件了不起的事情，需要庞大的计算能力。如果每张照片都只包含单一的兴趣对象，那么就简单多了，但这种情况少之又少。因此，实际情况是不仅需要识别和标记照片中的多个对象，而且还需要作出判断，根据图像中最重要的元素进行分类。

此外，实时、智能判断多个传感器的输入数据所需的对象跟踪和预测建模给我们提出了更大的挑战。想像一下可能性：

可以立即区分家庭成员和陌生人的安全摄像机。可以快速识别可疑行为模式并警告房主的系统，例如有人试图打开房屋前、后门，或试图强行打开窗户或门。

视障者应用，可以检测道路上的障碍物，突然的水平变化，例如台阶或路缘，或自动检测和触发道路交叉口的信号灯。

自动驾驶车辆或无人机对象检测和回避。

可以识别其他车辆带来的潜在危险并警告驾驶员的行车记录仪，如攻击性驾驶、疲劳驾驶、酒后驾驶。

提供上述类型应用的设备需要具备相应的处理能力，以便在临界速度下检测、理解和响应各种环境和事件，并具有一定的精确度。

自然语言处理、语音和讲话人识别

语音识别的进步使我们能够控制汽车导航、家庭娱乐，并使用个人语音助手执行简单的任务，如信息查询、日历管理和设备控制。语音识别准确识别我们说出的单词，但是其本身缺乏重要的语境。对讲话人的识别可以显著提高个人助手的功能，特别是在安全应用中，而自然语言理解超越了语音识别，能够理解所传达的内容。

增强应用包括：

紧急情况下（如停电和断网）运行语音启动接口。

游客或商务会议实时翻译，支持复杂语境的识别，如讽刺或幽默。

语音控制锁可以识别家庭成员并授予访问权限。

用于系统访问或店内/网上支付的语音控制密码。

这些示例展示了引人注目的用例，与传统的云处理相比，设备端AI更具优势。骁龙神经处理引擎（NPE）允许开发者使用经过TensorFlow或Caffe2训练的模型在设备端进行深度学习，并借助骁龙移动平台异构计算架构，获得卓越性能。

总而言之，这些技术大大增强了我们今天AI应用的功能，如实时图像处理和语言翻译。同时，也开启了创新之门，为开发者节约了大量时间，提供了相应的工具和处理能力，打造具有开创性的智能用户体验。

根据IDC，目前只有不到1%的软件开发者将认知能力纳入他们的应用中。而预计到2018年，这一数字将超过50%。高级移动应用和自动化系统功能，如语言和语音识别、对象识别和跟踪（通常需要数据中心进行处理），可以完全做到设备端支持，并且具有低延迟感知和推断特性。