RK3588 技术分享 | 在Android系统中使用NPU实现Yolov5分类检测-迅为电子

        随着人工智能和大数据时代的到来，传统嵌入式处理器中的CPU和GPU逐渐无法满足日益增长的深度学习需求。为了应对这一挑战，在一些高端处理器中，NPU（神经网络处理单元）也被集成到了处理器里。NPU的出现不仅减轻了CPU和GPU的负担，还让复杂的计算任务得以高效处理。在典型的工作流中，CPU会首先接收任务，并根据任务的性质将其分配给合适的处理单元，图像处理任务由GPU处理，而人工智能相关任务则交给NPU。

 

 

应用领域：

图像识别: NPU能够迅速对图像进行分类、检测和分割等操作，大大提升了处理效率。
语音识别: NPU实现了实时语音转换和语音合成功能，为语音交互提供了更自然的体验。
自然语言处理: NPU帮助机器完成更高效的翻译、文本分类和情感分析，推动了自然语言处理技术的发展。

 

 

实例分享：Yolov5分类检测

在RK3588处理器上，不仅可以基于Linux系统使用NPU，也可以基于Android系统使用NPU，基于Linux使用NPU已经多次与大家分享过就不在赘述。

在 Android平台上，可以通过两种方式调用RKNN API：直接链接librknnrt.so或链接基于Android平台HIDL实现的librknn_api_android.so。对于需要通过CTS/VTS测试的设备，建议使用后者，而对于不需要测试的设备，直接链接librknnrt.so可以提供更好的性能。

在开发板网盘资料中提供了Yolov5分类检测的示例—rknn_yolov5_android_apk_demo（基于瑞芯微官方demo修改）

 

测试步骤

⑴ 硬件连接

使用USB-TypeC连接线连接到OTG端口，连接迅为的ov13850/ov5695摄像头，连接屏幕

 

⑵ 例程测试

启动 Android Studio，打开rknn_yolov5_android_apk_demo应用工程文件夹进行编译，编译成功后，选择iTOP-RK3588设备并运行应用程序

 

 

 

当APP运行时，您会在迅为iTOP-RK3588开发板外接的MIPI屏幕上看到应用界面。在1280*800的预览分辨率下，应用程序能够达到约15FPS的运行速度，表现令人满意。