瑞萨电子深度学习算法在缺陷检测领域的应用

缺陷检测在电子制造业中是非常重要的应用。然而，由于存在的缺陷多种多样，传统的机器视觉算法很难对缺陷特征进行完全建模和迁移缺陷特征，致使传统机器视觉算法可重复使用性不是很大，并且需要区分工作条件，这将浪费大量的人力成本。因此，越来越多的工程师开始将深度学习算法引入缺陷检测领域，因为深度学习在特征提取和定位方面取得了非常好的效果。

本文将介绍瑞萨电子深度学习算法在缺陷检测领域的应用，以PCB电路板缺陷检测为例。

在这里，我们提出了一种缺陷检测解决方案，使用YOLOv3-tiny深度学习算法。YOLOv3-tiny是一种轻量级的目标检测算法。YOLOv3-tiny的网络结构如下：

与原来的YOLOv3模型相比，YOLOv3-tiny减少了一些层数和参数，提高了嵌入式设备上的推理速度和效率。该算法具有较高的实时性和良好的精度，非常适合工业缺陷检测应用。

该缺陷检测解决方案可以部署在RZ/V2MMPU芯片上。RZ/V2M是一款集成了瑞萨DRP-AI硬件加速单元的的AI专用处理器，其硬件特性如下：

RZ/V2M系统框图

高达4K分辨率的硬件ISP

具有高度的鲁棒性，产生稳定的图像，不受环境的影响

传感器和镜头控制，如自动曝光、白平衡、畸变校正、黑点校正、缺陷像素修正等

色彩质量增强，HDR，WDR，噪声衰减，如色彩校正、黑度校正等

色彩控制，如色彩空间转换、图像翻转、裁剪、整形等

视觉和AI能力

DRP-AI硬件加速器，高精度FP16数据类型

AI能效性能（低消耗、低发热量）

摄像头接口：2× MIPI CSI

视频及图像引擎

H.265/H.264 编解码器

编码：H.265 最高2160p30, H.264最高1080p60

解码：H.265 最高2160p30, H.264 最高1080p60

2D图像引擎：200 MPixels/s

JPEG硬件编码器

显示：HDMI 1.4a

高速接口

1× Gigabit Ethernet

1×USB3.1 Gen1 Host/Peripheral

1× PCIe Gen 2 (2 lanes)

2× SDIO 3.0

1× eMMC 4.5.1

基于以上硬件特性，使得RZ/V2M可以很好的支持工业缺陷检测，AI模型部署过程如下图所示：

ONNX是一种用于表示机器学习模型的开放格式。 

ONNX定义了一组通用运算符，机器学习和深度学习模型的构建基块以及通用文件格式，使AI开发人员能够使用具有各种框架、工具、运行时和编译器的模型。

此应用程序在RZ/V2M MPU中的硬件设置如下：

YOLOv3-tiny 缺陷检测解决方案部署在 RZ/V2M，具有低功耗（小于5W）、高性能推理效果的特点，RZ/V2M为52fps（不包括前处理和后处理）。

嵌入式缺陷检测不仅用于电子制造中的PCB缺陷检测，还具有广泛的应用场景，以下是一些常见示例：

工业自动化

在制造过程中，可以实时检测产品中的缺陷，例如不正确的产品组装、零件缺失或损坏。

农业领域

在农业生产中，它可用于检测作物或蔬菜中的缺陷，例如疾病，害虫或水果畸形。

安防监控

可用于安防监控系统中的缺陷检测，如检测建筑物或公共场所的异常物体、入侵行为或安全隐患。

医学成像

在医学领域，可应用于医学图像分析，检测疾病标志物、肿瘤或异常组织等。

车辆检测

在智能交通系统中，可用于车辆检测，如交通流量监控、非法车辆检测或停车场管理。

随着人工智能技术的不断进步，我们期待在工业制造、安防、智能零售、服务机器人等多个领域推出更多应用和解决方案。

审核编辑：汤梓红