图像检测算法在RFID生产中产品缺陷检测的应用

作者：

吴思凯 上海哲山科技

我们公司是一个RFID电子标签生产制造企业，随着AI技术的发展，我们将新的技术积极引入生产环节中，以便解决生产环节遇到的问题以及降低用工成本。

以下是我们在RFID生产中遇到的问题：

1芯片绑定中的缺陷产品的检测

1.1 芯片绑定流程的介绍

（1）点胶

该流程采用点胶控制器，通过特定针筒在天线基板上特定位置点上胶水，把天线和芯片粘合在一起，并经过高温固化，电性能检测，最终分切成单排并回收成卷状干标签的生产过程。

（2）固晶

首先对晶圆中的芯片进行拾取并翻转，然后有拾取头拾取并贴装到天线基板上已点胶的位置，完成对芯片的倒转贴装任务。

（3）热压

通过热压头对芯片与天线的连接部位进行加热、加压，使得胶水固化，完成芯片与天线的连接。

（4）测试

在收卷之前对粘接好芯片的RFID电子标签进行测试，对不符合要求的标签打上标识。

1.2 绑定流程中存在的问题

绑定流程的最后一道工序是测试RFID电子标签的良率，将坏标签剔除，但是无法知道损坏的原因，不利于操作人员及时调整生产参数。

如果使用图像识别在热压环节进行前道检测，不但可以减低测试环节的设备成本，还能分析问题原因。

例如下图的几种情况：

图像	问题	图像	问题
	正常样品		墨点样品&没有芯片
	胶水溢出(溢出到芯片上)		没有芯片

训练样本

除了以上缺陷还有可能存在芯片裂纹等问题，让操作员可以提早定位问题，提早干预。

2标签复合中的缺陷产品的检测

在标签复合流程中，主要是外观缺陷的检测，例如下图中标注出的脏点。

这道工序中，使用图像识别可以节省用于外观检测的工人，降低用工成本。

使用AI模型调用摄像头检测产品缺陷，方法描述：

（1）原型展示

（2）识别算法的描述

使用YOLOv8 Detect模型转成OpenVino模型，使用python对1200个样本进行训练，得到检测模型，再使用C#+OpenVino实现模型的部署。

 

from ultralytics import YOLO 
import cv2


# Load a model
model = YOLO('yolov8n.yaml')  # build a new model from YAML
model = YOLO('yolov8n-seg.pt')  # load a pretrained model (recommended for training)
model = YOLO('yolov8n.yaml').load('yolov8n.pt')  # build from YAML and transfer weights


# Train the model
dsPath = r'c:Usersucard_liuhyDesktopinkdotinkdot.v1i.yolov8data.yaml'
results = model.train(data=dsPath, epochs=100, imgsz=640)


img_path = r'c:Usersucard_liuhyDesktopinkdotcaptured_image_20240905_150621.jpg'  # Update this path to your image file




# Perform prediction
results = model.predict(img_path)


#results = model([img_path])  # return a list of Results objects


# Process results list
for result in results:
    boxes = result.boxes  # Boxes object for bounding box outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs
    result.show()  # display to screen
    result.save(filename='result.jpg')  # save to disk

 

最终的实现效果：

绑定流程的缺陷检测，使得原先只能在订单完成后才能进行的缺陷分析步骤，提升为在线实时分析。这样可以体现修改生产参数，降低部分原因(如溢胶)导致的缺陷率。

复合流程的缺陷检测，使得原先由2个工人负责的检测环节，降低到1个人负责。