如何利用传统图像处理方法进行瑕疵检测

作者：cshyxxxl

以iPhone背壳为例，进行瑕疵检测

需求：利用传统算法检测iPhone手机背壳是否瑕疵并给出瑕疵率

工具：摄像头/iPhone 6s/偏振镜等

传统算法方向的选择

最近做图像处理与识别相关的事情，先从OpenCV/Matlab入手，看传统算法在瑕疵检测方向能做到什么程度。

因之前并没有相关的经验，乍开始生怕闭门造车，遂多方搜寻，相关的会议与论述很多，不乏深度学习或者深度学习与传统算法相结合的，以有限的资源来看，深度学习并没有特别大的优势：表现在

1. 深度学习对训练图库的要求很高，很难得到很好的训练结果 2. 深度学习的灵活度较低，若适用场景有些许改变，均需要重新训练，这在商用时会是很大的问题 3. 深度学习的部署成本较高，同时对部署场景有较高要求（光线/摄像效果等） 当然，深度学习大势所趋，也不必因噎废食，万一是一时的浅见呢。后续也会投身到这个方向去。

瑕疵检测关注的两个问题

瑕疵的标注

对瑕疵的标注是为了更直观的展示，主要是给人看的

瑕疵的量化

真正机器关心的是怎么量化，是用数量表示还是百分比是个值得考虑的问题

历程

1.图像去噪->灰度化->二值化

二值化之后就可以看到绝大部分的瑕疵点已经凸显出来了，但是有三个问题：

1. 黑点瑕疵与白点瑕疵是二值化的两个极端，故无法同时出现。 2. 量化如何去除Logo与其他印刷的干扰 问题1后续用边缘检测替代 问题2采用像素点计数的方法，计算百分比，然后与无瑕疵的百分比作比较，准确度不高，也显得low low的。

2.图像去噪->灰度化->canny->形态学（闭运算）->连通域

边缘检测后进行闭运算，瑕疵会形成大大小小的连通域，可以统计连通域的个数，然后与无瑕疵logo与其他印刷形成的连通域个数作比较，这种情况几乎不会漏掉。这是感觉可行的选择之一。

3.OpenCV matchTemplate

实验室条件下，可以营造比较理想的条件，所以考虑了OpenCV的模板匹配，同时也测试了模板匹配在不理想情况下的表现。 结果证明因为手机瑕疵检测的需求目标较低，模板匹配是比较能够胜任的一个办法。只要模板与识别目标的拍摄角度差别不是太大，都可以很好的识别瑕疵。图片的轻微缩放大多也可以应付。

其他处理

前面都是软件方面处理的流程，在如何获得更加理想的图片方面也做了一些尝试：

采用各种不同颜色的光源，如蓝光/红光，区别不大

对图片进行白平衡调整，有改善

摄像头加偏振镜防止图像反光，有改善但不明显

图片浮雕处理，肉眼看上去瑕疵显著了，但对机器而言并没有区别，故没有采纳

编辑：黄飞