GAN用于（无缺陷样本）产品表面缺陷检测

1.前言

深度学习在计算机视觉主流领域已经应用的很成熟，但是在工业领域，比如产品表面缺陷检测，总感觉没有发挥深度学习的强大能力，近几年表面缺陷的 相关研究主要是集中在各种借鉴主流神经网络框架，从CNN到YOLO，SSD，甚至到语义分割的FCN相关论文，通过一些技术，对框架进行轻量化，对缺陷进行分类或检测。

       不过，逃不出一个问题：一定要有缺陷样本可供训练，而且数量不能太少！当然，也有一些课题组使用稀疏编码、字典学习、稀疏自编码等对表面缺陷进行检测，这类方法很有局限性，主要针对那些有周期性背景纹理的图像，比如丝织品，印刷品等。国内外很多课题组、工业软件公司都想开发出一些切合实际应用的算法软件，在缺陷检测领域，比较好的公司有：VIDI、Halcon等，听说海康威视也在搞工业产品方便的算法研究。

开始说下这篇文章，文章是今年发表的，题目为（本想直接给下载好的文章链接，知乎审核说违规，论文被施普林格收录，单pdf文件下载链接我放到评论里）：

A Surface Defect Detection Method Based on Positive Samples

作者提出只依据已有的正常表面图像样本，通过一定的技术手段对缺陷样本进行检测，很好的将最近研究火热的GAN应用于框架中，这一年，课题组的老师也一直讨论这种方法的可行性，缺陷的检测要不要有缺陷样本，从稀疏自编码，小样本学习再到计算机视觉研究热点之一的零样本学习，得出结论：大多数工业产品表面缺陷检测是需要缺陷样本或者人为制作的缺陷样本，论文虽然是没有直接使用生产线上的缺陷样本，但是通过算法人为的产生了缺陷样本，并很好的融合和GAN在图像修复领域的强大能力，整个框架的设计很巧妙。

文章思路：论文的整体思路就是GAN在图像修复和重建方便具有很强大的能力，通过人为的去在正常样本上“随意”添加一些缺陷，训练阶段让GAN去学习一个可以修复这些缺陷区域的网络，检测阶段时，输入一个真实缺陷样本，训练好的GAN会对其进行修复，再基于LBP可完成缺陷检测。整个算法框架不需要真实的缺陷样本和手工标签，但是在框架中，人为的去产生(比如PS)一些缺陷区域。

通俗说：

作者利用GAN在图像修复（重建）上的能力，在工业现场收集一些正常（无缺陷）样本，人工PS一些缺陷，比如线条、斑点等。

训练时，将PS的人工制作的缺陷图像和原图像做输入样本训练GAN，得到一个具有图像修复重建能力的网络。

测试时，直接使用训练好的GAN对采集到的图像进行重建修复，如果样本中中有缺陷区域，缺陷区域按照网络设计，肯定需要修复，将修复后的图像和原缺陷图像使用LBP找出显著差异区域即为缺陷区域。

2.文章主要内容

论文的主体框架思想是基于GAN网络的结构。GAN 主要包括了两个部分，即生成器 G与判别器 D。生成器主要用来学习真实图像分布从而让自身生成的图像更加真实，以“骗过”判别器。判别器则需要对接收的图片进行真假判别。在整个过程中，生成器努力地让生成的图像更加真实，而判别器则努力地去识别出图像的真假，这个过程相当于一个博弈过程，随着时间的推移，生成器和判别器在不断地进行对抗，最终两个网络达到了一个动态均衡：生成器生成的图像接近于真实图像分布，而判别器识别不出真假图像，对于给定图像的预测为真的概率基本接近 0.5（这段话从李宏毅老师那引用的，致敬李老师）。

训练阶段

在训练阶段，模型采用一些图像处理技术，人为的在正常样本图像上产生一些缺陷（示意图中的红色框模块），使用由自编码器构成的G模块进行缺陷修复学习，学习的目标是与正常样本之间的L1范数最小，通过一定数量的样本训练可以获得有缺陷修复能力的G模块。GAN用于图像修复的一些资料可以参考[3][4]，当然也可以参考论文里的参考文献。

训练阶段

测试阶段

在测试阶段，将上步骤训练好的G模块作为测试阶段的图片修复模块，对于输出的图像样本，假如存在缺陷区域，通过修复模块G将得到修复后的图像，与原缺陷样本图像一起作为LBP算法的输入，通过LBP算法对其缺陷区域进行精确定位。

测试阶段

3. 其他细节

3.1缺陷生成

在实际训练中，论文作者手工生成一些缺陷样本，如图3所示，训练网络自动修复缺陷。另外作者也通过一些技术进行了样本的扩充，比如加入高斯噪声、随机resize大小等。

缺陷生成

3.2缺陷图像重建

缺陷图像重建部分主要的作用是：缺陷图像重建后尽量和正常样本一样，作者在这部分在文献[5][6]基础上进行框架修改的，比如使用L1 distance作为衡量重建差异的目标函数。

然后实验中作者又发现只使用L1不行，图像边缘等细节可能会衡量不准确，又加入GAN loss来提升网络的重建效果。

最后，得到了下面目标函数。

3.3缺陷检测

因为使用GAN修复后的图片和原始缺陷样本图片之间在像素级的细节上有一些差异，作者使用了前几年在人脸领域应用比较好的LBP算法进行缺陷区域的检测，这里不介绍算法的细节，示意图如下。

4.实验

文章对DAGM 2007数据集和织物密集图像进行了验证实验。实验表明，提出的GAN+LBP算法和有足够训练样本的监督训练算法具有较高的检测准确率。实验使用两种类型的数据集，4.1是印花纹表面，4.2是织物表面。

4.1Texture surface

测试样本

结果

a.原始图像，b.修复图像，c.论文方法，d. FCN方法，e.真实标签

4.2Fabric Picture

实验中缺陷样本的类型有五种。实验样本按背景分有三类，每类包含5个缺陷样本，25个正常样本。

测试样本

结果

a.原始图像，b.修复图像，c.论文方法，d. FCN方法，e.真实标签

本人水平有限，表述不清楚或错误的地方请指出，一起进步！

欢迎点赞（开心脸）

参考文献

[1] Zhao Z, Li B, Dong R, et al. A Surface Defect Detection Method Based on Positive Samples[C]// Pacific Rim International Conference on Artificial Intelligence. Springer, Cham, 2018:473-481.

[2] Wu X. Fully Convolutional Networks for Semantic Segmentation[J]. Computer Science, 2015.

[3] Li Y, Liu S, Yang J, et al. Generative Face Completion[J]. 2017.

[4] Yang C, Lu X, Lin Z, et al. High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis[J]. arXiv preprint arXiv:1611.09969, 2016.

[5] Image-to-Image Translation with Conditional Adversarial Networks.

[6] Unsupervised representation learning with deep convolutional generative adversarial networks.

责任编辑：xj

原文标题：GAN用于（无缺陷样本）产品表面缺陷检测

文章出处：【微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。