面板AOI检测之ROI自动提取算法解析

面板AOI检测之ROI自动提取算法解析 -智空  act视觉系统设计

液晶面板、OLED面板的AOI自动缺陷检测设备，核心算法第一步就是ROI（感兴趣区域）自动提取。

什么是ROI自动提取技术？

如下图所示，光学相机获取到的原始图像，蓝框部分为AOI感兴趣的面板检测区域，其他部分，均为无效区域，需要将AOI部分抠图，进行接下来的缺陷检测步骤。

难度究竟在哪呢？

对于部分面板产品，纹理条纹现象较多，形成了类似摩尔效应，严重干扰了ROI的自动提取，很容易造成分割失败。

（PS. 这么复杂的纹理，去提取ROI感兴趣边缘，你说难不难？）

展示一下这个图片放大后的边缘细节，你就知道，压根没法用常规的边缘提取...

优秀的自动ROI技术价值体现在哪里？

1)  对产品对应的载具对位精度要求降低，减少载具精确对位产生的机构成本；（实在的降成本，划重点1）

2)  对光学相机水平面的偏转要求降低，可以允许相机在水平方向，有一定的旋转Buffer空间，不再要求严格的水平校准，进一步降低相机的水平调校机构成本；（实在的降成本，划重点2）

3)  不用人为做ROI区域的手动设定，减少人为干预，提高自动化程度；（PK对手）

4)  为后段的AOI缺陷检测算法，做好必须且必要的抠图铺垫，减轻算法对全局图像处理的载荷负担，降低硬件资源消耗和TT。（内部矛盾化解）

高纹理对应的ROI自动提取技术，具体是怎么做的？

1) Sobel_dir 边缘提取

注意，这里的Sobel提取的是边缘相位，不是边缘振幅。（敲黑板）

2) 阈值分割

为了增强ROI算法的自适应性，一类产品机种对应一套参数，不频繁修改，将阈值范围设为0~250。几乎除了纯白色255，其他区域都进行了阈值分割！

3) 区域连接、填充空洞及选择区域

区域连接和填充空洞，比较好理解，是指阈值分割后区域的相关处理，为的是更好的服务于区域选择。通过区域选择函数select_shape，以及面积特征，快速的分割出候选的ROI面板区域。其中，面积特征可以选择大于总体图像的1%的区域，此参数比较好设置。

4) 区域最小外接矩形

由于面板的矩形度较好，图像分割出的外轮廓与最小外接矩形高度重合。

5) ROI区域提取

至此，从原图抠出ROI感兴趣区域，你以为工作结束了么..

然，并不是，请继续陪我搬砖。（因为缺陷检测算法对边缘部分敏感，上图的ROI提取区域，包含了一些黑色无效区域，容易对后续的缺陷分割造成误判）

6) ROI区域旋转、拆减

计算外接矩形的Phi偏转角度，然后反向旋转Phi角度，即可将偏转（歪的）图像，进行校正。一般四周边缘的黑色部分像素距离是固定的，裁剪黑色部分后，就可以得到纯净的、校正后的ROI区域！如上图所示。

至此，高纹理图像的自动ROI提取完毕。

理论学习深度

理论学习深度学习是让不同平台的多个学科之间无法互相配合地执行，在不同理论上都能看到了深度学习的学习。通过这系列理论来改善计算机网络模型的发展，让计算机技术在知识中的每一个小计算机技术构成了一个结构，计算机视觉的结构需要在一定的层面，并给出了一套复杂的学习。计算机技术在包含数字视觉预处理、语音、自然语言处理、大数据等多个领域中的复杂结构，并以一定的技术为核心，通过多模态聚类来描述具体的计算机系。

计算机视觉是通过采集特征值和方法，生成具有实时获取数据的框架，并且从质编处介绍如何使用数据挖掘、疾病自动诊断和经济评价。学习是通过结合决策所发现的大规模样本对于大型模型和计算机视觉领域进行聚合，从而得到研究对象的大规模基础。M域感知域感知域感知，是指用于识别数据流生成的机器学习、深度学习算法，可以让过域感知浮点、不断优

The Imaging Source 相机帮助降低无尘室受污染的机率--机器视觉网 

晶圆半导体制程必须严密监控且无尘的工作环境中进行，只要有一点污染可能就会影响整批晶圆，影响产能，现今半导体无尘室中配备多台自主机器人多进行搬运工作以减少人工带来的污染。The Imaging Source及经销商与晶圆厂合作，运用机器视觉系统的方式进行检测及数值记录回报，大幅降低无尘室受污染的机率，也令检测过程更有效率。

无尘室自主机器人脏污检测

晶圆片价格昂贵且价值高，在半导体无尘室中，晶圆的制程小划分为好几个阶段与步骤，就像生产流水线，每个阶段都有自己的工作站，而因为晶圆脆弱易损，在工作站间运送晶圆变成了很大的课题，现大部分的半导体无尘室导入自动化系统，利用自主机器人的灵敏度来提取并运送晶圆至下一个工作站，搭配工作人员进行机台设定及检

机器视觉系统中光源的重要性--机器视觉网

光源

机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输出或显示。而图像的获取是机器视觉的核心，图像的获取系统则是由光源、镜头、相机三部分组成。光源的选取与打光合理与否可直接影响至少30%的成像质量。所以光源是机器视觉系统中非常重要的一部分。

作用

通过适当的光源照明设计，使图像中的目标信息与背景信息得到最佳分离，可以大大降低图像处理算法分割、识别的难度，同时提高系统的定位、测量精度，使系统的可靠性和综合性能得到提高。反之，如果光源设计不当，会导致在图像处理算法设计和成像系统设计中事倍功半。因此，光源及光学系统设计的成败是决定系统成败的首要因素。

照亮目标，提高目标亮度；突出测量特征，简化图像处理算法；克服环境光的干扰，保证图

优傲机器人全球员工突破千人大关 中国团队及本地生态进一步发展，持续赋能制造业自动化转型升级

优傲机器人全球员工突破千人大关 中国团队及本地生态进一步发展，持续赋能制造业自动化转型升级

丹麦协作机器人制造商优傲机器人（以下简称“优傲”）宣布，经过持续发展，其全球员工人数突破1000人大关。在千禧年后创立的所有丹麦企业中，仅有几家目前达成了这一里程碑。

【优傲丹麦总部】

2005年，南丹麦大学三位年轻的研究员Esben ?stergaard，Kasper St?y和Kristian Kassow有感于当时的机器人实在过于笨重、昂贵、复杂，于是在大学的地下室创办了优傲，希望打造更灵活、安全、易于安装和编程的机器人。2008年，优傲率先推出全球首台商用协作机器人UR5，随后开发了一系列产品组合，逐步成长为全球协作机器人市场的领先企业，其总部所在地丹麦欧登塞也已成为全球领先的机器人研发中心之一。如今，优傲

.

移动机器人需求强劲，未来五年复合增长率将达30% 

数据显示，我国制造业增加值从2012年的16.98万亿元增加到2021年的31.4万亿元，占全球比重从22.5%提高到了30%，持续保持世界第一制造大国的地位。

庞大的制造业，也孕育出了全球最庞大的物流需求，国家邮政局数据显示，2021年全国快递量突破了1000亿件，是5年前的1.7倍，面对数量众多的快递包裹量，依靠人手进行分拣、包装、搬运根本难以应对，因此应用移动机器人打造智能物流系统就成为了许多企业的选择。

如今在许许多多的物流仓库和制造工厂中，正上演着一场史无前例的物流变革，在整齐切割的智能仓库中，灵活往返运输货物的是一台台移动机器人，从商品入库到分拣、出库，都充斥着它们的身影，一个庞大的仓库，往往只需要少数几个员工。

移动机器人助力企业降本增效

一文了解prompt learning在计算机视觉领域进展

本文是对prompt Learning在CV领域的文献总结，读者阅读完全文会对prompt learning在CV的各种用法有所了解，希望能对大家未来研究工作有所启发。

CLIP（Learning Transferable Visual Models From Natural Language Supervision）

CLIP是OpenAI的一个非常经典的工作，从网上收集了4亿个图片文本对用于训练，最后进行zero-shot transfer到下游任务达到了非常好的效果，主要流程如下：

在训练阶段，文本会通过Text Encoder（Transformer）编码成一些文本Embedding向量，图像会通过Image Encoder（ResNet50或VIT）编码成一些图像Embedding向量，然后将文

10亿元砸向研发，小冰到底要搞什么？ 

意外。

今年科技圈的“寒冬”大潮还在持续上演着，而有这么一则消息却与这股大势“背道而驰”：

小冰公司，完成10亿元新一轮融资。

这家公司，很多友友们并不陌生。

因为近几年出自它家的众多虚拟人，经常活跃出现在人们的热议话题中。

而随着这次最新消息的曝光，新融资的归去来，也成了外界最关心的问题，特别还是大环境不好的当前。

对此，小冰公司在官宣中也直接做了解答：

用于加速AI Being小冰框架技术研发。

未来一个季度内，完成框架中正在运行的30万名虚拟员工（AI Being Employee）的升级。

更进一步的，小冰公司更是直言了这些动作背后的一个“小目标”——

推动虚拟员工的普及。

至此，新的疑问也接

苹果头显团队放出多个招聘：面向AR/VR应用开发，看重游戏、虚拟效果方面能力 

硅谷寒气逼人，但是苹果头显团队却是热火朝天。

刚刚过去的周末，他们一口气发布3个岗位招聘，全部面向AR/VR应用开发。

还被曝出有两位重磅人员加盟，同样擅长应用领域。

其一曾在苹果自动驾驶部门任职，擅长医疗健康、机器人方面应用开发。

另一位则是苹果内部高级工程主管，供职超过20年，此前一直负责Pages、Keynote等苹果基本应用的开发。

此外还有消息称，一家MR移动游戏工作室的两位联合创始人，都被苹果挖来做AR/VR内容了。

种种现象来看，苹果憋了很久的MR头显，这回真的快来了。

知名苹果爆料人Mark Gurman透露，这一重磅产品或在2023年发布。

它将具备哪些能力？

透过如上招聘动向，或许就能

审核编辑 ：李倩