领先的智能感知技术和方案应对工业人工智能应用挑战 第二篇

本篇文章节选自安森美半导体原创文章《安森美半导体领先的智能感知技术和方案应对工业人工智能应用挑战》。本篇文章是此次系列文章的第二篇，完整文章共两篇~

如果您还未阅读本系列第一篇文章，点击下方链接即可阅读~      领先的智能感知技术和方案应对工业人工智能应用挑战 第一篇

市场对高分辨率的需求不断增长

越来越多的应用对分辨率有了很高的需求，例如手机/电视/电脑显示器的LCD、OLED屏幕检测。在这检测应用中，使用相机检测显示器的输出，以查找显示亮度的均匀性、颜色准确性、线条缺陷、颗粒缺陷等。这就要求检测相机提供非常高的图像质量和高度均匀性，以确保相机中的质量问题不会被误解为显示器中的产品缺陷。   显示屏实际上都由红绿蓝等多个LED子像素组成，检测系统需要能够解析所有这些子像素，以便正确成像和显示并确认设备的质量，为提高检测的精度和可靠性，行业中通常会使用图像传感器靶面的3x3，或者4x4, 甚至5x5个像元来识别显示屏设备的一个LED子像素，这就需要用到更多的传感器像元个数，并且随着显示器分辨率的不断提高-从传统高清到4k到8k甚至更高，检测相机所需的分辨率也在不断提高，才不会牺牲应用所需的高图像质量和均匀性，为AI算法的精度提供更可靠的数据支持。   又如另一个常见的工业成像应用是印刷电路板检测，以确认电路板组件上的集成元器件、电容器、电阻器等已正确安装并焊接到位。电路板的检测速度是受图像分辨率和帧率的组合影响，图像中能够捕获的电路板尺寸面积越大，一次可以检测的电路板就越多，图像能捕获的越快，检测的效率就越高。

虽然当前市场上提供的图像传感器可以每秒输出约500或1400个像素的数据，但是安森美半导体的XGS 45000可以以接近1900个像素/秒的速度捕获更多的图像数据用于算法判断，比竞争对手快3倍以上，图像数据宽度可以达8000个像素。高分辨率和高带宽的结合使这种检测应用的AI算法可以更快，更有效地执行，从而提高了制造过程的生产率。

图2：XGS 45000的演示效果

再如用于监控或广播的影像应用，图像需求结合了上述性能，该应用对图像质量的要求非常高，市场对分辨率的需求也不断增长，从高清到4K到现在的8k，高分辨率提供了更强大的图像结构和细节可以看到宽视野的能力，还提供了用于AI分类的裁剪开窗的选项，来放大感兴趣的内容。   安森美半导体的XGS 45000图像传感器实际上具有比8k视频所需的分辨率更高，不仅可以使用少量裁切来提供8k视频，还由于XGS 45000具有很高的带宽，它可以60帧每秒的速度提供8k视频以及完整的12位输出，满足了该应用所需的高分辨率、高带宽和高图像质量。

值得一提的是，安森美半导体也提供完整的参考设计X-Cube，基于X-class图像传感器系列， 在1.1英寸光学格式提供1600万像素分辨率，提供用于机器视觉和ITS的 29 mm x 29 mm工业相机占位所需的成像细节和性能，且一个摄像机可支持多种分辨率，帮助设计人员加快开发。

图3：高分辨率X-Cube 系统用于29 mm x 29 mm 相机设计

从仅捕获RGB信息和X,Y二维信息到添加深度信息或多光谱区域信息

除了图像传感器的性能提升，另外更为丰富的成像信息的集成也可以增强人工智能的性能，逐渐成为工业客户做出明智决策的关键。   通过对多种模式和AI处理的投资，也使得安森美半导体具备独特的优势，从仅提供三种红绿蓝(RGB)组成的成像系统发展到添加详细的光谱特征，这样可以在检测中看到RGB无法识别的地方。使用12比特位的图像数据，可以提高识别图像的精度，从仅提供x、y二维定位信息到使用结合了深度像元技术或毫米波雷达、激光雷达技术和图像融合后带来深度信息，可更深入地了解检测对象的全部体积大小高度等的信息，也就是深度学习。   所以现在图像传感器的开发正在从仅捕获RGB信息转移到新的形式，增强的数据集提供的信息将不仅仅是颜色和二维位置。图像传感器的厂家都在开发新技术以获取更可靠的深度信息或者多光谱区域信息。   比如开发通过融合内部不同数据流的Super Depth像元技术，开发通过有规律的结构，调制入射光振幅或相位的衍射光栅技术，开发基于单光子雪崩二极管(SPAD)和硅光电倍增管(SiPM)的传感器等方式来实现为图像提供更多的深度信息。   或者开发基于等离子体波导滤波片，或以法布里-珀罗（F-P)结构原理为基础的多通道分光滤光片制造技术实现在更多的光谱区域成像的超多光谱技术。

神经网络处理

随着人工智能的发展，分类系统设计需要功能强大的图像处理单元(GPU)或张量处理单元(TPU)神经网络处理器，因为训练和推理都需要大量计算，人工智能界正在面临前所未有的算力挑战，网络拓扑需要数亿个乘法和加法逻辑计算（MAC），需要数百万个卷积神经网络参数，就比如能实现分类/目标检测/语义分割等多目标任务的MobileNetV2结构就具有3亿个MAC计算和420万个参数，但这相对于ResNet微结构，已经是减少了9倍的计算量。   训练过程由于涉及海量的大数据和复杂的深度神经网络结构，需要的计算规模非常庞大，通常需要GPU或云去完成，推断部署环节的计算量相比训练环节会少一些，但仍然涉及大量的矩阵运算，通常在边缘的高功率GPU / TPU上执行以实现低延迟。面对深度学习的训练和推断的算力需求，市场上大部分使用的是NVIDIA的GPU或google的TPU来实现。

AI的发展

要真正实现快速决策，AI也需要发展。如今，用于成像的AI决策已从云过渡到边缘再迁移到与成像系统本身。   比如把AI的训练环节保留在GPU或云端，利用堆栈工艺可以将决策或甚至与之相关的一些预处理集成到图像传感器上，比如在传感器上集成用于图像识别的底层或者轻算力的卷积神经网络层，集成具有内存的数字矩阵乘法计算单元体系结构。这些AI功能集成在图像传感器中都将会实现，也已经有公司发布了内置人工智能引擎的图像传感器芯片。

如安森美半导体的融合了AI的水果新鲜度分类系统的演示，整个ECOsystem是基于安森美半导体的AR1335的相机和NVIDIA Xavier edge GPU, 使用了TensorRT版本的MobileNetV2结构来处理分类新鲜和腐烂的苹果、橘子、香蕉等6类多达上万个CNN训练参数，可以识别三种水果及其新鲜度，这个系统的准确率达到97%以上。

图4：AI用于机器视觉，识别水果新鲜度

总结

图像传感器的开发正在从仅提供RGB和二维坐标信息转移到新的更丰富的形式。图像传感器可提供更多类型的数据，无论是深度数据还是增加的光谱信息，以及AI合并这些数据集并实现高级决策，从而使系统能够通过新的测量和决策机会提供更快、更准确的结果。安森美半导体是工业机器视觉的领袖之一，以全方位的智能感知产品阵容和领先的技术，应对工业AI应用挑战并推进智能制造的创新。