机器视觉检测技术及其在中药智能制药中的应用展望

导读：机器视觉检测技术基于图像自动识别产品质量与生产过程状态，收集产品质量数据，并进一步实时反馈改进生产工艺，对于促进传统制造行业的智能化升级具有重要作用。中药制造业作为传统制造行业之一，亟需融合现代信息技术，如利用机器视觉检测技术，实现对于药材、饮片、成品的质量检测，生产过程的状态识别，以及生产车间现场管理，从而驱动中药生产的高质量发展。文章通过总结机器视觉检测技术在各领域中的应用情况及关键技术，从人、物料、生产状态和整体环境4个角度对机器视觉自动检测技术在中药智能制药中的应用作出展望。

欢迎引用本文：

缪培琪, 王鐾璇, 司梦兰, 于洋, 所同川, 李正. 机器视觉检测技术及其在中药智能制药中的应用展望[J]. 天津中医药大学学报, 2020, 39(4): 365-373.

MIAO Peiqi, WANG Beixuan, SI Menglan, YU Yang, SUO Tongchuan, LI Zheng. Machine vision technology and its potential application in intelligent pharmaceutical manufacturing of traditional Chinese medicine[J]. Journal of Tianjin University of Traditional Chinese Medicine, 2020, 39(4): 365-373. 

机器视觉检测技术及其在中药智能制药中的应用展望

缪培琪, 王鐾璇, 司梦兰, 于洋, 所同川, 李正

（天津中医药大学中药制药工程学院, 天津 301617）

传统中药质量控制以成品质量检验为核心，存在制药过程内在规律模糊不清，生产过程监管困难等问题，造成质控成本较高，且不能持续有效的提高中药质量的困局。基于“质量是生产出来的，而不是检验出来的”现代质量控制理念，需要探索先进的在线质量检测技术并建立快速、高效、无损的过程质量检测方法，在生产过程中密切关注关键质量属性，解决怎么测、测什么的问题。中药产业链跨度大，从药材种植、药厂制剂到临床使用，存在着大量隐性知识的使用和以人为主的生产物料转移，分段式工艺布局形成割裂式控制导致大量数据分散累积为“信息孤岛”，且生产过程动态变化、高度复杂又缺乏有效的检测技术装备，导致各流程关键节点的过程参数存在盲区。

       结合机器视觉检测技术可部分解决上述问题，应用机器视觉对从原料药到成品的生产过程进行监测，并从大量图像数据中提取其蕴藏的丰富质量信息，是中药质量控制技术创新发展的有效途径。通过云端或者本地的“智能大脑”对视觉数据进行建模分析生成控制策略，优化工艺参数，可解决中药生产中的质量持续提升问题。利用这种思路不仅可以节省劳动力，提高检测速度和精度，实现产品的全检，还将赋予制药装备新的智能决策能力。

机器视觉起初主要应用于半导体制造、汽车装配等行业。中国机器视觉起步较晚，一直到2006年，工业机器视觉开始逐渐应用到印刷、食品生产等领域。虽然机器视觉并非新技术，但深度学习的快速发展使机器视觉能够更精确、更高效地处理各种图像问题。

       目前，机器视觉技术以其精确性好、可靠性高、可适应环境多、持续工作时间长、生产效率高的特点，已在智慧城市、智慧矿山、智慧电网、智慧农业等多个智能化领域中发挥了巨大作用，根据机器视觉所应用感知对象的不同，对机器视觉在这些领域中的成功应用案例和最新研究成果进行如表 1所示的总结，可以看出在不同的应用领域，机器视觉应用的感知对象主要集中于人、物料、生产状态和整体环境，以下简称为人、物、态、环。本文将综述基于机器视觉的生产监测技术，并对其在中药智能制药中的应用前景作出展望。

1 基于机器视觉的中药生产数据感知关键技术

图像传感器是机器视觉技术应用于中药制造过程的眼睛，是中药工业大数据的核心。待检测物体经光源照射后，由光学成像系统采集图像信息，再利用图像采集卡将光学图像转换生成可分析的数字图像，这是机器视觉数据感知的过程。根据图像传感器获取信息的方式不同，可分为电荷耦合器件（CCD）和互补金属氧化物半导体（CMOS）两种图像传感器类型。

       CCD传感器相比于CMOS传感器灵敏度和可拍摄分辨率都要更高，但成本也相对较高，且在极端环境下，由于CMOS传感器制作时焊点与接头较少，故其在工业复杂环境应用的可靠性优于CCD传感器。通过图像传感器接口芯片，将所需发送的数据根据网络通信协议转换成标准通信格式的数字信号，再由通信网络，发送至服务器进行存储或与其他系统进行通信。

随着机器视觉技术在各智能领域的应用普及，各种形式的图像数据获取技术也在快发展，如偏振成像对于传统技术无法检测的隐形材料具有很好地特征提取效果，可在高光下对产品缺陷进行检测；嵌入式视觉在尺寸和功耗方面较低，在很多特殊的环境下都有较高的应用价值；3D相机成像技术，不仅采集平面图像信息，而且可以获取目标深度信息；还有多光谱成像技术，如现在在中药质量控制领域研究较多的高光谱成像技术，可提取目标物在白光下可能无法检测到的信息。

中药制造过程需要关注不同种类的物料，如药材、饮片，中间体（提取液、浓缩液、离心液等）、成品（片剂、丸剂、颗粒剂、注射剂等），要求图像传感器具备快速、灵敏、稳定的特点。在选择图像传感器时，需考虑到客观环境因素，而且刚应该关注采集到图像数据所应该包含的主要信息。采集哪些图像，选择哪种图像传感器，如何布置传感器在中药生产过程中的位置，决定了图像数据质量的好坏。

2 基于机器视觉的中药生产数据分析关键技术

基于机器视觉的中药工业图像大数据中包含了大量信息，其中部分无关信息会大大影响数据的处理效率及有效特征的提取。需要借助开源计算机视觉库（OpenCV）、HALCON（德国MVtec公司开发的机器视觉算法包）等图像处理工具，将碎片化的图像信息转变为成高质量、高密度的特征信息，然后利用模式识别、深度学习等方法，并结合中药制药专业理论知识和生产经验，建立可靠地视觉检测模型，将过程数据可视化，为解决中药生产难题提供决策力。

一般在进行图像分析前需要进行图像数据清洗，即将无关信息较多、不具有目标特征代表性的图像进行修剪、删除，也可通高斯变换、傅里叶变换、小波降噪等方法减小图片噪音。如果采集到的图片量纲不同，可通过标准化统一图片尺寸，当采用3D成像或多光谱成像技术采集图像时，图片维度较高，应采取降维的方法对图像进行处理，一般图像分析需要将图片处理为2维的灰度图片。

       之后将进行图像特征提取，一般特征提取需要用到轮廓提取、Canny算子检测（由John F. Canny开发的多级边缘检测算法）、形态学变换等技术手段，这是中药生产大数据分析中最重要的部分。中药生产大数据多具有时序性、工序性、相关性等特点。从图片中提取特征变量，不仅反映了中药生产过程的关键属性，而且有助于模型的建立和解释，增强模型的预测性能，为中药企业在机器视觉的应用中创造核心竞争力。

3 机器视觉在中药智能制药领域中的应用及展望

与其他领域相似，中药生产同样包括人、物、态、环4个感知对象。针对不同的感知对象，课题组提出如图 1所示的基于机器视觉的中药生产管理技术路线图。

3.1 机器视觉+中药生产中的“人”

人是中药生产中过程中最大的不确定因素，人员的安全保障和规范化管理是中药企业发展中的重要一环，利用现代信息技术技术对中药生产中的“人”进行检测是中药企业智能化发展的关键一步。中药生产中的“人”主要指生产线上的工作人员，将机器视觉应用在“人”的检测主要包括安全保障和规范管理两个方面。

在安全保障方面，普遍存在于中药生产线中的大量高温高压高转速设备对员工的安全产生了潜在威胁，所以亟需建立一套人员安全预警系统来保障员工的生命安全。针对这个问题，可以通过机器视觉技术建立危险区域电子围栏，当工人靠近危险区域便及时提醒。类似的，在智慧城市领域有相关应用，主要用到了方向梯度直方图（HOG）特征提取及背景减除等技术手段。也可建立基于机器视觉手势控制系统，在一定距离通过手势控制完成设备操作，不仅实现了“人机合一”的真正物联网，而且保障了工人的操作安全。比如在家电智能控制领域，赵树言研究了7种常用手势的人机交互，识别率达到79%，且交互工作效率达75%。除此之外，还应该建立工人体态识别系统，如人体关键点的识别，对其不慎摔倒等状况进行识别，在短时间内对其进行救助。

在人员规范管理方面，工作人员的不规范操作是影响洁净区卫生状态的最大因素之一，可根据目标检测的思维建立规范化操作视频图像库，对不规范佩戴口罩，进入洁净区不洗手等违规行为进行检测识别，也可利用OpenPose（卡内基梅隆大学开源项目）等人体关键点检测技术及时发现违规行为并及时纠正，并且可以基于机器视觉对作业人员工作准则（SOP）进行量化，一方面规范行为操作，另一方面也将高质量的操作流程记录保存，解决隐性知识无法传承的问题，为岗位人员更替提供依据和保障。

       总的来说，将机器视觉技术应用到中药生产中的“人”，就是解决生产过程中的人流合规化问题，即通过视觉识别的方式将工作人员的基本信息和其岗职能信息相联系，预判可能发生的危险并防止无关工作人员进入危险区域，工况发生时，快速通知相关职能人员到现场实施设备复位。通过视觉信息匹配工作人员权限，进而控制规定工作人员可以到指定岗位完成其任务，以使工人在安全高效无接触式的生产环境下完成其职能。

3.2 机器视觉+中药生产中的“物”

中药生产中的“物”包括药材饮片、成品以及每个工序产生的中间体。在中药饮片检测方面，已有学者做出相关研究，其主流的思路一般分为“辨形”和“辨色”。侯青等通过简单的阈值分割对叶片中气孔数进行统计，为叶类中药视觉检测提供了支持；梁丽金等从防风药材的显微图像中提取木栓层、韧皮部、油管等主要形态结构的特征，并对4个产地的防风药材进行了划分；贾伟等通过Tamura方法比较研究了12种中药饮片切面的6个特征参数，为基于机器视觉的中药饮片检测提供理论依据。

       研究表明，中药的色泽与其药性及有效成分的含量息息相关，另外，根据采收期、产地和炮制方法的不同，药材的色泽也会表现出差异性。对于中药材的质量评价，由于颜色的波动往往要比形状纹理的波动要小，故在传统的药材鉴定中，颜色往往是作为药材质量评价的最根本依据。

       周明运用斑点、轮廓、最小矩形面积和凸包检测等算法先对异常饮片进行排除，再运用分水岭、颜色直方图等算法分析饮片表面颜色特征，进而对其进行等级判定，最终完成对大黄饮片的计算机视觉分析。钱丹丹等[66]对采集到的大枣饮片图像进行面积、颜色H分量值和缺陷面积百分比的特征值提取，并以这3个特征值作为大枣品质分级的特征参数输入到朴素贝叶斯分类器进行优、中、劣等级区分，识别率分别达到96%、92%、94%，高效、精确地完成分类工作，适应大规模中药饮片生产检测，弥补了人工质检的不足。

在成品质量的检测方面，胡安翔[67]通过VIBE（一种视频序列背景检测与减影技术）和基于像素的自适应分割器（PBAS）两种背景减除算法联合支持基向量机、反向传播（BP）神经网络两种分类器，并利用Faster-R-CNN及VGG16神经网络对中药片剂进行缺陷检测；刘君动等依托CIELab颜色空间实现了丹参多酚酸溶液的颜色检测，提出了中药注射剂的图像检测方法；姚冠宇等通过边缘匹配定位口服液瓶，并采用两帧差分法对轮廓中的异物进行检测，可对中药口服液中异物进行很好地识别。通过这些检测方法填补了中药制剂成品检测应用中的一些空白，提高了中药制剂成品质检的自动化程度，进而提升了中药制剂安全性。

然而，中药生产工序的复杂性决定了只在源头和终点对其质量进行控制是远远不够的，对提取、浓缩等工序产生的中间体的质量数据监测同样具有重要意义。目前常用的中间体质量检测方法大多是基于微观有效成分的含量测定，检测耗时费力且不具时效性，不能满足在线检测的需求。

       中药制药过程工艺繁多，通过机器视觉检测技术，从宏观角度检测全过程物料变化规律，及时检出物料异常状态并对工艺参数进行修正，对中药产品的一致性评价具有重要意义。而且通过视觉特征匹配，可以使生产物料、中间体及产品信息相关联，解决物流自动合规运转问题，再结合之前提到的“人”的机器视觉化，进而控制“物”由指定的“人”运往相对应的位置。通过图像视频数据作为基础，使物料加工信息化，实现物料生产质量等多环节的统一管理以及生产过程质量的可追溯。

3.3 机器视觉+中药生产中的“态”

中药生产中的“态”指状态，包括设备的工作状态和物料在生产过程中所处的状态。由于中药制药行业智能化进程缓慢，我国大部分制药企业仍处在工业2.0的水平，设备仪表为简单的电子仪表或者指针式仪表，这类仪表不能直接输出数字信号到数据收集系统，需要人工巡检，手动记录数据，不但耗时费力且存在主观性问题。中国的电力系统同样存在这些问题，不过再近些年的电网智能升级改造中，机器视觉技术大量被使用，在传统指针式仪表检测中，徐冬生采用Canny边缘检测，并进行Hough（1962年由Hough提出）直线检测确定仪表指针位置已获得读数。

       刘杨等将机器人采集的仪表图像通过Lucy-Richardson方法复原，运用同心圆环搜索法识别指针角度，比传统的Hough变换算法计算量小且运行速度快，读数效果好，在大幅降低人力成本的同时，避免了人工读数带来的误差。这对指导中药生产装备智能升级具有很高的指导价值。

履带的工作状态也是值得关注的点，中药生产装备中存在大量履带，如提取罐进料传送带、带式干燥机干燥履带等，履带承载物重量过大、维护不及、转速过高等都会导致安全问题。在智慧矿山领域存在同样的问题，一些学者研究了基于机器视觉的传送履带智能控制方案，通过视频数据，在对输送带进行工况监测的同时对输送量进行计算，并对传输速度进行智能调节，通过机器视觉监测传送履带的各项视觉参数，可实时监测设备的工作状况并对其进行智能控制，节约企业能源的同时避免了意外发生。

此外，中药生产过程包含大量物理化学反应，需要掌握关键过程参数以控制产品质量。但是由于一些生产设备具有高温高压高真空等特殊性质使得过程参数无法准确测量只能通过工人的经验进行参数设置，这大大影响了产品质量的一致性，也使企业担负了更高的风险。其实这些生产过程中的物化反应大多都存在起泡、变色等现象，这些现象包含了大量的过程物料参数信息，通过机器视觉的方法将这些图像数据收集起来，与温度、浓度等物料参数进行比对分析，建立合理的控制模型，可对物料的状态提前进行预测，以获得设备最佳控制参数。相关检测建模方法在智慧矿山、核工业等领域都已成熟应用。

通过机器视觉的方式将原本不可见的设备状态可视化，弥补了生产过程关键工艺参数不可测的短板，而且以工位为单位实现了人、机、物的一体化，在保障生产质量的同时，使企业获得生产过程的关键工艺参数，这是中药生产过程智能升级的根本，也是质量数字化的关键。质量数字不仅保证了药品质量的稳定性和均一性，也将形成药品企业的核心竞争力。

3.4 机器视觉+中药生产中的“环”

中药生产中的智能化最终要体现在“环”的检测上，如车间人数统计、物料摆放位置、工具挪用情况等，这些信息的掌握对于企业生产资源的合理调度具有很大帮助。在智慧城市中，王敬仁等[15]通过树莓派平台搭建人脸识别系统实现地铁人流量统计并进行分流预警，有效解决了拥堵问题。这对于中药企业具有很好的借鉴意义。

在中药智能仓库的建设方面，要求通过机器视觉技术对药材位置等信息准确统计，这属于机器视觉测距定位及三维建模的范畴。如在智慧电网中的审计工作，肖琴等基于双目视觉法的GRBD深度相机的研究了距离检测方法和基于活动目标追踪的塔杆数量统计法。

       在中药智能仓库中，同样存在测距和统计等任务，结合机器视觉技术可轻松获取货架的位置、货架之间的距离以及货物所在的货位等信息，这对建立仓库的立体三维模型具有很大帮助，通过机器视觉技术建立精确的中药智能仓库三维模型，再结合“物”的视觉系信息化，进而可实现饮片的数字化入库与出库，在满足给定优化目标组合的前提下，可实现不同等级的饮片调配组合，同时减少仓库囤积时间，优化物料自动化转运路径的同时解决了保证物料存放质量的难题。

智能制造也是绿色制造，节能减排也是中药产业智能化升级重要任务。中药生产车间存在大量耗电耗能系统，不必要且过度的空调、照明系统的使用都会造成能源浪费。在智能家居领域，周浩通过机器视觉识别室内人员情况以实现房间光线强弱和分布的智能调节，节约并有效利用能源同时提升了生活环境的舒适度。这种基于机器视觉的能源配置系统可用于精益生产物耗与能耗管理及优化。公用系统如空调系统的监测，滤网更换，依据车间内的人员数量、设备数量，对空调循环、回风次数等参数进行优化，进而在保证生产车间舒适性与安全性的同时使能耗最低。

4 结语

中药生产过程质量智能优化控制依赖于生产过程中各生产要素的数字化状态采集与过程建模。机器视觉自动检测技术具有快速、无损的优势，认为机器视觉有助于实现制药过程中涉及的人、物料、仪器设备、环境的数字化客观表征，理解他们与药品质量的相互关系，解决中药生产问题中的复杂性和非线性，并更好地制定规范和规划更安全的生产环境。但是目前还存在着很多局限性，亟需开展相关研究，以达到中药制药过程质量的动态优化调控。深度学习、人工神经网络等的快速发展使得机器视觉检测技术精度更高，使用更广，加上图形处理器（GPU）等计算设备的快速发展，使其在未来食品、药品等质量检测中应用前景广阔。

       因此，研究准确、轻量、快速、高效的机器视觉检检测模型仍是未来机器视觉检测领域的重点。此外，由于中药种类繁多，成分复杂，批次间又存在差异，实现一种通用中药检测模式仍是一大挑战，这不仅要控制中药原药材的质量，还需要在中药生产的每个环节关注物料的关键信息。随着机器视觉技术的不断发展，基于机器视觉的中药质量检测、生产过程的状态识别、以及生产车间自动化现场管理的应用前景会更加广阔。

基金项目:重大新药创制科技重大专项（2018ZX09201011）；中国工程科技中长期发展战略研究项目（2019-ZCQ-10）。

责任编辑：xj

原文标题：机器视觉检测技术及其在中药智能制药中的应用展望

文章出处：【微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。