基于高光谱图像与光谱特征融合技术的鸡蛋新鲜度无损判别模型的建立

引言

鸡蛋新鲜度等级评价是鸡蛋品质检测研究中一项重要的工作。近年来，国内外学者运用介电特性、电子鼻、机器视觉、近红外光谱分析等技术在鸡蛋新鲜度无损检测领域进行了相关理论研究。研究表明，可以通过介电特征建立鸡蛋的电磁特性与其内部成分含量的关系，建立鸡蛋新鲜度无损判别模型。在鸡蛋腐化过程中，营养物质会被微生物分解而产生NH3、H2S、CH4等特殊气体，然后通过蛋壳上的气孔排出，可通过电子鼻气敏传感器对挥发性气体的组成及浓度进行分析，实现鸡蛋内部品质的检测，但电子鼻分析技术对传感器灵敏度要求较高。用机器视觉对鸡蛋检测无须对样品进行特 殊处理，但在应用过程中，鸡蛋摆放位置、表面亮斑、鸡蛋表面杂质以及鸡蛋的蛋壳形状等因素都会对机器判别准确率产生较大影响。近红外光谱分析法通过采集鸡蛋样本的透射或者反射光谱图， 建立待测目标与吸光度之间校正模型来实现对未知样本的预测，但近红外光谱不能体现鸡蛋的外在图像特征。蛋壳是鸡蛋的重要组成部分，尽管其本身很少用于食用，但是对鸡蛋的运输、保存，乃至内部品质的影响至关重要。鸡蛋新鲜度无损检测的现有方法，各自都有局限和不足，且检测效率较低。

近年来，高光谱成像技术在农畜产品品质检测方面得到了广泛应用。高光谱成像技术获取的样本信息具有更广的维度，集光谱分析和图像分析于一体。光谱信息可用于表征检测物质内部属性，图像信息可用来代表检测物质的外观特征。通过用可见 /近红外高光谱成像技术建立鸡蛋新鲜度无损检测判别模型，表明基于高光谱成像技术的鸡蛋新鲜度无损检测是可行的。王巧华等采用近红外高光谱技术对白壳蛋新鲜和不新鲜两个等级进行成功判别。目前高光谱应用于鸡蛋新鲜度的研究主要应用其光谱信息，忽略了高光谱成像独有的图像信息，进而丢失了样本的外在图像特征。

应用高光谱成像技术评价鸡蛋新鲜度具有良好的理论基础和可行性，满足快速、无损、准确检测鸡蛋新鲜度的需求。本研究拟采用高光谱透射成像技术，以鸡蛋为研究对象，采用哈夫单位为鸡蛋新鲜度评价标准，采集不同新鲜度等级鸡蛋的500 ～1 000nm波比的高光谱信息，利用连续投影法筛选出特征波长，对特征波长对应的高光谱图像进行图像主成分提取，并提取前三维主成分图像的灰度共生矩阵纹理参数，建立基于并行式特征融合的粒子群算法 寻优支持向量机的新鲜度判别模型。在并行式特征融合模型的基础上，提出递进式特征融合方法，采用方向梯度直方图算法提取特征波长对应高光谱图像的图像特征，分别建立基于方向梯度直方图特征的多模型共识策略和深度残差网络( ＲesNet) 50 模型的鸡蛋新鲜度判别模型。通过比较不同的特征融合方法和建模方法对鸡蛋新鲜度等级的判别效果，选出最优模型，以期为鸡蛋新鲜度等级快速、高效无损判别提供理论支撑与应用实例。

实验方案

2.1 鸡蛋新鲜度等级判定方法

根据我国农业行业标准文件，鸡蛋的哈夫单位值是衡量鸡蛋新鲜度的关键性指标。哈夫单位值的国标测定方法: 通过高精度天平称量鸡蛋质量，打破鸡蛋壳倒出鸡蛋液于干净的玻璃平面上，游标卡尺测量蛋黄周围浓蛋白的厚度。哈夫单位计算公式见式。

HU=100 × lg(H+7.57－1.7G0. 37)

HU为哈夫单位; H为蛋白高度，mm; G 为鸡蛋质量，g。共测得90枚样本的哈夫单位值，根据测得的哈夫单位值范围不同，依据国标定义4种鸡蛋等级，分别为特级、一级、二级、三级。“特级鸡蛋”和“一级 鸡蛋”合并为可食用类别，“二级鸡蛋”为不建议食用类别，“三级鸡蛋”为不可食用类别。具体分类见表 2。

2.2 高光谱数据采集

2.2 1 高光谱系统校正

高光谱成像系统在数据采集过程中，受到光源在各波段强度分布不均匀以及存在暗电流噪声的影响，会造成采集的高光谱图像质量降低。为了降噪及修正图像，可对原始高光谱系统进行黑白板校正。高光谱照相机扫描到的鸡蛋高光谱原始图像，经黑白板校正转换为相对透射图像，校 正公式见式。

Ｒ' = S － D W － D

Ｒ'为校正后的光谱图像，S为采集到的暗场原始光谱图像，W 为拍摄光源得到的白板图像，D为关闭镜头后的全黑图像。

2.2 2 数据采集

分别采集90枚不同新鲜度鸡蛋样品的高光谱图像，为保证实验数据不受非系统光线干扰，所有实验均在常温暗室中进行。 

1) 光谱采集前预热 20 min，待照明系统稳定开始检测工作。

2) 检查软件与仪器的连接状况，连接成功进行下一步操作。

3) 放置样品于载物台，粗调成像光谱仪的扫描速度和曝光时间。

4) 黑板校正: 遮盖镜头，采集多个暗电流噪声。

5) 白板校正: 将光源移至镜头下，采集光源信 号谱图作为白板信号。 

6) 经反复 调 整，确定仪器设置参数: 帧 频 为 30 Hz，积分时 间 为 31.886ms，扫 描 速 度 为 4.09mm /s。

2.2 3 鸡蛋原始高光谱信息采集

采集到的鸡蛋透射高光谱伪彩色图像如图1。提取90个不同新鲜度鸡蛋的感兴趣区域的平均光谱见图2。

 

光谱与图像特征提取方法

3.1 光谱特征提取

由于高光谱数据维度较大，存在信息重叠、共线性度高等问题，故采用连续投影算法进行光谱特 征提取。SPA是一种前向循环选择特征方法，是将某一个单波长作为起始波长，进行多次循环选取计 算，在每次循环中计算选中波长在未选中波长上的投影，将最大投影向量对应的波长自动选入特征波长组合。经SPA算法选出的特征波长组合中的每一个波长的共线性关系最小。

3.2 图像特征提取

图像信息是高光谱成像技术的特有特征，采用灰度共生矩阵算法和方向梯度直方图算法提取其图像特征信息。GLCM以图像像素的灰度值和位置信息作为参考量，通过分析图像空间中相邻区域间像素点的灰度值组合情况来描述图像的纹理特征。HOG算法应用在计算机视觉和图像处理领域中，是通过计算局部图像梯度方向信息的统计值，来实现物体检测的。

结果与分析

4.1 不同新鲜度等级鸡蛋的光谱信息分析

任意提取3个不同新鲜度等级鸡蛋的光谱信息，见3。

从图3可知，3种不同新鲜等级度的鸡蛋分别在 620、700、800 nm 波长附近的波峰呈现明显差异。620nm 附近波峰变化为橙色可见光的透射信息，主要是由于蛋壳颜色和蛋黄颜色的不同引起 的。700nm 附近处的波峰变化表征红色可见光的透射信息，3类新鲜度鸡蛋的透射率差别较大且可食用鸡蛋的透射率最高，不建议食用的鸡蛋次之，不可食用的鸡蛋透射率最低。产生这种现象的主 要原因是3种新鲜度鸡蛋的浓厚蛋白稀化程度依次增大，蛋清的黏度和透明度依次减小，蛋清的酸碱度依次变大，且蛋黄的形态逐渐变成液态，内部变得浑浊，导致鸡蛋的透射率依次降低。800 nm 附近的波峰变化为近红外光的透射信息，主要是由于N—H键振动和能级的跃迁引起的变化。鸡蛋内部的蛋白质部分发生裂解和变质现象，N—H键的稳定性被破坏，N—H键的含量下降导致此波段内透射率升高。该处透射率差异主要是3种 鲜度等级的鸡蛋内部蛋白质等营养物质的含量不同所引起的。

4.2 SPA特征波长提取结果

从图3可知，3种新鲜度等级鸡蛋在3个波峰附近有较大差异，采用 SPA算法提取表征差异的特征波长( 见图 4) 。SPA 筛选的特征波长数量与均方根误差( ＲMSE) 变化见图 4( a) 。经 SPA算法 提取的特征波长有6个，分别为606.83、676.27、740.62、807.91、880.88、905.27 nm，特征波长位置见图 4( b)

从图4(a)可知，当筛选的特征波长数为6个时，SPA 的均方根误差最小，为 0.3843，表明这6个波长对鸡蛋等级判别的效果最 佳。图4(b) 中， 606.83 nm 处的波长是橙色可见光有效波段，该波段处的差异主要是由鸡蛋壳颜色和蛋黄颜色的不同引起的; 676.27、740.62 nm处的波长是红色可见光的有效波段，该波段的差异主要是由鸡蛋壳的颜色不同造成的差异; 807.91 nm处的波长为N—H键伸缩振动敏感波段，该处透射率的差异主要由鸡蛋内部的蛋白质等营养物质的含量不同所引起的; 880.88 nm附近波段为C—H键 4 倍频伸缩振动活跃波段范围，该处表征鸡蛋内部的脂肪等含量的差异; 905.27 nm 附近波段处于O—H键伸缩振动波段范围，该波段的差异受鸡蛋内部水分含量不同的影响。

4.3 主成分图像提取结果

特征波长对应的高光谱图像见图5。利用ENVI 软件对图像进行主成分分析，根据主成分分量重构前三维图像见图 6。前三维图像的累计贡献率为95.75% 。

 

4.4 并行式高光谱图像与光谱特征数据融合建模结果

提取的主成分分析( PCA) 前三维图像的 GLCM 纹理特征参数，取其平均值作为该样本的高光谱图像特征，将光谱特征波段下的透射率与图像特征首尾相连，得到 90 个样本组成的并行式融合数据矩阵。

4.5 递进式高光谱图像与光谱特征融合建模结果

4.5.1 基于HOG-SVM的多模型共识策略方法建模结果与分析

针对SPA提取出的6个特征波长下的鸡蛋图像，应用HOG算法对鸡蛋图像进行特征提取，提取后的结果见图7。

首先分别建立基于HOG图像特征的6个单波长模型，随机2∶1划分样本集，训练集样本60个，预测集样本30个，则单波长模型对应的训练集图像60张，预测集图像30张。单波长模型的HOG-SVM建模结果见表4，单波长模型训练集的 图像误识别数见图 8，单波长模型预测集的图像误 识别数见图9。

 

从表4可知，单波长模型的预测集最高准确率为80.00% ，其他单波长模型的预测集准确率等于或低于70.00% 。从图8和图9可知，单波长模型对可食用鸡蛋类别的判别效果较好，对不可食用鸡蛋和不建议食用鸡蛋类别的判别效果不佳。

为了保证不同单波长模型对同一个样本判别为真和假的概率不相同，采用子模型联合建模策略，设定子模型联合个数为4和5。根据表4中单波长模型的识别率从高到低进行排序，固定判别准确率最 高的前3个波长，即807.91、606.83、740.62nm; 依次联合第4个单波长模型和第5个单波长模型进行建模判别。

联合第4个单波长模型进行判别，随机以2：1的比例划分样本集，预测集30个，则4个单波长对应的训练集60个，训练集样本图像240张、预测集样本图像120张。4个单波长联合的HOG-SVM 建模结果见表5。

4个单波长联合模型的训练集图像误识别数 见图 10，4个单波长联合模型的预测集图像误识别数见图 11。

从表 5 可知，4 个单波长联合模型的预测集最高准确率达82. 50% ，相对于单特征波长模型有小幅提升。从图10和图11可知，4个单波长联合模型的误识别比例有明显下降，表明联合模型比单波长模型整体识别效果更好。

固定判别准确率最高的前4个单波长，即807.91、606.83、740. 62、880.88nm。联合第5个单波长模型进行判别，随机2∶1的比例划分样本集，训练集60个，预测集30个，则5个单波长对应 的训练集样本图像300张、预测集样本图像150张。5个单波长联合的HOG-SVM 建模结果见表6，5个单波长联合模型的训练集图像误识别数见图12，5个单波长联合模型的预测集图像误识别数见图13。

 

 

从表6可知，5个单波长联合模型的预测集最高准确率达88.00% ，较单波长模型和4个单波长联合模型的判别准确率提高了8%左右，判别准确率有了明显提升，且误识别比例有了大幅降低。对 比表4、5和6可 得，当5个单波长联合时，即807.91、606. 83、740.62、880.88、676.27nm 建模判别效果最好，训练集判别准确率达89.00% ，预测集判别准确率达88.00%。

4.5.2 基于深度残差建模结果与分析

将SPA提取的特征波长下的高光谱图像作为输入，以3∶1的比例划分数据集，将90个样本的540张图像作为输入，随机选取180 张图像作为预测集。建立ＲesNet 50鸡蛋新鲜度判别模型，设置Epoch为50，设置batch size为10，学习率( lr) 设置为e－ 4，分类数设置为3。模型在训练过程中，有两项模型性能评价指标，分别是loss值和模型分析准确率。迭代50次训练时间为258 s，训练集判别准确率在89%附近波动，损失值收敛于0.30; 预测集判别准确率可达86. 67%，损失值收敛于0. 54。ＲesNet 50 的建模结果见表 7。

ＲesNet 50模型的判别准确率变化见图14，ＲesNet 50模型的损失值变化见图15。

 

对比并行式特征融合方法，基于递进式融合方法的模型判别性能有了明显提升。改善原因: 一方面，递进式特征融合是在模型学习了光谱特征后又对其相应图像进行数据挖掘，获取的信息更能够表征样本的属性; 另一方面，对判别方法进行改进，引入多模型共识策略可以更好地解决单模型出现的偶然性误判问题，多模型共识的结果更具有代表性;

深度残差网络增加了数据特征提取的层数，使得参 与建模的数据特征更显著，同时 ＲesNet 50 中引入 残差的概念提升了模型的性能。

讨论与结论

通过采用高光谱透射成像仪无损采集不同新鲜度等级鸡蛋的高光谱信息，提取其光谱特征和图像特征，分别采用并行式图谱特征融合和递进式图谱特征融合方法进行数据分析和建模，得出适用于鸡 蛋新鲜度的判别模型。

1) 在并行式特征融合方法中，建立基于SPA-GLCM特征融合的 SVM 等级判别模型，采用PSO优化模型，结果为训练集准确率为 85.00%，预测集准确率为76.67% 。

2) 在递进式特征融合方法中，建立基于SPA-HOG特征提取方法的多模型共识策略模型和深度ＲesNet 50模型，其中两种模型的训练集准确率都能达到89.00% ; 多模型共识策略模型的预测集准确率为88.00% ，深度ＲesNet 50模型的预测集准确率为86. 67% 。对比并行式融合方法，基于递进式融合方法的模型精度和性能有了明显提升。图像与光谱融合方法能实现对不同新鲜度等级的鸡蛋较为准确的判别，其中递进式融合方法的模型性能更好，且递进式融合方法中的多模型共识策略对不同新鲜度等级的鸡蛋判别准确率最高。由于鸡蛋种类和数量会对其准确度造成一定的影响，后期可以通过扩大实验样本的种类和数量，进而提高模型的判别精度和泛化性。

欢迎关注公众号：莱森光学，了解更多光谱知识。

莱森光学（深圳）有限公司是一家提供光机电一体化集成解决方案的高科技公司，我们专注于光谱传感和光电应用系统的研发、生产和销售。

审核编辑 hhy