基于高光谱特征融合的榛子霉变检测方法研究

张冬妍*,毛思雨,杨子健,陈诺,吴晨旭,马苗源

(东北林业大学 计算机与控制工程学院,黑龙江 哈尔滨,150040)

摘 要 为实现对榛子霉变的快速无损检测,研究将光谱特征与纹理特征融合并结合机器学习算法建立榛子霉变检测模型。采集400~1 000 nm的榛子样本高光谱图像,对样本的原始光谱使用标准正态变量变换法进行预处理,采用蜣螂优化算法、粒子群优化算法和连续投影算法3种特征波长选择方法对光谱进行特征选择;利用主成分分析法对高光谱图像进行降维,根据图像的贡献大小选择样本的最优主成分图像,结合灰度共生矩阵法提取样本4个角度上的5个纹理特征参数。分别基于样本光谱特征、纹理特征、光谱特征与纹理特征融合三类数据结合K最近邻算法构建榛子霉变检测模型。实验结果表明,基于蜣螂优化算法选择的特征光谱与纹理特征融合并结合K最近邻算法建立的模型效果最好,训练集和测试集准确率分别为99.20%和98.34%,实现了榛子霉变的快速无损检测。

关键词 高光谱成像;榛子;霉变;无损检测;特征融合;蜣螂优化算法

榛子是我国北方重要的经济作物,富含多种营养成分,在日常保健中具有降低胆固醇、补充营养、促消化等功效。但榛子在贮存过程中易发生霉变,其霉变产生的毒素具有强致癌性,且无法用普通烹饪方式消除,严重影响食品质量并对人类健康有很大威胁[1]。一些霉变榛子难以用肉眼辨别,用传统的人工方法鉴别霉变榛子具有局限性且耗时长;化学检测方法虽然能准确检测出毒素含量,但属于有损检测且不能对一批次的所有产品进行检测[2]。因此,快速准确无损地检测榛子霉变,对确保我国食品安全和人类健康意义重大,也是保护消费者健康的一项挑战。高光谱技术结合了光谱技术和图像技术的优势,能够同时获得被测样本的一维光谱信息和二维空间信息,在获取近乎连续的光谱信息的同时获取被测样本的图像特征,增强检测和识别性能,被广泛应用于霉变作物颗粒的检测[3]。目前已有很多国内外学者利用高光谱技术成功检测开心果[4]、杏仁[5]、花生[6]、小麦[7]等作物的霉变颗粒。

由于高光谱图像数据相邻波段相关性强,包含了大量冗余的特征,增加了计算成本和模型复杂性[8]。因此对数据进行降维并提取用于作物霉变检测的关键信息尤为重要。XU等[9]采集370~1 042 nm核桃的高光谱图像信息,探索带壳发霉核桃的无损检测方法,利用主成分分析法(principal component analysis, PCA)提取特征波长,建立的支持向量机分类模型对霉变核桃的整体识别准确率为93%。沈广辉等[10]采集了901.05~2 517.89 nm的健康和染病小麦的高光谱图像信息,基于竞争性自适应重加权算法筛选的8个特征波长建立最小二乘判别分析模型,对健康和赤霉病瘪粒识别正确率均达100%,实现了小麦赤霉病瘪粒的快速识别。刘欢等[11]以小麦健康籽粒和不完善籽粒(生芽粒、霉变粒、赤霉粒)为样本,将基于连续投影算法(successive projections algorithm, SPA)选取的10个特征波段的形态信息、纹理信息和光谱信息进行结合,建立的仿生模式识别分类模型的平均识别精度达到94.2%,与基于全波段光谱信息建立的小麦不完善粒鉴别模型的平均识别精度基本相当,对小麦不完善粒检测具有良好的效果,同时说明了在分类模型中,样本包含的信息越丰富,分类模型精度越高。殷勇等[12]提出了一种SPA融合信息熵的特征波长选择方法,提取819 nm最佳波长下的霉变玉米图像的纹理特征,采用Fisher判别分析进行鉴别,6个等级霉变玉米的鉴别正确率高达98.6%,降低了鉴别霉变玉米等级模型的复杂性的同时提高了模型准确率。

以上研究结果表明,将光谱特征与图像特征融合可以改善模型检测效果,若对数据进行合理降维可以进一步提高检测精度和效率,对榛子的无损检测有一定的参考价值。目前对于榛子霉变检测的研究较少,因此,本研究以东北地区火榛子为研究对象,采集健康榛子和霉变榛子样本的高光谱图像。提取榛子样本区域的反射光谱,并对提取的原始光谱进行预处理,利用蜣螂优化(dung beetle optimizer, DBO)算法、粒子群优化(particle swarm optimization, PSO)算法和SPA 3种特征波长选择方法对光谱进行特征选择;采用PCA对图像进行降维,对降维后的图像利用灰度共生矩阵(gray-level co-occurrence matrix, GLCM)法提取样本的纹理特征。分别基于光谱特征、纹理特征、光谱特征与纹理特征融合三类数据结合K最近邻(K-nearest neighbor, KNN)算法建立榛子霉变检测模型,寻找用于榛子霉变检测的最佳模型,为榛子霉变快速无损检测提供新的方法和科学的理论支撑。

1 材料与方法

1.1 实验材料

实验所用榛子样本为2023年从黑龙江省伊春地区购买的野生火榛子,将榛子去壳后,挑选籽粒饱满,颗粒大小均匀的榛子仁进行实验。依据GB 19300—2014《食品安全国家标准 坚果与籽类食品》对霉变粒的定义,即表面出现霉斑的榛子判定为霉变榛子,选取自然状态下发霉的榛子用于实验。最终挑选出190粒榛子样本用于实验,其中健康榛子样本95粒,霉变榛子样本95粒。

1.2 高光谱图像采集与校正

高光谱成像的采集设备采用LabScanner双光源扫描高光谱成像系统,系统由高光谱相机、光源、电动控制移动平台及计算机组成。高光谱相机型号是 SPECIM FX 10,光谱为400~1 000 nm,共有224个波段,光谱分辨率为5.5 nm。光源由2组150 W的石英卤素灯泡组成,一组3个,共6个,固定在系统的支撑架上,交叉照射平台上的被测物体。底座中的电机通过铰链带动平台构成线性位移系统。计算机安装了软件Scanner 2017来控制整个系统并保存采集的高光谱图像。图1为高光谱成像系统示意图。

图1 高光谱成像系统

Fig.1 Hyperspectral imaging system

在使用仪器进行高光谱数据采集前,对仪器开机进行30 min的预热,以保证光源和高光谱相机的热稳定性及时间稳定性。将榛子样本放置在图1所示的位移平台上进行扫描。通过Scanner 2017软件设置相关参数,图像帧率为20帧每秒,平台移动速度20 mm/s,扫描速度5.5 mm/s,曝光时间设置为10 ms以保证相机不过曝。高光谱图像系统获得的原始图像需要进行黑白校正,从而排除光线和暗电流的干扰,根据公式(1)得到计算校正后的图像R[13]:

(1)

式中:R是校正后的高光谱图像,采集标准白色校准板的图像Rw,然后采集全黑标定图像Rd,原始的高光谱图像为Ri

1.3 光谱数据处理

采集到的高光谱图像利用ENVI 5.3软件进行样本光谱数据的提取,选择图像中榛子样本的整个区域作为感兴趣区域(region of interest, ROI),计算ROI内所有像素的平均反射率获得每个样本的平均光谱,对每个榛子样本的平均光谱进行数据处理。

1.3.1 光谱预处理

在高光谱图像的采集过程中,由于受榛子样本大小差异、表面不均匀以及实验环境等因素影响,会存在噪声、基线漂移及由于散射水平不同而带来的光谱差异等不良现象。因此,许多光谱预处理算法被应用于解决上述问题[14]。本文比较一阶导数(first derivative,FD)、多元散射校正(multiple scatter correct,MSC)、标准正态变量变换(standard normal variable transformation,SNV)3种预处理算法,选取最优预处理方法,以消除样本的基线偏移、散射、样本尺寸、光源以及光路导致的误差。

1.3.2 光谱特征波长选择

特征波长选择可以在降低光谱数据维数的同时,有效地保留数据所代表的特征,降低模型复杂程度,改善模型预测结果。

a)DBO算法是XUE等[15]于2022年提出的一种新的群体智能优化算法,该算法模拟自然界蜣螂的生活习性,构建了基于蜣螂“滚球-产卵-觅食-偷窃”4种行为的搜索框架,具有很好的全局搜索能力[15]。本文将光谱特征波长选择问题抽象成蜣螂行为的搜索寻优问题,如果光谱由n个波长构成,则构造一个n维的向量空间,将每个波长看成是一个特征,并对其进行二进制编码,其中“1”表示当前波长被选择,“0”表示当前波长未被选择[16]。设置蜣螂种群,分别在n维空间中执行滚球、产卵、觅食或偷窃行为来更新蜣螂位置,其中每一个蜣螂代表一个波长子集,以最大化分类精度和最小化所选波长数目来构造适应度函数,如公式(2)所示,将最小的适应度函数值设置为最佳值,以适应度函数为准则不断更新最优位置直到达到预设最大迭代次数,输出最优位置并进行解码,获得选择的最佳特征波长子集[17]

(2)

式中:fitness(i)为第i个个体的适应度值;RN分别为选择的波长数和波长总数;αβ为权重参数,这里取α=0.7,β=1-α;Acc(i)为根据所选波长子集进行分类所得的分类精度。

b)PSO算法是一种用于从多个特征中选择最相关的波长以提高数据分类或回归性能的方法。其原理是模拟鸟群觅食的行为,每个粒子代表一个波长子集,粒子群在解空间中搜索最优子集以最小化目标函数[18]。利用PSO算法进行特征波长选择时也使用与DBO算法一样的方法对波长进行二进制编码,并选取相同的适应度函数对所处的当前位置进行评估,从所有粒子中选择具有最佳适应度的粒子,得到最终选择的特征波长子集。

c)SPA是前向特征变量选择方法。SPA利用向量的投影分析,通过将波长投影到其他波长上,比较投影向量大小,以投影向量最大的波长为待选波长,然后基于矫正模型选择最终的特征波长,SPA选择的是含有最少冗余信息及最小共线性的变量组合[19]

1.4 图像数据处理

1.4.1 图像预处理

高光谱图像数据量大,维度高,而且相邻波段的图像携带大量重复信息。在进行图像特征提取前,需要进行图像数据降维。PCA已广泛应用于基于高光谱成像技术的食品和农产品的检测中,并取得了满意的结果。PCA是一种线性变换算法,利用PCA计算光谱数据的线性投影,将高光谱图像转换为主成分图像序列。利用图像的协方差矩阵计算加权值,然后将各波长原始图像的线性和乘以相应的权重系数,得到各波段的主成分图像,这些图像包含了原始高光谱图像中的主要信息[20]

1.4.2 图像纹理特征提取

图像的纹理特征是图像特征中常见的,GLCM是一种提取纹理特征的统计分析方法。通过GLCM方法对灰度图像进行计算得到共生矩阵,然后计算共生矩阵的部分特征值,分别表示图像的某些纹理特征。GLCM能够反映图像灰度方向、相邻间隔、变化幅度等综合信息,是分析图像局部模式及排列规则的基础[21]

1.5 建模算法

KNN算法是一种常见的监督学习算法,在模型训练中,通过计算训练样本和测试样本中每个样本点与其他点的欧氏距离,随后对所有距离值进行排序,选择前K个最小距离的样本,通过对这K个样本的标签进行投票得到最终的分类类别[22]

1.6 模型评价指标与分析软件

本文以准确率(accuracy, Acc)、F1-score以及Kappa系数对建立的模型进行评价,其中准确率值越接近100%越好,F1-score和Kappa值接近1表示模型性能越好,说明其预测结果与实际观察结果高度一致[23]。上述评价指标计算如公式(3)所示:

(3)

式中:TP为真正例,即真样本被判别为真样本的数量;FN为假反例,即真样本被判别为假样本的数量;FP为假正例,即假样本被判别为真样本的数量;TN为真反例,即假样本被判别为假样本的数量。

实验采用ENVI 5.3、PyCharm Community Edition 2020.3.2和MATLAB R2023b软件进行数据处理,其中高光谱图像的背景剔除和原始光谱数据的提取在ENVI 5.3中进行,原始光谱数据的预处理在PyCharm Community Edition 2020.3.2中进行,光谱特征选择、图像特征选择和榛子霉变检测模型的建立在MATLAB R2023b软件中进行。

2 结果与分析

2.1 光谱数据分析及预处理

提取高光谱图像400~1 000 nm榛子样本的光谱信息(图2),190个榛子样本的光谱趋势基本一致,无明显差异。分别求取健康榛子与霉变榛子样本的平均光谱(图3),从图3中观察到霉变榛子比健康榛子的平均光谱反射率低,这可能是榛子受到霉菌侵染后内部化学成分发生了变化,使其对光的吸收能力增强导致的。因此,在可见-近红外高光谱范围内二者具有可分性,可以用于榛子霉变检测[24]

图2 样本原始光谱曲线

Fig.2 Raw spectral curves of hazelnut samples

图3 健康榛子和霉变榛子样本平均光谱曲线

Fig.3 Average spectral curves of healthy and mildew hazelnut samples

如图2所示,样本的原始光谱(RAW)中包含了较多噪声,本实验对原始光谱分别采用MSC、SNV和FD三种方法进行预处理,基于原始光谱及不同预处理方法后的光谱建立的榛子霉变检测模型的检测结果如表1所示。

表1 不同预处理方法下的模型检测结果

Table 1 Detection results of models with different preprocessing methods

分类模型训练集测试集Acc/%F1-scoreKappaAcc/%F1-scoreKappaRAW-KNN90.910.920.8287.720.880.75MSC-KNN91.740.900.8991.220.910.82SNV-KNN94.880.940.9193.740.930.89FD-KNN90.990.920.8689.470.910.79

由表1可知,与基于原始光谱建模的模型检测效果相比,经预处理后的光谱建立的模型整体检测精度均有所提高。基于SNV预处理后的模型相较于其他方法效果最佳,训练集和测试集准确率较基于RAW建模的检测效果分别提升了3.97%和6.02%,F1-score和Kappa系数也均有所提高。经SNV预处理后的图像如图4所示,结果表明,利用SNV可以很好地消除光谱中不同样本之间的强度差异,修正榛子样本光谱间的相对基线偏移和平移现象,因此采用SNV预处理后的光谱进行后续研究。

图4 经SNV预处理后的样本光谱曲线

Fig.4 Spectral curves of samples after SNV preprocessing

2.2 纹理特征提取与分析

高光谱图像的每个像素对应一个光谱,每个波段对应每个波段下的单个波长图像。本研究的光谱为400~1 000 nm,共224个波段匹配224张图像。PCA不仅可以降低高光谱数据维数、增强目标区域的信息,而且可以消除噪声。因此,在本研究中,对所有榛子样本图像进行主成分降维,表2展示了提取的单个榛子样本的2张主成分图像,其中健康榛子样本前2个主成分总贡献率为99.87%,其主成分贡献率分别为99.71%和0.16%,霉变榛子样本前2个主成分总贡献率为99.67%,其主成分贡献率分别为98.23%和1.44%,因此使用最优主成分图像PC1进行后续纹理提取。

表2 榛子样本的主成分图像

Table 2 Principal component images of hazelnut samples

样品样本原始图像PC1PC2健康榛子霉变榛子

基于榛子样本的PC1图像,利用GLCM方法提取能量、相关性、逆差距、熵、对比度5个纹理特征参数。其中能量能反映图像灰度分布的均匀程度和纹理的粗细程度;相关性描述的是GLCM元素间的相似度,是对灰度线性关系的衡量;逆差距能反映可视纹理的局部平稳性;熵可以表现图像的复杂程度;对比度能反映图像的清晰度和纹理的沟纹深浅。由于不同方向和距离的图像可以形成不同的灰度共生成矩阵,因此分别提取0°、45°、90°和135°四个方向上的5个特征参数。一张纹理特征图像对应一个特征参数,因此一个样本对应20个纹理特征参数,图5为健康榛子与霉变榛子样本5个特征参数平均值的对比。从图5中可以看出,健康榛子的能量、相关性、逆差距的均值高于霉变榛子,熵、对比度的均值低于霉变榛子,二者在5个纹理特征参数下均有可分性。结果表明,利用GLCM提取的纹理特征可以进行榛子霉变检测。

a-能量;b-相关性;c-逆差距;d-熵;e-对比度

图5 健康榛子与霉变榛子样本5个特征参数平均值的对比

Fig.5 Comparison of the average values of five characteristic parameters of healthy and mildew hazelnut samples

2.3 基于全光谱与纹理特征融合的榛子霉变检测

首先将样本按照7∶3的比例划分为训练集和测试集,并将光谱特征和纹理特征数据进行归一化处理,然后利用KNN算法结合十折交叉验证法建立榛子霉变检测模型。分别构建基于全光谱、纹理特征、全光谱与纹理特征融合数据结合KNN算法的榛子霉变检测模型,模型检测结果如表3所示。

表3 不同建模特征下的模型检测结果

Table 3 Detection results of models with different features

建模特征训练集测试集Acc/%F1-scoreKappaAcc/%F1-scoreKappa全光谱94.880.940.9193.740.930.89纹理特征93.270.930.8691.930.920.84全光谱+纹理特征95.910.960.9294.260.940.91

由表3可知,3个模型训练集和测试集准确率均超过90%,表现出了良好的性能,这表明全光谱和纹理特征都能提供用于榛子霉变检测的有效信息。基于全光谱与纹理特征融合建立的模型效果最佳,其准确率、F1分数和Kappa系数均优于单独使用全光谱或纹理特征建立的模型。以上结果表明,特征融合可以在一定程度上提高模型的判别效果,为榛子霉变检测提供了更可靠的解决方案。

2.4 特征波长选择

利用全光谱进行榛子霉变检测时,虽然取得了较好的预测结果,但全光谱数据中包含了一些与榛子霉变检测关联度较低的无效波长。这些无效波长的存在可能会增加模型的复杂程度,影响模型预测精度,限制实际生产的使用。为了优化模型并提高其效率和准确性,对经过SNV预处理后的光谱数据分别基于DBO算法、PSO算法和SPA进行特征波长选择。

2.4.1 DBO算法特征波长的选择

基于DBO算法选择特征波长时,将蜣螂种群的大小设置为30,30个种群个体中有6个蜣螂执行滚球行为,6个蜣螂执行繁殖行为,7个蜣螂执行觅食行为,剩下的11个蜣螂被定义为小偷蜣螂用来执行偷窃行为,最大迭代次数Tmax设置为100次。特征选择优化曲线如图6所示,随着迭代次数的增加,适应度函数值逐渐减小,当迭代次数达到50左右时趋近于稳定,最优适应度值收敛为0.028,这表明算法已经找到了一个接近最优解的解决方案,将最优位置进行解码,得到样本数据基于DBO算法选择的10个特征波长占全部波长的4.5%。

图6 DBO特征波长选择优化曲线

Fig.6 DBO characteristic wavelength selection optimization curve

2.4.2 PSO算法特征波长的选择

基于PSO算法选择特征波长时,将粒子种群的大小设置为30,最大迭代次数Tmax设置为100次。特征选择优化曲线如图7所示,随着迭代次数的增加,适应度函数值逐渐减小,当迭代次数达到60左右时趋近于稳定,最优适应度值收敛为0.179,将最优位置进行解码,得到样本数据基于PSO算法选择的69个特征波占全部波长的30.9%。

图7 PSO特征波长选择优化曲线

Fig.7 PSO characteristic wavelength selection optimization curve

2.4.3 SPA特征波长的选择

在采用SPA进行特征波长筛选时,首先需要计算SPA在不同的有效波长数下的均方根误差(root mean square error of calibration set,RMSEC),通常将最小的RMSEC值对应波长确定为最佳的特征波长数。由图8可知,特征波长数为6之前时,RMSEC处于显著下降状态,之后随着选择数量的增加,RMSEC处于较平稳的变化状态。当选择波长数为6时,RMSEC为0.174,表明特征波长所含健康与霉变榛子差异信息与真实值之间具有较高的一致性。得到样本数据基于SPA选择的6个特征波占全部波长的2.7%。

图8 SPA波长保留趋势

Fig.8 SPA wavelength retention trends

基于DBO算法、PSO算法和SPA三种特征波长选择方法分别选择了10、69和6个特征波长,特征波长的分布如图9所示。

图9 不同方法选择的特征波长分布

Fig.9 Distribution of characteristic wavelengths selected by different methods

2.5 基于特征光谱与纹理特征融合的榛子霉变检测

将DBO算法、PSO算法和SPA选择的特征光谱与纹理特征结合,分别构建基于特征光谱、特征光谱与纹理特征融合数据结合KNN算法的榛子霉变检测模型,模型检测结果如表4所示。

表4 基于特征光谱、特征光谱与纹理特征融合数据的不同模型检测结果

Table 4 Detection results of different models based on spectral features, texture features, fusion of spectral features, and texture features

建模特征特征数量训练集测试集Acc/%F1-scoreKappaAcc/%F1-scoreKappaDBO特征光谱1096.640.970.9396.170.960.92PSO特征光谱6995.560.950.9194.740.950.89SPA特征光谱694.240.940.9292.980.930.86DBO特征光谱+纹理特征3099.200.990.9898.340.980.97PSO特征光谱+纹理特征8996.200.960.9295.050.950.90SPA特征光谱+纹理特征2695.790.960.9093.150.930.86

由表4可知,与基于全光谱建立的模型相比,3种特征波长选择方法均能对用于榛子霉变检测的特征进行选择,降低模型复杂程度。基于SPA特征光谱建模的特征数量最少,但测试集准确率较全光谱特征模型低0.76%,说明SPA在显著降低光谱数据维数的同时删除了一些有用的信息,降低了模型的预测能力。基于DBO特征光谱和PSO特征光谱建立的模型效果都得到了提高,但PSO算法所选特征数量较多,包含了一些不相关的信息,增加了计算成本;而DBO算法有效降低了光谱数据维数,保留了对榛子霉变检测有用的建模信息,相较于基于全光谱建立的模型,训练集和测试集准确率分别提升了1.76%和2.43%,F1-score和Kappa系数也高于其他2种方法建立的模型,表现出了相对最优的检测性能。

同时,如图9所示,3种算法选择的特征波长有很大的重叠,DBO算法选择的10个特征波长分别为:442.26、540.24、574.96、612.53、685.50、745.45、764.62、852.83、888.93、947.58 nm。MOSCETTI等[25]提出在550~600 nm O—H键的振动与化合物中的羟基有关,能够敏感地探测榛子油脂的氧化状态,反映出榛子内部的氧化差异;在700~1 000 nm为O—H的三倍频,可以观察到明显的水分吸收特征,特别是在霉变榛子中,由于微生物的存在,水分呈现出显著的变化。证明了DBO算法在榛子霉变检测问题中的有效性。

进一步将DBO算法、PSO算法和SPA选择的特征光谱与纹理特征融合来建立榛子霉变检测模型,基于融合特征建立的模型相较于单独使用特征光谱数据的模型检测精度均有所提高,验证了特征融合的有效性。基于DBO特征光谱与纹理特征融合建立的模型训练集和测试集准确率分别达到了99.20%和98.34%,较全光谱与纹理特征融合建立的模型分别提高了3.29%和3.08%,F1-score和Kappa系数接近于1,其测试集预测结果如图10所示,仅有一个健康榛子被误检测为霉变榛子,有效实现了榛子霉变的无损检测。以上结果表明,将光谱特征与纹理特征融合进行榛子霉变检测是可行的,且DBO特征光谱与纹理特征融合并结合KNN算法建立的榛子霉变检测模型取得了满意的结果,为本研究得出的最佳模型。

图10 最佳模型测试集预测结果

Fig.10 Test set prediction results of optimal model

2.6 模型的外部验证

将未参与建模的40个榛子样本作为独立预测集进行模型的外部验证,样本中包含20个健康榛子样本和20个霉变榛子样本。对已建立的基于DBO特征光谱与纹理特征融合的KNN榛子霉变检测模型进行验证。模型验证结果如图11所示,其中仅有一个霉变榛子样本被误判为健康榛子样本,总体上准确率达97.5%,这表明该模型在实际应用中具有较高的准确性和可靠性,为进一步的实际应用奠定了基础。

图11 模型外部验证结果

Fig.11 External validation results of optimal model

3 结论

针对榛子霉变的快速无损检测问题,采集健康榛子和霉变榛子样本的高光谱图像,提取榛子样本区域的反射光谱,采用SNV方法对提取的原始光谱进行预处理。利用PCA对高光谱图像进行降维,根据图像的贡献大小选择样本的PC1图像结合GLCM方法进行纹理特征提取。基于全光谱、纹理特征、全光谱与纹理特征融合结合KNN算法构建榛子霉变检测模型,对比发现特征融合后的模型检测效果比单独使用全光谱或纹理特征的模型效果好,训练集和测试集准确率分别为95.91%和94.26%。采用DBO算法、PSO算法和SPA三种方法对全光谱进行选择,将选择的特征光谱与纹理特征融合建立榛子霉变检测模型。结果表明,基于DBO特征光谱与纹理特征融合的模型效果最好,训练集和测试集准确率分别达到了99.20%和98.34%,F1-score和Kappa系数均接近于1。利用未参与建模的样本对该模型进行验证,总体准确率为97.50%。因此,将光谱特征与纹理特征融合可实现榛子霉变的快速无损检测,为高光谱成像技术在食品质量无损检测领域的应用提供了一种高效的方法。

参考文献

[1] SALVATORE M M, ANDOLFI A, NICOLETTI R. Mycotoxin contamination in hazelnut: Current status, analytical strategies, and future prospects[J]. Toxins, 2023, 15(2):99.

[2] PANNICO A, SCHOUTEN R E, BASILE B, et al. Non-destructive detection of flawed hazelnut kernels and lipid oxidation assessment using NIR spectroscopy[J]. Journal of Food Engineering, 2015, 160:42-48.

[3] WU Q F, XIE L J, XU H R. Determination of toxigenic fungi and aflatoxins in nuts and dried fruits using imaging and spectroscopic techniques[J]. Food Chemistry, 2018, 252:228-242.

[4] WU Q F, XU H R. Detection of aflatoxin B1 in pistachio kernels using visible/near-infrared hyperspectral imaging[J]. Transactions of the ASABE, 2019, 62(5):1065-1074.

[5] MISHRA G, PANDA B K, RAMIREZ W A, et al. Application of SWIR hyperspectral imaging coupled with chemometrics for rapid and non-destructive prediction of Aflatoxin B1 in single kernel almonds[J]. LWT, 2022, 155:112954.

[6] ZOU Z Y, CHEN J, WANG L, et al. Nondestructive detection of peanuts mildew based on hyperspectral image technology and machine learning algorithm[J]. Food Science and Technology, 2022, 42: e71322.

[7] 孙钰莹, 章银, 沈飞, 等. 基于高光谱成像技术小麦籽粒霉变鉴别方法研究[J]. 中国粮油学报, 2022, 37(9):40-46.SUN Y Y, ZHANG Y, SHEN F, et al. Identification method of wheat grain mildew based on hyperspectral imaging technology[J]. Journal of the Chinese Cereals and Oils Association, 2022, 37(9):40-46.

[8] 李凯楠, 沈广辉, 叶文武, 等. 基于近红外高光谱成像技术识别紫斑和霉变大豆的方法[J]. 南京农业大学学报, 2022, 45(4):691-698.LI K N, SHEN G H, YE W W, et al. Identification method of soybean seeds with purple spot and moldy based on near infrared hyperspectral imaging technology[J]. Journal of Nanjing Agricultural University, 2022, 45(4):691-698.

[9] XU J Y, XU D C, BAI X P, et al. Non-destructive detection of moldy walnuts based on hyperspectral imaging technology[J]. Molecules, 2022, 27(20):6776.

[10] 沈广辉, 曹瑶瑶, 刘馨, 等. 近红外高光谱成像结合特征波长筛选识别小麦赤霉病瘪粒[J]. 江苏农业学报, 2021, 37(2):509-516.SHEN G H, CAO Y Y, LIU X, et al. Identification of Fusarium damaged kernels using near infrared hyperspectral imaging and characteristic bands selection[J]. Jiangsu Journal of Agricultural Sciences, 2021, 37(2):509-516.

[11] 刘欢, 王雅倩, 王晓明, 等. 基于近红外高光谱成像技术的小麦不完善粒检测方法研究[J]. 光谱学与光谱分析, 2019, 39(1):223-229.LIU H, WANG Y Q, WANG X M, et al. Study on detection method of wheat unsound kernel based on near-infrared hyperspectral imaging technology[J]. Spectroscopy and Spectral Analysis, 2019, 39(1):223-229.

[12] 殷勇, 王光辉. 连续投影算法融合信息熵选择霉变玉米高光谱特征波长[J]. 核农学报, 2020, 34(2):356-362.YIN Y, WANG G H. Hyperspectral characteristic wavelength selection method for moldy maize based on continuous projection algorithm fusion information entropy[J]. Journal of Nuclear Agricultural Sciences, 2020, 34(2):356-362.

[13] 杨东, 王舒卉, 吴建华, 等. 玉米籽粒霉变等级高光谱图像检测方法研究[J]. 中国粮油学报, 2022, 37(11):46-53.YANG D, WANG S H, WU J H, et al. Study on hyperspectral image detection method of maize grain mildew grade[J]. Journal of the Chinese Cereals and Oils Association, 2022, 37(11):46-53.

[14] 李斌, 苏成涛, 殷海, 等. 高光谱成像技术结合机器学习的稻米霉变检测[J]. 光谱学与光谱分析, 2023, 43(8):2391-2396.LI B, SU C T, YIN H, et al. Hyperspectral imaging technology combined with machine learning for detection of moldy rice[J]. Spectroscopy and Spectral Analysis, 2023, 43(8):2391-2396.

[15] XUE J K, SHEN B. Dung beetle optimizer: A new meta-heuristic algorithm for global optimization[J]. The Journal of Supercomputing, 2023, 79(7):7305-7336.

[16] 戴天虹, 孙春雪, 黄建平, 等. 基于黄金正弦混沌斑鬣狗优化算法的高光谱波段选择[J]. 激光与光电子学进展, 2022, 59(10):519-528.DAI T H, SUN C X, HUANG J P, et al. Hyperspectral wave band selection based on golden sine and chaotic spotted hyena optimizer algorithm[J]. Laser &Optoelectronics Progress, 2022, 59(10):519-528.

[17] 王艺婷, 黄世奇, 刘代志, 等. 基于粒子群优化算法的波段选择方法[J]. 计算机仿真, 2015, 32(9):417-420; 449.WANG Y T, HUANG S Q, LIU D Z, et al. Band selection method based on particle swarm optimization[J]. Computer Simulation, 2015, 32(9):417-420; 449.

[18] 朱宗斌, 赵朝方, 曾侃, 等. 二进制粒子群支持向量机算法在SAR图像海面溢油特征选择的应用[J]. 海洋湖沼通报, 2015, 37(3):177-184.ZHU Z B, ZHAO C F, ZENG K, et al. Oil spill feature selection in marine SAR images based on BPSO-SVM algorithm[J]. Transactions of Oceanology and Limnology, 2015, 37(3):177-184.

[19] 张冬妍, 付聪聪, 李丹丹, 等. 基于近红外光谱的榛子蛋白质无损检测模型[J]. 激光与光电子学进展, 2023, 60(1):401-407.ZHANG D Y, FU C C, LI D D, et al. Nondestructive detection model of hazelnut protein based on near infrared spectroscopy[J]. Laser &Optoelectronics Progress, 2023, 60(1):401-407.

[20] LI B, ZOU J P, YIN H L, et al. Detection of the storage time of light bruises in yellow peaches based on spectrum and texture features of hyperspectral image[J]. Journal of Chemometrics, 2023, 37(11): e3516.

[21] 张冬妍, 马苗源, 黄莹, 等. 基于高光谱图像特征融合的榛子水分含量测定[J]. 现代食品科技, 2024 ,40(5) :274-281.ZHANG D Y, MA M Y, HUANG Y, et al. Determination of moisture content of hazelnuts based on hyperspectral image feature fusion[J]. Modern Food Science and Technology, 2024 ,40(5) :274-281.

[22] 刘爽, 谭鑫, 刘成玉, 等. 高光谱数据处理算法的小麦赤霉病籽粒识别[J]. 光谱学与光谱分析, 2019, 39(11):3540-3546. LIU S, TAN X, LIU C Y, et al. Recognition of Fusarium head blight wheat grain based on hyperspectral data processing algorithm[J]. Spectroscopy and Spectral Analysis, 2019, 39(11):3540-3546.

[23] 张玉荣, 邓毅浩, 褚洪强, 等. 基于高光谱成像技术的大豆霉变等级识别方法研究[J]. 河南工业大学学报(自然科学版), 2023, 44(6):105-113; 131.ZHANG Y R, DENG Y H, CHU H Q, et al. Research on soybean mold level identification based on hyperspectral imaging technology[J]. Journal of Henan University of Technology (Natural Science Edition), 2023, 44(6):105-113; 131.

[24] 姜洪喆, 杨雪松, 李兴鹏, 等. 油茶果自然霉变程度的可见/近红外与中短波近红外光谱检测[J]. 食品科学, 2023, 44(4): 272-277.JIANG H Z, YANG X S, LI X P, et al. Detection of the degree of natural mildew of Camellia oleifera fruit using visible/near Infrared, mid- and short-wave near infrared spectroscopy[J]. Food Science, 2023, 44(4): 272-277.

[25] MOSCETTI R, HAFF R P, AERNOUTS B, et al. Feasibility of Vis/NIR spectroscopy for detection of flaws in hazelnut kernels[J]. Journal of Food Engineering, 2013, 118(1):1-7.

Detection method of hazelnut mildew based on hyperspectral feature fusion

ZHANG Dongyan*, MAO Siyu, YANG Zijian, CHEN Nuo, WU Chenxu, MA Miaoyuan

(College of Computer and Control Engineering, Northeast Forestry University, Harbin 150040, China)

ABSTRACT To realize the rapid and non-destructive detection of hazelnut mildew, the study fused spectral features with texture features, combining machine learning algorithms to establish a hazelnut mildew detection model.The hyperspectral images of hazelnut samples in the range of 400-1 000 nm were collected.The original spectrums were preprocessed with the standard normal variable transformation method.Dung beetle optimizer algorithm, particle swarm optimization algorithm, and successive projections algorithm were adopted to select characteristic wavelengths.The hyperspectral images were reduced the dimensionality with principal component analysis method, and the optimal principal component images of the samples were selected according to the contribution size of the images, utilizing the gray-level co-occurrence matrix method to extract five texture feature parameters on the four angles of samples.The hazelnut mildew detection K-nearest neighbor model was built based on spectral features, texture features, spectral features combined with texture features.Experimental results indicated that the best model was the K-nearest neighbor model under the fusion of texture features and spectral features selected by dung beetle optimizer algorithm.The accuracy of the model training set and test set were 99.20% and 98.34% respectively, realizing rapid and non-destructive detection of hazelnut mildew.

Key words hyperspectral; hazelnut; mildew; non-destructive detection; feature fusion; dung beetle optimization algorithm

DOI:10.13995/j.cnki.11-1802/ts.039523

引用格式:张冬妍,毛思雨,杨子健,等.基于高光谱特征融合的榛子霉变检测方法研究[J].食品与发酵工业,2025,51(2):311-319.ZHANG Dongyan,MAO Siyu,YANG Zijian, et al.Detection method of hazelnut mildew based on hyperspectral feature fusion[J].Food and Fermentation Industries,2025,51(2):311-319.

第一作者:博士,副教授(通信作者,E-mail:nefuzdhzdy@nefu.edu.cn)

基金项目:中央高校基本科研业务费专项资金项目 (2572019BF02)

收稿日期:2024-04-11,改回日期:2024-06-11