基于电子鼻和机器视觉的鱼肉新鲜度检测研究

袁也,周博*,吴泽玮

(盐城工学院 机械工程学院,江苏 盐城,224002)

摘 要 为了提升鱼肉新鲜度检测的准确率,该研究采用了电子鼻、机器视觉和多数据融合技术快速地检测冷藏鱼肉的新鲜度。挥发性盐基氮含量与新鲜度密切相关且易于测量,因此被选定作为鱼肉新鲜度的指标;用机器视觉和电子鼻获取样品的图像和气味信息。应用反向传播神经网络、卷积神经网络(convolutional neural network,CNN)和卷积神经网络-门控循环单元-注意力(CNN-GRU-Attention)3种模型对鱼肉新鲜度进行3分类和7分类预测。结果表明,3分类和7分类实验中,3种模型利用电子鼻数据进行分类的效果均优于机器视觉方法。此外,对原始数据进行融合后,3个模型的分类准确率均有提升。特别是基于CNN-GRU-Attention模型的多感官数据融合方法在本次研究中效果最优,其在测试集上的准确率分别达97.61%和90.48%。研究结果表明,采用多感知检测技术结合CNN-GRU-Attention预测模型能够有效地提高鱼肉新鲜度检测的准确性。

关键词 鱼肉新鲜度;电子鼻;机器视觉;数据融合;神经网络

鱼肉中含有丰富的营养物质,其中优质蛋白与不饱和脂肪酸有助于降低胆固醇和血液稠度,提高自身免疫力[1]。新鲜度是评判鱼肉质量的重要指标,直接影响消费者的食用体验和食品安全。传统的感官评估方法常因个人经验和情绪状态而引发误差。理化检测结果虽准确,但检测过程繁琐、时效性差、难以满足市场需求。然而,电子鼻[2-3]、电子舌[4]、光谱技术[5-6]、机器视觉和生物传感技术[7]等仪器检测技术可以快速、准确地评估鱼肉新鲜度,满足消费市场需求。

电子鼻是一种能够识别不同气味的装置,具有快速、灵敏等优点[8]。目前,电子鼻技术已被广泛应用酒类[9-10]、水果[11-12]、肉类[13]等产品的检测,包括品质鉴别[14]、风味分析[15]、新鲜程度检验[16]等。丁楠[17]利用电子鼻检测自制灌肠产品在贮藏期的品质变化,并与传统分析方法进行比较,对其货架期进行了预测。结果表明,电子鼻结合主成分分析或线性判别分析都能很好地区分不同贮存时间、贮存温度的灌肠产品,可用于灌肠产品货架期预测。CHEN等[18]利用电子鼻检测猪肉、牛肉、羊肉的新鲜度,发现其能区分不同贮藏时间的猪肉、牛肉、羊肉样品,能较好地判断样品的新鲜度。许多学者对电子鼻技术应用于肉品新鲜度检测进行了相应的研究,不断优化所使用的分类识别算法,完善传感器的种类,拓宽其应用方向。与电子鼻技术主要侧重于气味特征分析不同,一些研究者利用机器视觉技术[19],通过图像采集设备获取鱼眼、鱼鳃的颜色变化等特征信息,将其转化为数字信息,以实现对肉品特征的准确判别[20-22]

近年来,电子鼻和机器视觉技术在肉品新鲜度检测方面取得了显著进展[23-24]。电子鼻技术可检测鱼肉的气体特征,但其忽略了表面特征。而机器视觉技术可提供鱼肉的表面物理信息,但却缺少对气味的描述。为了能更全面地评估鱼肉的新鲜度,本研究将采用数据融合的方法,将电子鼻和机器视觉技术采集的数据进行融合,通过将不同技术的优势相结合,弥补单一技术的局限性,提高鱼肉新鲜度检测的准确性,并为消费者提供更可靠的食品选择依据。

1 材料与方法

1.1 材料与试剂

乌鳢肉(1 kg左右),中国江苏省盐城市当地市场;硼酸、阿拉伯胶、甲基红,天津市科密欧化学试剂有限公司;盐酸,莱阳市康德化工有限公司;碳酸钾,常德比克曼生物科技有限公司;甘油,无锡市亚太联合化工有限公司;溴甲酚绿指示剂,天津市登峰化学试剂厂;乙醇,江苏强盛功能化学股份有限公司,均为分析纯。

1.2 仪器与设备

LQ-A30001天平,昆山优科维特电子科技有限公司;SPX-50恒温箱,绍兴市尚诚仪器制造有限责任公司;自行研制的低成本、小型化的基于仿生嗅觉电子鼻检测装置(图1)。该装置由以下四部分组成:气体采集模块、传感器检测模块、数据采集卡、上位机。该系统的气体采集模块由2条气路组成,通过控制电磁阀的开关以实现工作模式的切换。传感器检测模组由4个费加罗半导体传感器和4个睿博翊电子MQ系列传感器组成,各传感器的响应特征如表1所示。数据采集卡采集各个传感器的电压值,并将数据发送给上位机。使用计算机对采集到的数据进行分析处理,并实现显示、存储等功能。

表1 电子鼻传感器性能参数
Table 1 Performance parameters of electronic nose sensor

编号型号灵敏度特性检测范围/(cm3/m3)S1MQ-136硫化氢、一氧化碳1~200S2MQ-137三甲胺、乙醇胺5~500S3MQ-138甲苯、丙酮、乙醇、氢气5~500S4TGS2600氢气、异丁烷1~100S5TGS2603甲基硫醇、三甲胺0.1~30 S6TGS813甲烷、丙烷、丁烷500~1 000S7TGS822酒精、苯、异丁烷、丙酮 50~5 000S8MQ-3B酒精25~500

图1 电子鼻系统
Fig.1 Electronic nose system

本实验基于传统的方法进行图像采集系统的搭建,并根据实际情况适当改进。采集系统主要由暗箱、光源、黑色亚克力磨砂板和智能手机组成。在该装置中,使用iPhone11后置摄像头拍摄鱼肉图像。相机设置为闪光灯关闭、白平衡自动、ISO感光度自动、自动操作模式。暗箱中顶部放置一个环形光源(12 W),保证光照均匀,避免出现影响图像质量的死角。采集系统的结构示意图如图2所示。

图2 图像采集装置结构示意图
Fig.2 Structure diagram of image acquisition device

1.3 实验方法

1.3.1 样品制备

为了最大限度地减少对鱼肉新鲜度的影响,在切割处理之前无任何其他操作。将鱼肉样品放置在洁净的工作台上,使用无菌切刀切割成约(35±1) g的片状小样。将每个样品依次存放在编号为1~20的塑料保鲜盒中(11 cm×7 cm×4 cm)。确保每个保鲜盒都密封好,并存放在冷藏温度为4 ℃的冰箱中。

1.3.2 挥发性盐基氮含量测定(total volatile base nitrogen,TVB-N)

试验选取TVB-N作为鱼肉新鲜度评价指标,参照GB 5009.228—2016《食品安全国家标准 食品中挥发性盐基氮的测定》中的微量扩散法测量不同贮存时间的鱼肉样本中的TVB-N含量。

1.3.3 气体数据采集

为了获得稳定可靠的测量结果,实验时,将电子鼻装置置于清洁的空气环境中,环境温度为(23±1) ℃。传感器在正式测试前预热30 min。使用电子鼻系统对20个鱼肉样本进行气体采集,每隔24 h采集一次,7 d内共采集140组气体样本数据。开始测量时,使用气泵将样品的顶空空气以300 mL/min的流速输送至检测腔。采集时间为180 s。每次测量后,将干燥空气吹入电子鼻装置120 s,使其完全清洁,再进行下一次实验。

1.3.4 鱼肉图像采集

为了获得清晰度和准确度较高的图像,在进行采集之前,需要进行以下准备工作:首先,将鱼肉样品放置在黑色亚克力磨砂板上,将相机与样本之间的垂直距离调节为15 cm。接着,为了避免外界光照对图像的干扰,需要关闭暗箱门,确保环境密闭。最后,使用顶端手机摄像头进行图像采集,确保在采集过程中手机与样品的角度和位置一致,采集的图像统一生成为JPG格式。采集完成后,图像将自动保存在手机相册中,使用Type-C接口将图像传输到计算机,以便进行后续处理或记录。

1.3.5 数据处理

应用主成分分析(principal components analysis,PCA)、线性判别分析(linear discriminant analysis,LAD)对电子鼻数据进行处理分析。将采集的RGB图像转换为HSV、Lab颜色空间图像,采用颜色直方图和颜色矩(均值、方差、偏度、峰度)描述图像的颜色特征,通过构建灰度共生矩阵(对比度、同质性、相关性、能量)来表征鱼肉的纹理特征。

实验数据在Excel中进行预处理;在Matlab 2022b软件中进行图像处理、PCA、LAD分析、进行分类模型反向传播神经网络(backpropagation neural network,BPNN)、卷积神经网络(convolutional neural network,CNN)和卷积神经网络-门控循环单元-注意力(CNN-gated recurrent unit-Attention, CNN-GRU Attention)分析;在IBM SPSS Statistics 27中进行显著性分析;使用Origin 2022和Matlab 2022b软件绘制图形。

多源数据融合是指将不同的信息源进行综合处理,以提高分析结果准确性。在数据融合之前,需选择相应的融合层面。数据融合方式分为3种,包括原始数据层融合、特征层融合和决策层融合。原始数据层融合是对原始数据进行直接关联。特征层融合是将不同数据源的特征向量连接或加权求和。而决策级融合是利用不同类型的传感器监测同一个目标,在每个传感器各自完成变换和处理(预处理、特征提取、识别或判决),得到对所监测目的初步结论后,通过关联处理、决策层融合判决,最终获得联合推断结果,属于高层次融合。由于本次实验中2种装置获取信息的模式不同,获得的数据特性不一致,难以直接进行关联。若采用决策层融合方法则需建立一个与鱼肉新鲜度相关的理化指标的先验知识数据库。本研究在数据融合的层次上选择特征层融合,融合过程如图3所示。

图3 多源特征融合流程
Fig.3 Multi-source feature fusion process

2 结果与分析

2.1 鱼肉挥发性盐基氮含量变化分析

TVB-N是评价鱼肉新鲜度的重要理化指标,参照GB 2733—2015《食品安全国家标准 鲜、冻动物性水产品》对鲜、冻动物性水产品的规定,淡水鱼类TVB-N的限量为20 mg/100 g,超出规定限值则不可食用。如图4所示,在4 ℃冷藏期间,由于自溶现象、微生物活动及游离氨基酸和核苷酸的降解,TVB-N含量显著升高(P<0.05)。贮存7 d鱼肉样品中TVB-N含量的变化与冷藏时间呈正相关。在前2 d,TVB-N含量增长缓慢,从第3天开始,其增长速度加快,但其含量仍在标准之内。直至第5天,样品的TVB-N含量增加到22.62 mg/100 g,超过了国家标准规定的安全限值,已不符合食用要求。

图4 冷藏期内鱼肉TVB-N含量变化
Fig.4 Changes of TVB-N content of fish meat during storage

注:小写字母不同表示差异显著(P<0.05)(下同)。

2.2 基于电子鼻的鱼肉新鲜度分析

2.2.1 电子鼻指纹图谱分析

传感器对鱼肉样品的挥发性成分每秒产生响应信号,图中每条线代表一个气体传感器。如图5所示,随着时间的延长,传感器的电导率响应值呈现出先增大后趋于平缓的趋势。这是由于挥发性成分在传感器表面富集,导致传感器的相对电阻率逐渐增加,最终趋于平缓并达到稳定状态。在进行电子鼻分析时,选取特征值的方式有多种,可以选取稳定值,可以选取某一时刻的值,也可以选取某段时间的均值。

图5 电子鼻响应图
Fig.5 Electronic nose response diagram

在本次实验分析中,选择40~80 s的数据平均值作为特征值进行后续分析。

2.2.2 鱼肉样品主成分分析和线性判别分析结果

选取鱼肉样品40~80 s电子鼻数据均值进行PCA和LDA分析,分析结果如图6、图7所示。从图中可以看出,在4 ℃下贮藏的鱼肉样品的PCA和LDA前2个主成分的贡献率之和分别为93.78%和91.43%。这意味着前2个主成分包含的信息可以很好地反映整体的信息。由图6、图7可以观察到,贮存1 d的样本聚集在一起,贮存2~4 d的样本,贮存5~7 d的样本同样呈现聚集趋势。基于这2种分析方法的结果,将7 d的样本划分为3个组别:1 d为新鲜组(组1);2~4 d为次新鲜组(组2,其中第2、3、4天的样品分别为组2.1、组2.2、组2.3);5~7 d为腐败组(组3,其中第5、6、7天的样品分别为组3.1、组3.2、组3.3)(结合5 d时TVB-N含量已经超出国标含量定为腐败组)。

图6 鱼肉样品电子鼻响应特征值的PCA结果
Fig.6 PCA results of electronic nose response characteristic values of fish samples

图7 鱼肉样品电子鼻响应特征值的LDA结果
Fig.7 LDA results of electronic nose response characteristic values of fish samples

图6中,3个组别两两之间均存在较为明显的界限,基本可以将新鲜、次新鲜和腐败的样本区分开,但各组内部的界限并不十分清晰。组1与组2(主要是组2.3)之间存在一些样本交错的情况,这可能是由于组内样本存在个体差异,导致组间结果具有一定的相似性。组2中的3个子组在较大范围上呈现聚集状态,表明这些子组在新鲜度方面具有一定的相似性,但在较窄范围内仍存在一定的差异,尽管子组间的界限不够清晰,但仍然反映了它们之间的差异性。组3与其他2个组没有交叠,其3个子组聚集的更为显著,表明组3中的3个小组之间的相似度更高,均能表达样品的腐败现象。但这3个子组之间的界限更加模糊,需要进一步提高区分样品腐败程度的准确性。虽然利用PCA技术分析气体信息可以在一定程度上区分不同贮存时间的鱼肉样品,但其准确性有待提高。图7中,3个组别两两之间均存在明显的界限,组与组之间没有样本交叠现象,可以将新鲜、次新鲜和腐败的样本区分开,而且腐败组的子组间界限也更加清晰。组1中大部分样本是聚集到一起的,但仍有4个样本游离在组1边缘,未与大部分样本紧密聚集,组2中也有3个样本游离到组2外围,这可能是组内样本存在个体差异所致。与图6相比,图7中组3的3个小组之间的界限更为清晰,分类效果更好。相较于PCA而言,LDA的组间分类没有交叉,而且在腐败组内样品的分类效果更佳。利用电子鼻技术结合PCA、LDA分析可以在一定程度上区分不同贮存时间的鱼肉样品,但其准确性和精确度需进一步提高。

2.3 基于机器视觉的鱼肉新鲜度分析

2.3.1 鱼肉样品图像颜色变化分析

外观颜色是区分不同贮藏期鱼肉新鲜度的一种指标。鱼肉的颜色主要受肌肉中的肌红蛋白(含量约占2/3,呈紫红色)和少量血红蛋白的影响。如图8所示,新鲜的鱼肉呈鲜红色,肉质鲜嫩而有弹性,湿润度高,表面光滑,色泽明亮。随着贮藏时间的延长,受到氧化和微生物的影响,鱼肉表面红色逐渐变淡,部分区域呈现淡黄色,边缘逐渐变为深黄色,体表色泽发暗,表面有部分黏液。随着时间的延长,鱼肉逐渐腐败,表面大部分会逐渐变为蜡黄色,表面失去光泽,黏液增多。

a-新鲜;b-次新鲜;c-变质

图8 不同冷藏期的鱼肉样本
Fig.8 Fish samples of different cold storage periods

2.3.2 基于颜色直方图分析

图9展示了不同新鲜度的鱼肉图像在3种颜色空间下的颜色直方图。由图9可以看出,不同新鲜度类别的鱼肉图像在不同颜色空间下的颜色直方图特征存在较大差异。采用数字化方法来表示鱼肉表面颜色更具代表性地表征鱼肉新鲜度的变化。在图10-a中,贮藏期内鱼肉图像的R均值呈现明显的下降趋势(P<0.05),而G均值和B均值呈上升趋势。各通道均值的变化表明,随着贮藏时间的延长,鱼肉颜色中红色占比逐渐减少,而绿色和蓝色占比逐渐增加。图10-b中,HSV颜色空间中,H表示色调,S表示饱和度(鲜艳程度),V表示明度(颜色的明亮程度)。贮藏期内,鱼肉的H均值呈下降趋势,表明鱼肉颜色由红色向蓝绿色转变;S均值上下浮动,无显著变化;而V均值显著下降,可能是由于颜色变得更加淡色或者不那么鲜艳时,亮度通道的值增加所致。Lab颜色空间模型能较全面地反映鱼肉表面的色泽和色差。图10-c中,L均值在贮藏期内显著下降(P<0.05),表明鱼肉色泽逐渐变暗。b通道代表了颜色的蓝—黄度,随着贮存时间延长,脂肪氧化程度增加,导致黄色调加深,从而导致b通道的数值增加,b均通道均值显著上升(P<0.05),而a均值在贮藏期内的变化无明显趋势。数字化方法所得到的颜色变化趋势与不同贮藏期内鱼肉的颜色变化过程相一致,这表明基于图像的数字化分析可以有效地评估鱼肉的新鲜度。

图9 不同新鲜度的鱼肉图像在RGB、HSV、Lab颜色空间的直方图特征
Fig.9 Histogram features of fish images with different freshness in RGB and HSV color space

注:a1、b1、c1,a2、b2、c2,a3、b3、c3分别表示各组RGB、HSV、Lab数据。

a-RGB空间;b-HSV空间l;c-Lab空间

图10 贮藏期间鱼肉颜色参数变化
Fig.10 Changes of color parameters of fish meat during storage

2.4 基于多感官数据融合的判别分析

采用多源数据融合的方法,将电子鼻和机器视觉的采集数据融合输入模型分析。具体而言,将电子鼻采集的气味特征和机器视觉测量的图像特征(颜色矩、灰度共生矩阵)作为原始数据。采用PCA对原始数据降维,选择能够解释99.99%的变量的主成分输入模型。融合数据则采用皮尔逊相关性分析对原始数据进行筛选,并进行PCA以降维。在建模分析方面,将数据分为3分类和7分类2个任务。其中,3分类任务将样本分为新鲜组、次新鲜组和腐坏组;7分类任务将样本按照贮存时间进行分类,每天为一组。

应用BPNN、CNN和CNN-GRU-Attention 3个模型进行分析。为了确保建立的模型具有良好的泛化能力,设置训练集样本占总样本数量的70%,测试集样本占总样本数量的30%。在本研究中,将采集到的7 d样本数据(共140个)进行统一处理,随机选择其中的98个作为训练集,剩下的42个作为测试集,用于评估模型的性能。

2.4.1 模型设计

BPNN[25]由输入层、隐藏层和输出层构成,本文使用1个输入层、1个隐藏层、1个输出层的BPNN模型。隐含层节点数从7个开始逐渐增加到15个,从9个不同结构的神经网络中选择训练集准确率最高的一个来评估网络分类性能。经过多次测试,最终选定隐含层节点数为12的BPNN模型。在训练过程中,设置训练误差为1e-6,最大训练次数为1 000,学习率为0.01,并要求最小梯度达到1e-10。

卷积神经网络(CNN)相比于传统的全连接神经网络而言,可以充分利用图像中的空间信息。本文所使用的CNN神经网络模型包含7个层,其中输入层的图像大小为:数据维度×1×1。接下来是2个卷积层,分别使用2×1的卷积核,得到32个和64个卷积核,每个卷积层后面都有批归一化层和ReLU激活层。在卷积层后面加入了最大池化层,池化核大小为2×1,步长为1×1。最后一个层是全连接层,最终输出神经元,用于进行分类任务。在模型训练时,采用了Adam优化算法,最大轮数为500,初始学习率为1e-3,并采用L2正则化。学习率衰减策略为分段式,即每过400轮训练学习率下降0.1倍。

CNN-GRU-Attention是一种深度学习模型,结合了CNN、门控循环单元(GRU)和注意力机制(attention)的优点。CNN层能够有效地提取数据中的局部特征,捕捉关键的信息。GRU层能够处理数据的时序关系,捕捉数据中的长期依赖性,引入Attention机制,通过计算注意力权重,模型能够动态地聚焦于数据中的关键元素,识别与判断相关的特征,提高模型的性能和解释性。

2.4.2 模型分析结果

由表2可以看出,在原始数据集的分类任务中,3种模型在电子鼻数据集的测试集分类结果都优于机器视觉。此外,在对原始数据进行一次融合的数据集上,3种模型的测试集分类结果准确率也明显高于单一数据集分类。这表明融合不同数据集的信息能够提供更丰富的特征,有效地提高模型的性能,有助于提高鱼肉新鲜度检测的准确性。当对各类数据集进行Pearson-PCA降维处理时,单一数据集上的3种模型准确率均有提升,但在二次融合数据上的结果却不理想,准确率有升有降(CNN模型测试集准确率上升,BPNN和CNN-GRU-Attention模型测试集准确率下降)。这可能是由于在数据融合过程中丢失了某些相关信息而导致的。

表2 不同模型鱼肉新鲜度3分类结果 单位:%

Table 2 Fish freshness of different models 3 classification results

方法BPNNCNNCNN-GRU-Attention原始数据Pearson-PCA原始数据Pearson-PCA原始数据Pearson-PCA训练集测试集训练集测试集训练集测试集训练集测试集训练集测试集训练集测试集电子鼻94.9292.8598.9797.6198.2188.3710093.0298.9790.4710095.23机器视觉92.8578.5793.9783.3310072.0910076.7497.9578.5710088.09数据融合96.9395.2498.9792.8510090.6910095.3410097.6110092.58

3种模型在单一数据集和一次融合数据集上的7分类任务中的分类结果与3分类相似,但由于进行更多类别的分类任务会增加难度和复杂度,模型分类精度普遍下降,结果如表3所示。然而,数据融合方法仍然是有效的,3个模型在原始数据融合后的数据集上的分类任务中表现出较好的性能,能够较好地区分鱼肉的新鲜度。

表3 不同模型鱼肉新鲜度7分类结果 单位:%

Table 3 Fish freshness of different models 7 classification results

方法BPNNCNNCNN-GRU-Attention原始数据Pearson-PCA原始数据Pearson-PCA原始数据Pearson-PCA训练集测试集训练集测试集训练集测试集训练集测试集训练集测试集训练集测试集电子鼻86.7976.1995.9188.0998.2179.3110089.6597.9588.0998.9788.09机器视觉69.3842.8580.6152.3810046.5110044.1886.7342.8496.9352.37数据融合93.8883.3395.9178.5710081.3910074.4298.9790.4810083.33

研究表明,在鱼肉新鲜度分类任务中,结合多感知数据融合方法和CNN-GRU-Attention模型取得了最佳的分类效果。不论是在3分类还是7分类任务中,这种方法展现出出色的性能,实现了较高的分类准确率。

3 结论

本研究采用机器视觉、电子鼻和多数据融合技术快速检测鱼肉在贮存过程中的新鲜度,结果表明,将电子鼻和机器视觉相结合作为一种快速的鱼肉新鲜度检测方法是可行的。在原始数据集上的多数据融合模型中,BPNN、CNN和CNN-GRU-Attention模型的分类效果均优于使用单一数据集的效果。其中基于CNN-GRU-Attention模型的多感官数据融合方法展现了最佳的分析效果。该模型不仅具备高准确性,而且能在不同分类情况下准确判别鱼肉新鲜度。该研究为今后鱼肉新鲜度的快速检测和在线监测奠定了基础。此外,还应注意对模型进行鲁棒性标定,并收集更多不同产地的鱼肉样本以构建更可靠的模型。

参考文献

[1] TACON A G J, LEMOS D, METIAN M.Fish for health:Improved nutritional quality of cultured fish for human consumption[J].Reviews in Fisheries Science &Aquaculture, 2020, 28(4):449-458.

[2] XIONG Y W, LI Y H, WANG C Y, et al.Non-destructive detection of chicken freshness based on electronic nose technology and transfer learning[J].Agriculture, 2023, 13(2):496-515.

[3] 王蓓, 沈飞, 何学明, 等.电子鼻同步检测花生霉菌及霉菌毒素[J].食品科学, 2022, 43(12):310-316.WANG B, SHEN F, HE X M, et al.Simultaneous detection of harmful fungi and mycotoxin contamination in peanuts by electronic nose[J].Food Science, 2022, 43(12):310-316.

[4] LYU Y, YANG L, BU F Y, et al.Optimization of sensor array for detection of abalone freshness based on electronic tongue[J].Journal of New Materials for Electrochemical Systems, 2023, 26(1):94-100.

[5] DONG K, GUAN Y F, WANG Q, et al.Non-destructive prediction of yak meat freshness indicator by hyperspectral techniques in the oxidation process[J].Food Chemistry: X, 2023, 17:100541.

[6] 董鑫鑫, 杨方威, 于航, 等. 基于拉曼光谱技术的猪瘦肉新鲜度快速无损检测方法研究[J]. 光谱学与光谱分析, 2023, 43(2):484-488.DONG X X, YANG F W, YU H, et al. Study on rapid nondestructive detection of pork lean freshness based on Raman spectroscopy[J]. Spectroscopy and Spectral Analysis, 2023, 43(2):484-488.

[7] CHEN J M, LU Y, YAN F, et al.A fluorescent biosensor based on catalytic activity of platinum nanoparticles for freshness evaluation of aquatic products[J].Food Chemistry, 2020, 310:125922.

[8] MUNEKATA P E S, FINARDI S, DE SOUZA C K, et al.Applications of electronic nose, electronic eye and electronic tongue in quality, safety and shelf life of meat and meat products:A review[J].Sensors, 2023, 23(2):672.

[9] 孙哲华, 孟庆浩, 靳荔成.基于小波变换的白酒检测电子鼻降噪方法研究[J].仪表技术与传感器, 2021(11):114-120.SUN Z H, MENG Q H, JIN L C.Research on denoising of method electronic nose for liquor detection based on wavelet transform[J].Instrument Technique and Sensor, 2021(11):114-120.

[10] CHEN J, LIN B, ZHENG F J, et al.Characterization of the pure black tea wine fermentation process by electronic nose and tongue-based techniques with nutritional characteristics[J].ACS Omega, 2023, 8(13):12538-12547.

[11] 盛秀丽, 马刘峰, 方志刚, 等.基于电子鼻和HS-SPME-GC-MS技术分析9种新疆石榴果实挥发性成分[J].食品工业科技, 2023, 44(6):325-334.SHENG X L, MA L F, FANG Z G, et al.Analysis of volatile components of nine Punica grcanatum L.cultivars grown in Xinjiang based on electronic nose and HS-SPME-GC-MS[J].Science and Technology of Food Industry, 2023, 44(6):325-334.

[12] 孙梦梦, 鞠皓, 姜洪喆, 等.水果成熟度无损检测技术研究进展[J].食品与发酵工业, 2023, 49(17):354-362.SUN M M, JU H, JIANG H Z, et al.Research progress of nondestructive detection technology in fruit maturity[J].Food and Fermentation Industries, 2023, 49(17):354-362.

[13] 李思懿, 粘颖群, 谭建庄, 等.基于电子鼻快速检测生鲜猪肉的异味[J].食品工业科技, 2023, 44(20):338-348.LI S Y, ZHAN Y Q, TAN J Z, et al.Application of electronic nose for rapid detection of off-flavour of raw pork[J].Science and Technology of Food Industry, 2023, 44(20):338-348.

[14] 李丽霞, 张浩, 林宇浩, 等.电子鼻结合GC-MS鉴别不同部位的三七粉[J].食品科学, 2023, 44(20):321-329.LI L X, ZHANG H, LIN Y H, et al.Identification of Panax notoginseng powders from different root parts using electronic nose and GC-MS[J].Food Science, 2023, 44(20):321-329.

[15] 蔡雪梅, 何莲, 易宇文, 等.GC-MS结合电子鼻分析啤酒对啤酒鸭风味的影响[J].中国调味品, 2020, 45(7):158-163.CAI X M, HE L, YI Y W, et al.Effect of beer on the volatile compounds of beer duck by electronic nose and GC-MS[J].China Condiment, 2020, 45(7):158-163.

[16] RAUDIENÉ E, GAILIUS D, VINAUSKIENÉ R, et al.Rapid evaluation of fresh chicken meat quality by electronic nose[J].Czech Journal of Food Sciences, 2018, 36(5):420-426.

[17] 丁楠. 电子鼻对自制灌肠制品货架期进行预测[J].食品工业, 2020, 41(8):288-290.DING N.Prediction of shelf life of self-made enema products by electronic nose[J].The Food Industry, 2020, 41(8):288-290.

[18] CHEN J, GU J H, ZHANG R, et al.Freshness evaluation of three kinds of meats based on the electronic nose[J].Sensors, 2019, 19(3):605-616.

[19] 张茹, 张奋楠, 周星宇, 等.基于机器视觉的生鲜牛肉冷藏时间识别研究[J].食品与发酵工业, 2022, 48(18):75-80.ZHANG R, ZHANG F G, ZHOU X Y, et al.Identification of the refrigerated time for chilled beef based on machine vision[J].Food and Fermentation Industries, 2022, 48(18):75-80.

[20] SHI Y Y, WANG X C, BORHAN M S, et al.A review on meat quality evaluation methods based on non-destructive computer vision and artificial intelligence technologies[J].Food Science of Animal Resources, 2021, 41(4):563-588.

[21] TAHERI-GARAVAND A, FATAHI S, OMID M, et al.Meat quality evaluation based on computer vision technique:A review[J].Meat Science, 2019, 156:183-195.

[22] ZHANG C J, ZHANG D Q, SU Y Y, et al.Research on the authenticity of mutton based on machine vision technology[J].Foods, 2022, 11(22):3732.

[23] 李振波, 李萌, 赵远洋, 等.基于改进VGG-19卷积神经网络的冰鲜鲳鱼新鲜度评估方法[J].农业工程学报, 2021, 37(22):286-294.LI Z B, LI M, ZHAO Y Y, et al.Iced pomfret freshness evaluation method based on improved VGG-19 convolutional neural networks[J].Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(22):286-294.

[24] 李玉花, 史翰卿, 熊赟葳, 等.融合电子鼻和视觉技术的鸡肉新鲜度检测装置研究[J].农业机械学报, 2022, 53(11):433-440. LI Y H, SHI H Q, XIONG Y W, et al.Research of chicken freshness detection device based on electeonic nose and vision technology[J].Transactions of the Chinese Society for Agricultural, 2022, 53(11):433-440.

[25] ZHAO C T, MA J, JIA W S, et al.An apple fungal infection detection model based on BPNN optimized by sparrow search algorithm[J].Biosensors, 2022, 12(9):692.

Fish freshness detection based on an electronic nose and machine vision

YUAN Ye, ZHOU Bo*, WU Zewei

(Department of Mechanical Engineering,Yancheng Institute of Technology, Yancheng 224002, China)

ABSTRACT To improve the accuracy of fish freshness detection, electronic nose, machine vision, and multi-data fusion techniques were used to rapidly detect the freshness of refrigerated fish.Total volatile base nitrogen (TVB-N), which is closely related to freshness and is easy to measure, was selected as an indicator of fish freshness.Machine vision and electronic nose-acquired images as well as odor information were collected from samples.Three models, namely, the backpropagation neural network (BPNN), convolutional neural network (CNN), and convolutional neural network-gated recurrent unit-attention (CNN-GRU-Attention), were applied to fish freshness for 3-classification and 7-classification prediction.Results showed that the classification effect of the three models using the electronic nose data was better than that of the machine vision method, regardless of whether the application was 3-classification or 7-classification.In addition, the classification accuracy of the three models improved after the fusion of the original data.In particular, the multisensory data fusion method based on the CNN-GRU-Attention model performed the best in this study, with its accuracies on the test set reaching 97.61% and 90.48%, respectively.The results showed that multi-perception detection technology combined with the CNN-GRU-Attention prediction model could effectively improve the accuracy of fish freshness detection.

Key words fish freshness; electronic nose; machine vision; data fusion; neural network

DOI:10.13995/j.cnki.11-1802/ts.039633

引用格式:袁也,周博,吴泽玮.基于电子鼻和机器视觉的鱼肉新鲜度检测研究[J].食品与发酵工业,2024,50(24):313-320.YUAN Ye,ZHOU Bo,WU Zewei.Fish freshness detection based on an electronic nose and machine vision[J].Food and Fermentation Industries,2024,50(24):313-320.

第一作者:硕士研究生(周博副教授为通信作者,E-mail:zjzhobo@126.com)

基金项目:国家自然科学基金项目(22171239,31671583)

收稿日期:2024-04-19,改回日期:2024-05-28