基于机器视觉的鱼体质量检测研究进展

刘稼轩1,2,高佳斌2,吴文锦2,陈胜2,石柳2,褚上1,郭晓嘉2,林家豪2,汪兰2,乔宇2,熊光权2,刘斌3,陈朗2*

1(湖北工业大学 生命科学与健康工程学院,湖北 武汉,430068)

2(湖北省农业科学院农产品加工与核农技术研究所,湖北 武汉,430072)

3(宣恩县万寨乡农业技术服务中心,湖北 恩施,445503)

摘 要 质量作为鱼类主要可测量属性之一,是标准化分级、精深加工及市场价值评估的直接决定因素。随着计算机硬件技术和优化算法的高速发展,基于机器视觉的鱼体质量无损检测技术取得突破性进展,凭借精准高效的特点成为鱼体质量检测的有力工具。该文重点检索学术文献库包括中国知网、Web of Science、Food Science、IEEE Access、Computers and Electronics in Agriculture、Fisheries Research等,覆盖2015—2025年内的中英文期刊、会议以及学位论文,并通过文献整理和分析,系统构建了基于机器视觉的鱼体质量检测技术体系框架,针对该技术体系所涉及的图像采集、特征提取、质量预测等关键步骤进行了系统性总结,并对比分析了常见质量预测方法的优缺点及应用场景。最后,对鱼体质量预测方法的发展趋势进行了展望。

关键词 机器视觉;质量检测;图像采集;特征提取;深度学习

随着水产养殖及捕捞技术的不断发展,我国淡水鱼总产量逐年递增,2023年,我国淡水鱼总产量高达2 862.44万t,其中加工总量仅有641.01万t,占总产量的22.4%[1],加工比例低。随着人们生活水平的提高,淡水鱼作为人体重要的优质蛋白质来源之一,加工需求也显著增长,而质量作为淡水鱼鱼体主要可测量基本属性之一,是淡水鱼前处理加工工序的一项重要指标。因此,通过开展鱼体质量检测方法的研究,保障鱼体加工原料大小的一致性,是实现鱼体自动化、智能化加工,促进鱼体加工产业现代化发展的重要举措。

鱼体质量检测方式分为接触式测量和非接触式测量。接触式测量包括采用传统手工测量、专用集成式测量套件等工具进行鱼体质量检测,而非接触式测量是指利用机器视觉技术,通过采集鱼体特征,开展鱼体特征与质量关联性的研究,构建质量预测模型,实现鱼体质量无损检测。由于接触式测量在检测过程中需要对鱼体进行搬运、分拣等操作,鱼体发生应激反应导致机械损伤,进而直接导致鱼体在水产加工环节品质劣化,多应用于个体及市场售卖环节;而非接触式测量在测量过程中,能够尽可能减少鱼体应激损伤,保障鱼体品质,在鱼类加工生产企业应用较多。目前,鱼体质量非接触精准检测技术的应用已经较为广泛,极大地推动了鱼体加工设备智能化发展进程和渔业现代化的高水平建设[2-4]

基于文献综述,本文构建了融合机器视觉的鱼体质量检测技术体系框架(图1),系统阐释了图像采集、特征提取与质量预测三大核心环节的关键技术路径。通过对比分析主流质量预测模型的适用场景与局限性,揭示了方法选择与场景需求的适配规律。最后,从技术融合与场景深化角度,展望了该领域的发展趋势与挑战。

图1 鱼体质量检测技术体系框架
Fig.1 The framework of fish body mass detection technology system

1 鱼体图像处理

鱼体图像处理是得到优良鱼体质量检测数据的关键。一般来说鱼体质量检测的图像处理融合传统OpenCv与深度学习的系统工程,通过背景分离、噪声抑制、形态优化、特征提取、三维重建、数据增强的流程,为质量模型提供高信噪比输入。核心在于精度与效率的平衡,保证高精度的同时也有高效率。

1.1 图像采集

图像采集是鱼体质量检测的基础,选择合适的图像采集方法可以获得关键的图像数据,能够保障特征数据提取的稳定性以及有效性。常见的图像采集方法包含单目相机、多相机系统、声呐相机、激光扫描等,以上图像采集方法在不同的采集环境具有其优越性。

1.1.1 单目相机

单目相机即通过一个光学相机采集鱼体图像,获取鱼体的体长、体宽、投影面积等二维基础参数的方法。KONOVALOV等[5]利用单目相机采集了尖吻鲈的鱼体图像,从而获取鱼体长度、宽度、周长以及面积等关键数据,随后利用数学手段探究鱼体的质量与所采集信息之间的函数关系,得到了一种快速准确估计尖吻鲈质量的方法,同时对其检测准确率进行评估判断、测试误差在4%左右,且低于训练误差,即该模型具有强泛化性。

水下相机也是单目相机中的一种应用,对鱼体质量水下无损检测的方法进行了拓展,MENG等[6]使用水下全景无人相机采集鱼体图像,通过建立鱼体质量与鱼体表面特征数据之间的函数关系,快速评估鱼体质量,相比传统的测量方法,更加高效。但该方法也存在一定的局限性,由于单目相机采集的图像仅包含鱼体二维信息,获得的鱼体特征参数不够全面,在进行鱼体质量预测的时候具有一定误差[7]

1.1.2 多相机系统

多相机系统通过多个光学相机在不同角度采集鱼体图像,有效避免了单目相机采集图像维度信息缺失的问题。STURE等[7]构建的三相机系统,通过采集大西洋鲑鱼的图像信息,精准提取出大西洋鲑鱼的纹理、颜色以及体长等鱼体特征参数,并基于鱼体特征数据进一步开展图像分析、质量预测和鱼体分级研究。多相机系统在信息获取的全面性和准确性上表现出色,其数据精准度明显优于单相机系统,对遮挡具有鲁棒性,能适用于复杂环境,尤其在特定应用场景,如对鱼体表面信息的获取中,具有显著优势,且适用鱼类范围更广,减少了数据集的干扰,但成本较高是其不可忽视的缺点[8]

1.1.3 声呐相机

声呐相机通过高频多波束在低光、高浊环境中获取图像数据。COOK等[9]利用高频多波束声呐在高浑浊和低光照条件下对水中小体型鱼(如鲷鱼)进行体长测量,体长测量误差在0.3%~9.6%,验证了声呐成像在渔业研究领域中的实用性;ZHANG等[10]用声呐相机对两河口大坝下游鱼进行长度测量,测量结果与人工检测相当吻合。与光学相机相比,声呐相机多用于较为恶劣的实验环境,其计算程序复杂,使用成本高,难以实现高精度测量,利用声呐相机获取的鱼体特征数据无法直接用于较为准确的质量预测,适用范围有限。

1.1.4 激光扫描

激光扫描一般通过三维轮廓重建方法实现亚毫米级几何图像采集。马骏骁等[11]利用线激光扫描鱼体轮廓得到鱼体质量随体长的分布数据,并构建了鱼体定重切段和等重切段的定量化分切模型,检测精度满足实际生产中定量分切加工精度要求。激光扫描在鱼体特征数据采集时具有较高的精准度,但对被检测的鱼体形状有一定要求,特别是对规则形状的鱼块进行三维重建时,具有较高的精度。

4种常见图像采集方法对比分析如表1所示。对比发现,声呐相机由于其特殊性,主要用于鱼类养殖领域的信息检测,能促进鱼类养殖智能化。而单目相机、多相机系统和三维激光扫描主要用于鱼类加工过程中的特征数据采集。其中单目相机成本较低且通过采集的图片能够获取关键的鱼体特征参数,国内部分学者利用该方法获取鱼体特征数据实现了鱼体质量的预测;多相机系统和激光扫描均是在单目相机的基础上得到第三维的数据,特征数据更加全面,在进行鱼体质量的预测上具有较大优势,但成本相对较高;且激光扫描虽然能够高精度对鱼体进行三维重建,但检测速度较慢,在保证高精度的前提下无法满足速度需求。

表1 鱼体图像采集方法对比
Table 1 Comparison of fish body image acquisition methods

采集方法优点缺点应用范围单目相机成本较低,结构简单精度较低,特征信息少鱼类加工多相机系统获取信息全面,抗干扰能力强成本高,计算强度大鱼类加工声呐相机检测范围广,不受光照影响成本高,精度低鱼类养殖激光扫描高精度检测速度慢,适应性差鱼类加工

1.2 鱼体特征提取

特征提取是机器视觉技术中的关键步骤之一,随着机器视觉技术的发展,边缘检测、关键点检测、纹理分析、三维点云转换等特征提取算法的不断提出,基于机器视觉的特征提取方法也被大量应用于图像的分类和识别领域[12]。通过特征提取算法对鱼体采集图像进行分析,从而得到鱼体边缘、关键点等特征信息,有利于鱼体有效数据的获得,从而开展鱼体质量的预测。本文描述了常见的几种特征提取方法。

1.2.1 边缘检测

边缘检测是通过标识出数字图像中变化明显的点,进一步实现物体的边缘轮廓检测的图像处理方法,可分为以一阶梯度和以二阶梯度为基础的边缘检测算法两种类型。李莲等[13]基于仿真实验对鱼的轮廓图像提取中横向对比Canny算子、Soble算子、Prewitt算子和Roberts算子,发现Canny算子提取的鱼边缘轮廓清晰、连续、完整且冗余信息较少,而其他算子在鱼体腹部轮廓检测中出现较大的断裂以及缺失现象。赵树昌[14]对比Canny算子、Soble算子和Laplacian算子对于苹果边缘的检测效果,同样发现Canny算子对于苹果边缘的提取效果最佳。相较于其他算子,Canny算子在目标检测中具有更佳的抗干扰能力以及更好的检测性以及搜索性,可以更好地提取图像中的任务目标。常见边缘检测算法的特点如表2所示。

表2 常见的边缘检测算法
Table 2 Common edge detection algorithms

类型算法优点缺点一阶梯度Sobel算子[15]计算简单、高效,抑制噪声能力强精细度、定位不够准确Prewitt算子[16]计算简单、运算速度快,对边缘检测直观对噪声敏感、边缘定位精度不足Roberts算子[17]计算简单快速、对水平和垂直边缘敏感对噪声敏感、定位精度不足Canny算子[18]边缘检测效果好、错误率低、定位精度高,抑制噪声能力强计算复杂、需要手动调节参数二阶梯度Laplacian算子[19]边缘检测精度高、计算相对简单对噪声敏感、无法确定边缘方向

1.2.2 关键点检测

关键点检测通常检测图像中两条边的交点,或者是在某个局部区域内,沿着任意方向移动都会引起图像灰度或颜色发生剧烈变化的点。朱明等[20]对部分淡水鱼表面的局部纹理特征进行不断提取并修正,用来精准识别淡水鱼的种类,这项研究将鱼体分为鱼头、鱼身、鱼尾三部分,共设定20多个检测特征点,通过对特征点的判别分析,完成对淡水鱼的种类识别,且失败率在3%以下。该法保证了检测速度与识别精度,大大提高了淡水鱼分类识别效率,为淡水鱼尺寸检测、鱼体分割以及后续的质量预测等检测提供了高精度的数据基础。

1.2.3 纹理分析

纹理分析是指通过一定的图像处理技术提取出纹理特征参数,从而获得纹理的定量或定性描述的处理过程。李晓蒙[21]利用方向梯度直方图提取条斑鲨鱼的外观图像特征提出减小搜索空间的条斑鲨姿态估计算法,检测条斑鲨鱼的目标部位。纹理分析方法通过简化图像信息,聚焦于轮廓特征,有效地降低了识别过程中的干扰因素,提高了对特定生物进行目标检测时的效率和精度。

1.2.4 三维点云技术

三维点云计数是指通过处理三维空间中的点云数据,识别并统计特定目标数量的技术。其通过采集到的点云数据构建鱼体的三维模型,获得鱼体的体积以及表面积等特征数据。三维点云数据难以直接应用在鱼体的质量检测中,现有的大部分研究都是通过结合传统机器视觉以及深度学习的方法进行融合检测[22]

李艳君等[23]利用张正友标定法[24]获取鱼体坐标点和像素位置之间的关系并利用三维重建技术构建鱼体的三维图像,并利用此图像检测鱼体的长度以及宽度尺寸。长度误差在5%左右,但宽度误差极高平均误差在10%以上,整体误差较大。导致这一因素的原因可能是在三维点云的转换过程中部分长度方面的像素点模糊与丢失,导致点云重建误差变大。这也印证了三维点云技术现今的局限性:在数据的不断转换过程中数据丢失程度会越来越大,进而导致误差精度不断变大,无法应用在精细数据的测量之中。

于跃龙等[25]将三维重建技术利用在鱿鱼的胴体重建中,通过将二维图像重建悬垂充盈状态的三维模型,解决了鱿鱼因为柔性体态特征导致形态对边体表尺寸难以测量的问题。其模型与实际尺寸误差在1%以内,精度极高,且处理速度也高于CT扫描等方式,适配于工业化生产中。是三维重建方面极大的突破。但上述2种研究三维点云技术对于复杂的纹理区域以及重叠区域的识别精度有待提高,其无法准确生成细节特征,需要考虑在后期结合深度学习或其他物理模型提升重建精度。

4种机器视觉特征提取方法的优劣势及适用范围总结见表3。

表3 机器视觉特征提取方法
Table 3 Machine vision feature extraction method

检测方法优点缺点适用范围边缘检测[26]突出目标轮廓、降低数据量、对光照变化具有鲁棒性易受到噪声干扰、参数选择影响大、无法提供纹理等内部信息图像分割、目标识别关键点检测[27]特征点突出、对图像变换具有鲁棒性、计算量较小检测精度依赖算法、易受噪声干扰、容易丢失部分信息图像匹配、目标追踪纹理分析[28]区分细节特征、结合其他方法增强检测效果计算复杂、对图像质量要求高、缺乏统一标准材料鉴别、图像分析、计算机图形学三维点云转换[29]高精度、特征获取全面、数据形式灵活、大规模数据处理高效计算复杂且成本较高、图像依赖预处理质量、动态场景适应性较差图像重建、目标识别

2 鱼体质量预测

在鱼体质量检测中,其检测核心是质量预测模型,即通过建立鱼体特征参数与鱼体质量的关联模型[30],实现鱼体质量的预测。而关联模型的构建主要采用人工智能技术,其中机器视觉和深度学习是较为常见的关联模型建模方法,三者的关系如图2所示。在基于机器视觉的鱼体质量检测中,根据质量预测模型是否引入计算机技术可分为基于传统机器视觉技术与基于深度学习技术的鱼体质量预测模型两大类。

图2 人工智能、机器视觉和深度学习的关系图[12]
Fig.2 Relationship of artificial intelligence, machine vision, and deep learning[12]

2.1 基于传统机器视觉技术的鱼体质量预测

基于传统机器视觉技术的预测模型的理论基础是统计学方法,其核心特点是假设特征参数与预测结果符合现有的规则和数学模型,具有较强的可解释性、计算效率高的特点[31]。常见的方法包括回归方程、支持向量机(support vector machine, SVM)、决策树、Harr分类器、随机样本一致算法(random sample consensus, RANSAC)等,对比分析如表4所示。

表4 传统机器学习模型
Table 4 Traditional machine learning models

方法优点缺点回归方程[31]计算效率高、可解释性强、小样本友好依赖人工特征标记、处理复杂数据能力弱、泛化性差决策树[32]可解释性强、处理混合数据能力强、效率高容易过拟合、对数据扰动敏感、处理连续变量能力有限SVM[33]高维数据处理能力强,具有鲁棒性计算复杂度高,参数敏感,难以调节Harr分类器[34]计算架构简单、检测速度快、使用门槛低检测精度低、对环境变化适应性差RANSAC[35]鲁棒性高、计算资源需求低、模型适配性强计算效率低、对环境要求高

2.1.1 回归方程

通过设计回归方程,将有效数据代入进行拟合,从而得到预测模型,实现鱼体质量预测。该模型是预测模型最常见的形式之一,应用广泛且效果优良。马国强等[36]利用机器视觉技术结合一元线性回归方程分析了鱼的质量和扁平面面积的关系,虽然拟合得到的方程相关系数较低,仅有0.38,但为鱼体面积与质量的关键构建提供了参考。马骏骁等[11]利用线激光扫描获得鱼体表面轮廓数据,并进行鱼体三维重建,建立了鱼体体积-质量分布模型,质量预测精度达到91%以上。单佳楠等[37]基于机器视觉获得金鲳鱼的投影面积、周长、长短轴等数据,通过线性回归方程建立金鲳鱼质量预测模型,能够在无接触的情况下预测出金鲳鱼的质量,且平均相对误差仅有2.43%,具有极高的准确率。刘清[38]提出基于机器视觉的分段建模方法,将鳗鱼划分为前后两段,通过设定“面积密度”和“体长密度”,对鳗鱼质量进行联合计算,单个鳗鱼质量最大误差值为5.6%,相对误差均值为3.7%,模型精确度极高。在保证原始数据准确的前提下,通过拟合回归方程完成对鱼体质量的检测是现如今可保证实验误差最小的方式之一。

2.1.2 决策树

决策树通过树形结构实现分类或回归任务,通常用于数据分布复杂、样本量大的建模场景,具有更广泛的应用范围和参考价值。其应用在鱼体质量检测中,可以通过构建基于鱼体特征的树状决策规则完成鱼体质量的检测[39]。SABERIOON等[40]开发了一种红外反射系统,利用随机森林模型通过提取水中的鱼体背部几何特征参数达到了质量预测的目的,且平均绝对误差在0.12 kg以内,预测精度在可接受范围内。该研究实现了对鱼体质量的无接触高精度预测,为水下活鱼的质量计算提供了理论依据。决策树模型具有极高的解释性以及处理复杂数据的优良性,但其本身的过拟合程度会导致整体预测成本变大、预测数据的精度下降,导致决策树模型在质量预测中难以进行广泛应用以及推广。

2.1.3 SVM

SVM是通过寻找一个最优边界,使得不同类别数据之间的差异最大化,从而实现分类和回归任务。其在鱼体质量检测中通过非线性的映射关系将鱼体形态和环境之间的特征转换为高维空间,并不断训练得到最优的拟合函数以实现鱼体质量的精准检测。SABERIOON等[40]同样将SVM技术应用到鱼体的质量检测中,且在利用Kinect相机进行数据采集的环境中检测精度要高于决策树模型,平均误差在0.13 kg以内。SVM的检测效率高于传统机械检测方式,具有里程碑意义,但其检测精度不足,在后续的研究中需要考虑检测精度突破的问题。

2.1.4 Haar级联分类器

Haar级联分类器模型是一种结合Haar-like特征、积分图加速计算、Adaboost特征选择和级联分类器结构的数学模型,具备高效实时检测功能。其应用在鱼体质量检测中,一般通过训练鱼体特征得到鱼体特征与质量的关系,进而实现质量检测。LOPEZ-TEJEIDA等[41]利用红外相机结合Haar级联分类器对水下的鱼体质量进行检测,准确率达到90%以上,该方法计算需求低,但其对于环境要求高,无法应用于鱼群密度大的环境中。

2.1.5 RANSAC

RANSAC是在一组包含异常数据的样本数据集,计算得到有效样本数据的算法模型。JANG等[42]利用改进后的RANSAC算法将鱼体进行切割,拟合二次曲线轮廓,以此进行三维建模计算出鱼的体积、长度以及长短轴等特征信息,并对切割后鱼片的质量误差进行检测,得到的误差率均在3%以内。这一方法在后续也可以扩展应用到整个鱼体质量检测中。JANG等[42]创新性引入改进型RANSAC算法,通过概率采样策略将轮廓提取误差降低像素级别,实现质量预测误差的突破。RANSAC模型泛化能力优秀但无法处理多目标,且计算成本极大。

在基于传统机器视觉技术的鱼体质量预测的众多预测方法中,回归方程是最基础且应用广泛的方法,主要优点是可解释性强、计算效率高,决策树模型则更擅长处理复杂数据,SVM在高维数据处理上有优势但计算复杂度高,Haar级联分类器效率高但对环境敏感,RANSAC算法鲁棒性强但计算效率低,在不同环境进行结果预测时,各具优势。

2.2 基于深度学习技术的鱼体质量预测

深度学习技术是机器视觉技术的分支之一,利用多层神经网络结构自动学习,提取鱼体特征数据,无需人工设计特征模型,直接实现鱼体质量预测[43-44]。常见的深度学习模型包含卷积神经网络(convolutional neural network, CNN)、主成分分析(principal component analysis, PCA)、递归神经网络(Elman)、语义分割(SegNet),分析对比如表5所示。

表5 深度学习模型
Table 5 Deep learning models

类型模型优点缺点CNN[45]提取效率高、计算效率高,适合实时预测、抗噪声能力强对数据平稳性敏感、难以捕捉长期依赖关系PCA[46]预测精准度高、模型泛化能力强信息容易丢失、对主成分数量敏感、模型解释能力差Elman[47]具有短期记忆和非线性拟合能力、计算效率高无法长时间处理信息、训练复杂度高且稳定性差、有过拟合风险SegNet[48]可扩展性强、简单轻量化依赖高质量标注数据,复杂场景适应性不足

2.2.1 CNN

CNN作为深度学习的代表性模型,通过层级化特征提取架构突破传统算法的限制,其模型结构见图3。其核心由卷积层、池化层和全连接层构成:卷积层通过局部感受与权值共享机制提取图像的基础特征,池化层压缩特征维度并增强空间不变性,最终全连接层整合全局信息并建立特征与目标的非线性映射关系。在鱼体质量检测中,CNN通过端到端学习自动提取鱼体图像的形态特征,并精准关联至质量指标,实现非接触式检测。FERNANDES等[49]将鱼体几何参数(长宽比、曲率系数等)与CNN特征图进行张量拼接,构建混合回归模型,在鲑鱼质量预测中达到平均绝对误差为82 g(R2=0.91),较传统线性模型精准度有了较大的提升。相较于传统的机器视觉,CNN可以利用多特征融合技术拟合图像到质量的复杂映射关系,避免了传统方法中利用单一数据进行拟合时的局限性,具备极高的精度,在完成非接触式以及自动化测量的同时,可以满足生产应用的需要。但CNN在训练时需要大量的标注数据,极大程度地增加了人工成本,且其跨物种泛化能力极差,无法对单一模型进行推广应用,对于不同体型的鱼体,就需要重新进行模型训练。

图3 CNN模型结构图
Fig.3 Structure diagram of the CNN model

2.2.2 PCA模型

PCA是一种基于正交变换的统计降维技术,通过计算数据的协方差矩阵并提取特征值与特征向量,将原始高维数据中可能相关的变量转换为少数几个线性无关的主成分。这些主成分按方差贡献率降序排列,其中第一主成分(PC1)承载数据中最大方差信息,后续主成分依次正交且解释剩余方差。PCA的核心价值在于消除变量间的冗余性(如鱼体长度与宽度常高度相关),压缩数据维度(如将数十个形态指标优化为3~5个主成分),并通过舍弃低方差贡献率的主成分抑制噪声,提升特征鲁棒性。ZHANG等[50]采用了PCA-校正因子神经网络模型对不同生长阶段鱼体质量进行预测,发现这一模型可以高效、准确地估算出鱼的质量,均方根误差在0.02以内,且相较于普通PCA模型质量预测精度以及效率都有明显的提升。PCA模型的本质是降维,通过线性变换将高维数据映射到低维空间,可以极大程度地减少冗余特征,简化模型的输入,减少计算的复杂性,提高计算效率。但PCA模型依赖人工特征标注,且对于非线性关系捕捉能力极差,难以进行有效的拟合。

2.2.3 递归神经网络

除了上述神经网络外,还有具备短期记忆能力的递归神经网络(Elman),其核心特征是通过局部反馈连接与承接层赋予网络短期记忆能力。该网络在标准前馈结构(输入层、隐含层、输出层)基础上增加承接层,用于存储隐含层前一时刻的输出状态,并将其作为当前时刻的附加输入,形成动态反馈回路。这种机制使Elman网络能够捕捉时间序列数据中的依赖关系(如鱼体生长的身长等连续监测数据),通过动态回归建模预测鱼体质量随时间的变化趋势。相较于静态模型,其递归特性更适应动态系统的非线性映射,在减少背景干扰的同时提升预测鲁棒性。唐亚娅[51]利用改进后的Elman神经网络对鳙鱼的质量进行预测,解决了神经网络模型在计算局部最优解时网络模型收敛速度慢的问题,进而减小模型误差,提高拟合度,保证了误差率在3%以内的鳙鱼质量检测,完成对鳙鱼质量的高效和精准预测。Elman神经网络因其结构简单以及短期记忆高效的特性在上述鱼体质量预测的研究实验中具有非常优良的表现,但其本身进行反向传播时容易引发梯度消失以及长序列建模缺陷,导致其无法应用在较为复杂的场景质量预测中。Elman结构图如图4所示。

图4 Elman结构图[52]
Fig.4 Elman structure diagram[52]

图5 SegNet结构图[54]
Fig.5 SegNet structure diagram[54]

注:Input-输入;RGB Image-RGB图像(输入);Convolutional Encoder-Decoder-卷积编码器-解码器;Conv+Batch Normalisation+ReLU-卷积+归一化+ReLU激活函数;Pooling-池化; Pooling Indices-池化索引;Upsampling-上采样;Softmax-Softmax激活函数;Segmentation-语义分割图。

2.2.4 语义分割模型

语义分割模型(SegNet)是计算机视觉的核心技术,采用对称的编码器-解码器架构实现端到端的像素级分类。其编码器基于VGG16的前13层卷积层构建,通过卷积和最大池化逐步压缩特征图空间分辨率并提取高级语义特征;解码器则通过最大池化索引上采样技术,利用编码器存储的池化窗口最大值位置信息,实现特征图的非线性上采样与边界细节精准恢复,显著降低内存占用并提升物体边界分割精度。用在鱼体质量检测中时,可以通过精确分割鱼体轮廓并计算投影面积,结合尺寸校正因子和幂函数关系实现鱼体质量检测,有学者对SegNet模型进行改进形成改进DeepLabV3+,并引入高效通道注意力模块,极大程度的提高了分割精度,并减少了计算量,并以此完成关键点的定义,实现了石斑鱼体重的高精度的非接触式测量,且绝对误差在15 g以内,具有极高的检测精度[53]

在基于深度学习技术的鱼体质量预测的众多预测方法中,CNN模型能自动提取特征但需要大量标注数据,PCA模型能降维简化计算但会丢失信息,Elman网络有短期记忆能力但训练复杂,SegNet能精确分割但依赖高质量标注数据。在鱼体质量预测任务中,基于CNN的变体模型和SegNet分割模型因兼具自动化特征提取能力、高精度分割技术及成熟的轻量化部署方案,成为当前最优解决方案。尤其当数据充足时,LinkNet在质量预测误差和计算效率上显著领先传统方法;而SegNet在复杂环境下的形态参数提取能力则支撑了高精度质量回归模型的构建。未来研究可聚焦三维重建与少样本学习,进一步提升普适性与实用性。

3 研究现状及成果应用

3.1 研究现状

近年来,基于机器视觉技术的鱼体质量检测研究取得了显著进展,与传统检测方式相比,非接触式测量能够大幅提升水产养殖的效率与精度。在二维图像分析方向,Mask R-CNN分割与多元回归模型成为主流技术方案。例如,王禹莎等[55]开发的大黄鱼自动化测量装置,通过提取体长、体高、体表面积等12个形态学特征点建立回归模型,对477尾样本的体重预测相关系数达0.99,平均相对误差仅4%,单张图像处理时间3 s,效率为人工测量的8倍。类似地,针对金头鲷的研究[56]通过分析3 312尾样本(50~1 000 g),发现体表面积(body surface area, BA)单一变量的幂回归模型预测效果最优,决定系数R2=99.0%,平均绝对百分比误差(mean absolute percentage error, MAPE)为5.8%,显著简化了测量流程。

三维视觉技术则解决了自由游动鱼类的动态监测难题。双目视觉系统结合立体匹配算法(如半全局立体匹配算法)生成视差图,通过鱼体轮廓三维坐标计算实际体表面积,构建线性模型实现无干扰动态监测。针对甲壳类动物[57](如大闸蟹),旋转目标检测模型条带感知空间池化(strip-sensitive pooling,SSP)-YOLO v7可精准定位多角度背甲框,结合粒子群优化极端梯度提升模型(particle swarm optimization-extreme gradient boosting, PSO-XGBoost)预测体重,使误差降至均方根误差(root mean square error, RMSE)<5%,有效克服了姿态多变的影响。

多模态数据融合与智能算法优化进一步提升了复杂场景的适应性。鲤、鲫鱼测量系统综合体长、腹围、颜色纹理等特征[58],模型如图6所示,其采用LightGBM集成学习模型,将平均绝对误差降至2.751 g,决定系数R2=0.949,有效预测鲤鱼、鲫鱼的体表特征。多种检测技术路线对比见表6。

表6 多种检测技术路线对比
Table 6 Comparison of measurement technology solutions

技术路线代表文献核心模型/算法预测精度二维图像分割[55]Mask R-CNN+幂回归误差4% (r=0.99)三维重建[57]SSP-YOLO v7+PSO-XGBoostRMSE<5%多特征融合[58]LightGBMMAE=2.751 g跨物种验证[56]BA幂回归模型MAPE=5.8%

图6 鱼类性状测量系统样机
Fig.6 Prototype of fish trait measurement system

3.2 成果应用

国内学者通过多年研究改进,部分技术成果进行转化,其中华南农业大学研发出基于深度学习的水下鱼类质量估计方法、系统及电子设备[59],能够无损地对目标鱼类进行识别、定位和质量估计,且对多尺寸目标具有良好的识别精度。在其他方面有自动化表型测量装置集成工业相机(如MV-CA050-20UC)与麻醉辅助系统[55],支持1~40 cm体长范围的快速检测,并嵌入Mask R-CNN算法实现数据管理一体化。技术延伸至加工环节,例如结合机器视觉的水刀切割系统,通过体尺数据优化切割参数,减少鱼肉损失率至0.133%。

有专利研究通过双目相机获取鱼体左右图像[60],提取鱼体关键点(如体长、体高、头长)并生成稀疏深度图;结合Garson算法与随机化实验量化形态参数对质量的贡献度(如体深比权重达37%),剔除冗余特征,优化极限学习机模型预测鱼体质量,实现非接触式动态监测,显著降低定位误差。

同时在后续有研究针对弯曲鱼体或非正交姿态问题,提出自适应截尾高斯滤波[61]:对视差图窗口内深度值拟合高斯分布,以两倍标准差截尾滤波并补全缺失值,生成稠密视差图;经泊松表面重建获取三角网格鱼体轮廓,提取特征点三维坐标计算叉长、体宽,建立多变量回归模型,体宽权重占比提升预测鲁棒性。

除此之外也有利用相机进行实时捕获水下图像进行质量预测的技术,采用ZED相机实时捕获水下图像[59],嵌入改进的YOLO v8模型(ShuffleNetV2骨干+注意力机制)检测目标并评估成像质量;通过增强关联SORT多目标跟踪算法(boosted association &tracklet fusion SORT,BOTSORT)多目标跟踪算法(卡尔曼滤波+匈牙利匹配)过滤重复帧,仅对首次合格目标计算体长、体高;结合CatBoost梯度提升决策树(categorical boosting,CatBoost)回归模型预测体重,单目标处理时间<3 s,支持20 m水深实时测量。

如今,基于机器视觉的鱼体质量检测的技术已经逐渐在实际工厂化生产中展开应用。硬件端,双目相机与边缘计算设备实现低成本部署;软件端,多模态大模型突破复杂场景限制;应用端,养殖动态监测与加工智能分选形成闭环。从各方面标志着鱼体质量检测正式进入“无人化量产”时代。

4 总结与展望

本文对多年来鱼体质量检测方法和技术进行了论述,基于机器视觉技术,对比分析了通过单目相机、多目相机、声呐相机、激光扫描等图像采集方法和边缘检测、关键点检测、纹理分析、三维点云转换等特征提取方法,并对基于传统机器视觉和深度学习的质量预测模型的优缺点及适用环境进行了比较。基于机器视觉的鱼体质量预测方法通过结合先进图像采集设备、图像预处理技术和质量预测模型算法,突破传统质量检测技术鱼体应激损伤大的关键问题,实现高质高效的鱼体质量检测,对提升鱼体质量检测装备智能化程度,推动鱼体前处理加工从劳动密集型向技术密集型转变具有重要意义。本文对基于机器视觉的鱼体质量检测技术作出以下展望:

开展多源数据融合技术研究提升质量检测精度。单一数据采集方式无法在保障采集数据高精度的同时适应多种采集环境,难以做到多应用场景的高质高效工作。通过应用多种采集方式,建立多源数据库,开展数据融合分析研究,突破复杂环境下单一检测方法导致有效数据少,无法精准反馈鱼体特征数据的关键问题,实现复杂环境下的鱼体质量高精度检测。现有技术中,利用Mask R-CNN检测与三级回归模型进行协同工作,在极低成本的单目相机采集设备基础上实现了绝对误差在43 g以内的检测精度[62]。且在曾立华等[63]研发出一种基于深度学习多模态融合模型的鱼类生物量估算方法及系统动态权重融合:利用图像以及音频预测生物量,生物量预测误差<5%,具有极高的参考价值。在上述研究中,多源技术融合克服了基础相机进行信息采集的局限性导致的误差下降,平衡了检测成本与检测精度之间的关系,融合各种采集技术,突破单源数据局限。

引入深度学习技术提升特征数据提取精度和效率。传统的图像处理技术进行鱼体特征参数提取时,存在特征数据失真、检测效率低下的问题。随着深度学习技术的发展,在进行特征数据提取时,可通过自监督训练方法实现鱼体特征点提取方法的实时优化,在提取过程不断完善提取方法,优化最终特征值;也能结合无监督的深度学习方式,生成伪标签数据,减少对标注数据的依赖性,降低系统误差的产生。王博彦[64]就提出基于Transformer的鱼体关键点检测算法,通过设计空间自注意力和通道自注意力机制,实现特征提取的动态优化,高效地检测到鱼体的表型数据并控制误差在2%以内。深度学习通过自监督优化、伪标签生成和轻量化设计,推动鱼体特征提取从“高标注依赖”向“自适应学习”演进,增加特征数据的精准度,减少人工标注主观意识上可能产生的误差,极大程度上提高质量检测精度。

开发泛化模型增加系统适应性。鱼体质量拟合模型通常采用单一种类的鱼体进行训练所得,该模型对该类鱼体的质量检测具备检测精度高、响应速度快的特点,但对其他类别鱼体质量预测并不适应,存在泛化性差、开发成本高的问题。为降低质量预测模型的开发成本,提高其应用范围,可通过将形态相似的多种鱼体进行归类,针对该类型的鱼体开发泛化质量预测模型,实现单一模型的多环境应用。在果蔬检测领域,也存在类似方法,KARAKATSOULI等[56]建立了一种番茄的质量预测模型,并通过数据研究发现其可以用于其他具有类似轴对称形状特征的水果或物品的质量检测,有效降低模型开发成本。

结合人工智能技术实现鱼体各部位质量检测虚拟可视化。鱼体各部位的质量分布一直是水产加工行业关注的产业问题,在进行鱼体分割时,保障加工产品的得肉率是目前加工企业面临的重大挑战。现在很多研究论坛上已经推进到YOLO v13对水下鱼群图像进行精准捕获。YOLO v13具有极高的实时检测能力,极大程度上支持更新虚拟鱼体姿态。这一高精度、高效率模拟虚拟鱼体方法,应用到鱼体分割,结合现有鱼体质量检测方法,实现鱼体质量数字孪生,通过对虚拟鱼体的各部位进行智能化模拟分割,再结合路径优化方法,精准控制切割路径,能够为鱼体精深加工提供关键数据依据。

多任务协同。此发展趋势主要是将利用机器视觉进行鱼体质量检测向决策智能化进行发展。推动人机关系从“工具辅助”转向“智能体伙伴”。其核心创新在于通过角色化任务分解实现复杂系统降维,依托多模态融合突破场景认知边界,最终构建“感知-决策-执行”一体化增强闭环。北京大学李戈教授团队提出了一种全新的self-collaboration(自合作)模式[65]。这个模式的参与者都是由不同人工智能角色组成的初等团队,目的是通过合作和交互方法来增强大模型的问题解决能力。这一思路在后续也可以应用在鱼体质量检测的不同阶段,进而达到全流程自动化机械化、低成本高效率地完成合作处理,提高鱼体质量检测的精度以及检测效率。

参考文献

[1] 农业农村部渔业渔政管理局. 中国渔业统计年鉴-2024[M].北京:中国农业出版社, 2024.Bureau of Fishery and Fisheries Administration, Ministry of Agriculture and Rural Affairs.2024 China Fisheries Statistical Yearbook[M].Beijing:China Agriculture Press, 2024.

[2] 王慧, 何鸿举, 刘璐, 等.高光谱成像在鱼肉品质无损检测中的研究进展[J].食品科学, 2019, 40(5):329-338.WANG H, HE H J, LIU L, et al.Recent progress in hyperspectral imaging for nondestructive evaluation of fish quality[J].Food Science, 2019, 40(5):329-338.

[3] 黄晓琛, 张凯利, 刘元杰, 等.机器学习与计算机视觉技术在食品质量评价中的研究进展[J].食品科学, 2024, 45(12):1-10.HUANG X C, ZHANG K L, LIU Y J, et al.Research progress on machine learning and computer vision technology in food quality evaluation[J].Food Science, 2024, 45(12):1-10.

[4] 杨泽青, 张明轩, 陈英姝, 等.基于机器视觉的表面缺陷检测方法研究进展[J].现代制造工程, 2023(4):143-156.YANG Z Q, ZHANG M X, CHEN Y S, et al.Review of surface defect detection methods based on machine vision[J].Modern Manufacturing Engineering, 2023(4):143-156.

[5] KONOVALOV D A, SALEH A, EFREMOVA D B, et al.Automatic weight estimation of harvested fish from images[C].2019 Digital Image Computing:Techniques and Applications (DICTA).IEEE, 2020:1-7.

[6] MENG L, HIRAYAMA T, OYANAGI S.Underwater-drone with panoramic camera for automatic fish recognition based on deep learning[J].IEEE Access, 2018, 6:17880-17886.

[7] STURE Ø, ØYE E R, SKAVHAUG A, et al.A 3D machine vision system for quality grading of Atlantic salmon[J].Computers and Electronics in Agriculture, 2016, 123:142-148.

[8] 李文静. 多相机标定及三维重建技术研究[D].西安:西安理工大学, 2022.LI W J.Research on multi-camera calibration and 3D reconstruction technology[D].Xi’an:Xi’an University of Technology, 2022.

[9] COOK D, MIDDLEMISS K, JAKSONS P, et al.Validation of fish length estimations from a high frequency multi-beam sonar (ARIS) and its utilisation as a field-based measurement technique[J].Fisheries Research, 2019, 218:59-68.

[10] ZHANG P, QIAO Y, JIN Y, et al.Upstream migration of fishes downstream of an under-construction hydroelectric dam and implications for the operation of fish passage facilities[J].Global Ecology and Conservation, 2020, 23:e01143.

[11] 马骏骁, 龚泽, 康家铭, 等.基于线激光扫描的鱼类定量切段方法[J].食品与机械, 2022, 38(10):87-92.MA J X, GONG Z, KANG J M, et al.Research on quantitative fish segmentation method based on line laser scanning[J].Food &Machinery, 2022, 38(10):87-92.

[12] 叶东东, 徐霞, 丁玉庭.深度学习与机器视觉在鱼类加工与品质监测中的研究进展[J].食品与发酵工业, 2024, 50(22):389-398.YE D D, XU X, DING Y T.Research progress on deep learning and machine vision for fish processing and quality monitoring[J].Food and Fermentation Industries, 2024, 50(22):389-398.

[13] 李莲, 郭晓亚.基于计算机视觉的鱼类分级方法的研究[J].内蒙古农业大学学报(自然科学版), 2015, 36(5):120-124.LI L, GUO X Y.Research on fish classification method based on image processing[J].Journal of Inner Mongolia Agricultural University (Natural Science Edition), 2015, 36(5):120-124.

[14] 赵树昌. 基于机器视觉的苹果分级及表面损伤技术研究[D].杭州:浙江科技学院, 2023.ZHAO S C.Apple grading and appearance damage detection based on vision[D].Hangzhou:Zhejiang University of Science and Technolog, 2023.

[15] 马常昊, 胡文惠, 钟海超, 等.融合Sobel算子的SAR图像结构优化方法[J].探测与控制学报, 2024, 46(2):119-124.MA C H, HU W H, ZHONG H C, et al.SAR image structure optimization method using sobel operator fusion[J].Journal of Detection &Control, 2024, 46(2):119-124.

[16] 许四祥, 李天甲, 翟健健, 等.基于Prewitt算子的自适应弱小目标检测[J].红外技术, 2019, 41(2):189-193.XU S X, LI T J, ZHAI J J, et al.Adaptive dim small target detection based on prewitt operator[J].Infrared Technology, 2019, 41(2):189-193.

[17] 李星军, 邵志伟, 梁嘉怡.基于Roberts算子的激光夜视图像自动分割方法[J].激光杂志, 2024, 45(5):110-114.LI X J, SHAO Z W, LIANG J Y.Automatic segmentation method of laser night vision image based on Roberts operator[J].Laser Journal, 2024, 45(5):110-114.

[18] 李强, 赵峰, 许中平, 等.基于改进Canny算子的电气设备红外图像边缘检测算法[J].武汉大学学报(工学版), 2024, 57(12):1759-1765.LI Q, ZHAO F, XU Z P, et al.Edge detection algorithm of infrared image of electrical equipment based on improved Canny operator[J].Engineering Journal of Wuhan University, 2024, 57(12):1759-1765.

[19] 周俊杰, 余建波.基于机器视觉的加工刀具磨损量在线测量[J].上海交通大学学报, 2021, 55(6):741-749.ZHOU J J, YU J B.Online measurement of machining tool wear based on machine vision[J].Journal of Shanghai Jiao Tong University, 2021, 55(6):741-749.

[20] 朱明, 李梦珂, 万鹏, 等.基于鱼体特征点检测的淡水鱼种类识别[J].农业工程学报, 2023, 39(11):155-164.ZHU M, LI M K, WAN P, et al.Identification of freshwater fish species based on fish feature point detection[J].Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(11):155-164.

[21] 李晓蒙. 基于语义部件模型的条斑鲨鱼体姿态估计方法研究[D].秦皇岛:燕山大学, 2021.LI X M.Research on body pose estimation of White-spotted Bamboo Shark based on semantic component model[D].Qinhuangdao:Yanshan University, 2021.

[22] 康煜东. 基于单目相机的实时三维重建技术研究[D].西安:西安电子科技大学, 2024.KANG Y D.Research on real-time 3D reconstruction technology based on monocular cameras[D].Xi’an:Xidian University, 2024.

[23] 李艳君, 黄康为, 项基.基于立体视觉的动态鱼体尺寸测量[J].农业工程学报, 2020, 36(21):220-226.LI Y J, HUANG K W, XIANG J.Measurement of dynamic fish dimension based on stereoscopic vision[J].Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(21):220-226.

[24] ZHANG Z Y.Flexible camera calibration by viewing a plane from unknown orientations[C].Proceedings of the Seventh IEEE International Conference on Computer Vision.IEEE, 2002:666-673.

[25] 于跃龙, 魏修亭, 马泽, 等.基于图像识别的鱿鱼胴体三维重建方法研究[J].渔业现代化, 2025, 52(2):109-117.YU Y L, WEI X T, MA Z, et al.Research on 3D reconstruction of squid carcass based on image recognition[J].Fishery Modernization, 2025, 52(2):109-117.

[26] 曾猛杰, 汪晨曦, 赖俊杰, 等.亚像素边缘检测算法综述[J].光学 精密工程, 2024, 32(23):3513-3524.ZENG M J, WANG C X, LAI J J, et al.Review of sub-pixel edge detection algorithms[J].Optics and Precision Engineering, 2024, 32(23):3513-3524.

[27] 郑锦, 王森, 李航, 等.多关键点约束与深度估计辅助的单目3D目标检测算法[J].计算机学报, 2024, 47(12):2803-2818.ZHENG J, WANG S, LI H, et al.A monocular 3D object detection algorithm with multi-keypoint constraints and depth estimation assistance[J].Chinese Journal of Computers, 2024, 47(12):2803-2818.

[28] 马启栋, 孔月萍, 李博宇, 等.水处理过程中的絮体图像纹理特征分析及应用[J].给水排水, 2023, 59(3):15-20.MA Q D, KONG Y P, LI B Y, et al.Analysis and application of flocs image texture features in water treatment process[J].Water &Wastewater Engineering, 2023, 59(3):15-20.

[29] 杨航, 陈瑞, 安仕鹏, 等.深度学习背景下的图像三维重建技术进展综述[J].中国图象图形学报, 2023, 28(8):2396-2409.YANG H, CHEN R, AN S P, et al.The growth of image-related three dimensional reconstruction techniques in deep learning-driven era:A critical summary[J].Journal of Image and Graphics, 2023, 28(8):2396-2409.

[30] 唐彦嵩, 徐锐豪, 王夙加.机器视觉在食品无损检测中的应用研究进展[J].中国食品学报, 2024, 24(12):13-27.TANG Y S, XU R H, WANG S J.Research progress in the application of machine vision in food nondestructive detection[J].Journal of Chinese Institute of Food Science and Technology, 2024, 24(12):13-27.

[31] CONCHA-MEYER A, EIFERT J, WANG H J, et al.Volume estimation of strawberries, mushrooms, and tomatoes with a machine vision system[J].International Journal of Food Properties, 2018, 21(1):1867-1874.

[32] JEON Y, CHO H.Model based hybrid decision tree[J].Journal of the Korean Data and Information Science Society, 2019, 30(3):515-524.

[33] CHAUHAN V K, DAHIYA K, SHARMA A.Problem formulations and solvers in linear SVM:A review[J].Artificial Intelligence Review, 2019, 52(2):803-855.

[34] NISHIMURA J, KURODA T.Multiaxial haar-like feature and compact cascaded classifier for versatile recognition[J].IEEE Sensors Journal, 2010, 10(11):1786-1795.

[35] WU Y, MA W P, GONG M G, et al.A novel point-matching algorithm based on fast sample consensus for image registration[J].IEEE Geoscience and Remote Sensing Letters, 2015, 12(1):43-47.

[36] 马国强, 田云臣, 李晓岚.基于不规则图像面积测量的窄体舌鳎个体重量估计[J].微型机与应用, 2016, 35(16):67-71.MA G Q, TIAN Y C, LI X L.Individual weight estimation of Cynoglossus gracilis based on measurement of irregular image area[J].Microcomputer &Its Applications, 2016, 35(16):67-71.

[37] 单佳楠, 郑晓伟.基于机器视觉技术的金鲳鱼质量预测研究[J].渔业现代化, 2023, 50(2):58-66.SHAN J N, ZHENG X W.Weight prediction of golden pomfret based on machine vision technology[J].Fishery Modernization, 2023, 50(2):58-66.

[38] 刘清. 基于机器视觉的活体鳗鱼重量检测方法及试验研究[D].广州:华南农业大学, 2020.LIU Q.The weight of live eel based on machine vision testing methods and experimental research[D].Guangzhou:South China Agricultural University, 2020.

[39] VARR M O, HUSKOV L, PATOKA J, et al.Classification of transformed anchovy products based on the use of element patterns and decision trees to assess traceability and country of origin labelling[J].Food Chemistry, 2021, 360:129790.

[40] SABERIOON M, CSA P.Automated within tank fish mass estimation using infrared reflection system[J].Computers and Electronics in Agriculture, 2018, 150:484-492.

[41] LOPEZ-TEJEIDA S, SOTO-ZARAZUA G M, TOLEDANO-AYALA M, et al.An improved method to obtain fish weight using machine learning and NIR camera with haar cascade classifier[J].Applied Sciences, 2022, 13(1):69.

[42] JANG Y, SEO Y S.Machine vision based fish cutting point prediction for target weight[J].Computers, Materials &Continua, 2023, 75(1):2247-2263.

[43] GANAIE M A, HU M H, MALIK A K, et al.Ensemble deep learning:A review[J].Engineering Applications of Artificial Intelligence, 2022, 115:105151.

[44] ZHU L L, SPACHOS P, PENSINI E, et al.Deep learning and machine vision for food processing:A survey[J].Current Research in Food Science, 2021, 4:233-249.

[45] MEI S H, JI J Y, HOU J H, et al.Learning sensor-specific spatial-spectral features of hyperspectral images via convolutional neural networks[J].IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(8):4520-4533.

[46] GEWERS F L, FERREIRA G R, DE ARRUDA H F, et al.Principal component analysis:A natural approach to data exploration[J].ACM Computing Surveys, 2022, 54(4):1-34.

[47] 江小辉, 孙翼飞, 郭维诚, 等.基于改进鸡群优化算法运动学与改进鸡群优化-Elman神经网络非运动学的机器人误差标定[J].信息与控制, 2024, 53(3):315-328.JIANG X H, SUN Y F, GUO W C, et al.Robot error calibration based on improved CSO algorithm kinematics and improved CSO-Elman neural network non-kinematics[J].Information and Control, 2024, 53(3):315-328.

[48] 刘小刚, 李荣梅, 范诚, 等.基于语义分割的芒果表皮缺陷识别[J].华南农业大学学报, 2023, 44(1):134-141.LIU X G, LI R M, FAN C, et al.Recognition of mango skin defect based on semantic segmentation[J].Journal of South China Agricultural University, 2023, 44(1):134-141.

[49] FERNANDES A F A, TURRA E M, DE ALVARENGA É R, et al.Deep Learning image segmentation for extraction of fish body measurements and prediction of body weight and carcass traits in Nile tilapia[J].Computers and Electronics in Agriculture, 2020, 170:105274.

[50] ZHANG L, WANG J P, DUAN Q L.Estimation for fish mass using image analysis and neural network[J].Computers and Electronics in Agriculture, 2020, 173:105439.

[51] 唐亚娅. 基于图像处理的鳙鱼分类及重量估计模型研究与系统开发[D].重庆:重庆大学, 2022.TANG Y Y.Research and system development of bighead carp classification and weight estimation model based on image processing[D].Chongqing:Chongqing University, 2022.

[52] 赵丽清, 段东瑶, 殷元元, 等.基于PSO-Elman算法的茶叶烘干含水率预测[J].农业工程学报, 2021, 37(19):284-292.ZHAO L Q, DUAN D Y, YIN Y Y, et al.Prediction of tea drying moisture content based on PSO Elman algorithm[J].Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(19):284-292.

[53] DE OLIVEIRA JUNIOR L A, MEDEIROS H R, MACDO D, et al.SegNetRes-CRF:A deep convolutional encoder-decoder architecture for semantic image segmentation[C].2018 International Joint Conference on Neural Networks (IJCNN).IEEE, 2018:1-6.

[54] CONG X Q, TIAN Y C, QUAN J N, et al.Machine vision-based estimation of body size and weight of pearl gentian grouper[J].Aquaculture International, 2024, 32(4):5325-5351.

[55] 王禹莎, 王家迎, 辛瑞, 等.基于计算机视觉的大黄鱼体尺、体重性状表型测量装置开发和应用[J].水产学报, 2023, 47(1):205-214.WANG Y S, WANG J Y, XIN R, et al.Application of computer vision in morphological and body weight measurements of large yellow croaker (Larimichthys crocea)[J].Journal of Fisheries of China, 2023, 47(1):205-214.

[56] KARAKATSOULI N, MAVROMMATI M, KARELLOU E I, et al.Weight prediction of intensively reared gilthead seabream Sparus aurata from morphometric traits measured in images[J].Aquaculture International, 2024, 32(3):3675-3687.

[57] 段青玲, 张宇航, 孔铭瑞, 等.基于旋转目标检测和双目视觉的大闸蟹质量估算方法[J].农业机械学报, 2025, 56(6):575-584;672.DUAN Q L, ZHANG Y H, KONG M R, et al.Weight estimation method for Chinese mitten crab based on oriented object detection and binocular vision[J].Transactions of the Chinese Society for Agricultural Machinery, 2025, 56(6):575-584;672.

[58] 周晓林, 马超, 王兆平, 等.基于机器视觉的鲤、鲫鱼性状测量系统的设计与实现[J].渔业现代化, 2022, 49(6):108-117.ZHOU X L, MA C, WANG Z P, et al.Design and implementation of trait measurement system for common carp(Cyprinus carpio)and crucian carp(Carassius auratus)based on machine vision[J].Fishery Modernization, 2022, 49(6):108-117.

[59] 毕云峰, 周洪光, 修丽欣.一种水下鱼体质量测量方法及系统, 中国:CN114821118A[P].2022-07-29.BI Y F, ZHOU H G, XIU L X.A method and system for measuring the mass of underwater fish bodies, China:CN114821118A[P].2022-07-29.

[60] 石晨, 刘越越, 吕婧, 等.一种水下鱼类无损测量方法与系统, 中国:CN117635689A[P].2024-03-01.SHI C, LIU Y Y, LYU J, et al.An underwater fish non-destructive measurement method and system, China:CN117635689A[P].2024-03-01.

[61] 张璐, 郑亚澎, 刘尊续, 等.一种水下游动鱼体质量估算方法及系统, 中国:CN119205870A[P].2024-12-27.ZHANG L, ZHENG Y P, LIU Z X, et al.A method and system for estimating the body mass of a swimming fish, China:CN119205870A[P].2024-12-27.

[62] 汪小旵, 武尧, 肖茂华, 等.水产养殖中智能识别技术的研究进展[J].华南农业大学学报, 2023, 44(1):24-33.WANG X C, WU Y, XIAO M H, et al.Research progress of intelligent identification technology in aquaculture[J].Journal of South China Agricultural University, 2023, 44(1):24-33.

[63] 曾立华, 许春燕, 董心如, 等.基于深度学习多模态融合模型的鱼类生物量估算方法及系统, 中国:CN119271987A[P].2025-01-07.ZENG L H, XU C Y, DONG X R, et al.Fish biomass estimation method and system based on deep learning multimodal fusion model, China:CN119271987A[P].2025-01-07.

[64] 王博彦. 基于Transformer的鱼体关键点检测算法研究[D].杭州:浙江大学, 2023.WANG B Y.Research on transformer-based detection algorithm of key point of fish body[D].Hangzhou:Zhejiang University, 2023.

[65] DONG Y H, JIANG X, JIN Z, et al.Self-collaboration code generation via ChatGPT[J].ACM Transactions on Software Engineering and Methodology, 2024, 33(7):1-38.

Research progress on fish quality inspection based on machine vision

LIU Jiaxuan1,2, GAO Jiabin2, WU Wenjin2, CHEN Sheng2, SHI Liu2, CHU Shang1, GUO Xiaojia2, LIN Jiahao2, WANG Lan2, QIAO Yu2, XIONG Guangquan2, LIU Bin3, CHEN Lang2*

1(School of Life Science and Health Engineering, Hubei University of Technology, Wuhan 430068, China)
2(Institute of Agro-products Processing and Nuclear-Agricultural Technology, Hubei Academy of Agricultural Sciences, Wuhan 430072, China)3(Wanzhai Township Agricultural Technology Service Center, Xuan’en County, Enshi 445503, China)

ABSTRACT Body weight stands as a pivotal measurable attribute of fish, recognized as a decisive factor in standardized size grading systems, precision processing parameterization frameworks, and market value evaluation mechanisms.The rapid advancement of computer hardware and intelligent optimization algorithms demonstrates the potential to drive revolutionary progress in non-destructive weight detection technologies based on machine vision, establishing these systems as robust tools for aquatic product inspection due to their exceptional accuracy and operational efficiency.The study primarily searched multiple academic literature databases, including CNKI,Web of Science,Food Science,IEEE Access Computers and Electronics in Agriculture and Fisheries Research The comprehensive search covered Chinese and English journals,conference proceedings, and dissertations published from 2015 to 2025.Through a systematic review and synthesis of existing domestic and international literature, a complete technical architecture for machine vision-based fish weight assessment was constructed, comprising three core modules:image acquisition devices, feature extraction algorithms, and weight prediction models.High quality image acquisition and high-resolution image data are identified as fundamental prerequisites and critical guarantees for achieving precise weight measurements, leading researchers to compare the advantages, disadvantages, and application scenarios of various acquisition devices.Subsequently, the optimal application ranges of diverse feature extraction algorithms were analyzed, followed by a comparative evaluation of machine vision and deep learning technologies under current environmental conditions.Finally, the study presents concrete prospects and assessments regarding future development trends and research directions for fish weight prediction methodologies.

Key words machine vision;weight detection;image acquisition;feature extraction;deep learning

DOI:10.13995/j.cnki.11-1802/ts.043999

引用格式:刘稼轩,高佳斌,吴文锦,等.基于机器视觉的鱼体质量检测研究进展[J].食品与发酵工业,2026,52(11):416-427.LIU Jiaxuan, GAO Jiabin, WU Wenjin, et al.Research progress on fish quality inspection based on machine vision[J].Food and Fermentation Industries,2026,52(11):416-427.

第一作者:硕士研究生(陈朗助理研究员为通信作者,E-mail:chenlang@hbaas.ac.cn)

基金项目:湖北省重点研发计划项目(2023BBB115);湖北省农业科学院青年科学基金项目(2024NKYJJ28);湖北省农机装备补短板核心技术应用攻关项目(HBSNYT202221);武汉都市圈协同创新科技项目(2024070904020441)

收稿日期:2025-07-22,改回日期:2025-10-22