机器学习和大数据在食品领域的应用

丁浩晗1,2,田嘉伟2,谢祯奇2,沈嵩2,崔晓晖1,3*,王震宇4

1(江南大学,未来食品科学中心,江苏 无锡,214000)

2(江南大学 人工智能与计算机学院,江苏 无锡,214000)

3(武汉大学 国家网络安全学院,湖北 武汉 430072)

4(嘉兴未来食品研究院,浙江 嘉兴,314005)

摘 要 近年来,食品行业经历了显著变化。全球化、技术进步以及不断变化的消费者需求推动了该行业的持续发展和创新。作为先进的新兴技术,机器学习和大数据在食品行业中发挥着越来越关键的作用。机器学习和大数据在食品领域的应用密切相关。机器学习通过模式识别和数据分析挖掘食品生产和供应链的关键信息,而大数据技术支持大规模数据处理,提供更全面的决策视角。这两者共同推动了食品研究创新和产业发展。利用机器学习对大数据集进行深入分析,可以预测食品趋势、改进生产流程、优化供应链。该文介绍了机器学习和大数据在食品工业的应用现状,涵盖了机器学习和深度学习技术、自适应神经模糊推理技术以及机器学习在食品检测中的多维应用,如机器学习算法与近红外光谱技术结合的食品检测技术、计算机视觉在食品领域的应用,以及机器学习算法和智能传感器结合的实时食品检测技术。分析了大数据面临的技术挑战(数据缺乏真实性、完整性及数据标注困难等),提出了潜在的解决方案(区块链技术及数据增强与预处理技术),并展望了机器学习技术在食品研究领域的未来发展趋势。此外,随着“食品工业4.0”的到来,食品工业正迎来快速发展,智能农业、机器人农业、无人机、3D打印、数字孪生等由机器学习衍生出的前沿技术将进一步崭露头角。面对如此多的创新和改进机遇,食品行业也将面临智能生产和可持续性等问题。最后,讨论了食品行业未来可能面临的挑战和发展方向。

关键词 机器学习;大数据;食品工业;新兴技术;智能传感器

机器学习作为人工智能的核心领域,在寻找共同性、区分差异性上展现了传统技术难以比拟的优势。近年来,食品科学领域逐渐开始探索机器学习的研究与应用。尤其是在食品检测中的在线质量评估和测定方面,机器学习因具有强大的处理无关信息、提取特征变量和建立校准模型的能力而得到广泛应用。传统的食品有损检测技术,如气相色谱、高效液相色谱和聚合酶链反应,面临着一系列挑战,包括破坏性强、操作繁琐、成本昂贵、耗时冗长等问题。这些局限性使得这些技术在快速分析方面难以满足需求,尤其是在食品检测中的在线质量评估与测定中的应用受到限制[1]。食品无损检测是一种利用非破坏性手段对食品进行检测和评估的技术。这种技术可以在不损害食品外观、质地或成分的情况下获取相关信息。而机器学习能够利用食品无损检测获取的数据,为判断食品的各种属性提供准确、快速且非侵入性的分析。机器学习还可以基于分子结构、特性、以及从电子鼻、电子舌和气相色谱-质谱等仪器获得的数据预测食品风味[2],并进一步基于代谢物和基因对食品风味进行调控研究[3]。此外,机器学习在食品品质分析中扮演着重要角色:通过分析大量数据,包括成分含量、微生物含量等,识别和评估食品的品质水平,为生产商提供改进和优化方案。其次,机器学习在食源性致病菌的预测与溯源[4]、基于基因组大数据的益生菌筛选和预测[5]及于酶的设计与改造[6]等领域也发挥着重要作用,这些应用共同推动着食品科学领域的发展。

然而机器学习的应用离不开数据的支持,机器学习和大数据之间存在着紧密的联系。机器学习作为实现人工智能的关键手段之一,依赖于大规模数据的输入和处理,从而使得大数据与机器学习形成了一种紧密的协同关系。大数据为机器学习算法提供了充足的训练样本和实时信息,而机器学习通过不断优化算法,提高对数据的分析和理解能力,推动了人工智能的发展。这种密不可分的关系已经成为推动科技创新的强大引擎,其在食品领域的应用尤为引人关注。

随着技术的不断进步和应用场景的扩展,机器学习和大数据在食品领域的应用前景将更加广泛。它们将成为食品领域转型升级的重要手段,并为食品领域的发展带来更多机会和挑战[7]

1 机器学习在食品工业中的应用

机器学习是一种人工智能技术,其基本特征在于它能够通过数据学习和改进,即通过对大量数据的分析和学习,发现数据中的模式和规律,并据此做出预测或做出决策。随着科技的快速发展,机器学习已经深刻影响了食品领域的各个层面。从机器学习到深度学习,再到自适应神经模糊推理(adaptive neuro-fuzzy inference system, ANFIS)技术和计算机视觉(computer vision syndrome, CVS)技术,以及机器学习算法与智能传感器的结合,这些创新为食品生产、质量控制和安全带来了翻天覆地的变革。

1.1 机器学习和深度学习技术

人工智能(artificial intelligence, AI)系统主要依赖于机器学习(machine learning, ML)算法和深度学习(deep learning, DL)算法[8]。机器学习结合了计算机科学和统计学,在训练过程中,机器学习可以采用引导或监督的方法,其种类可以分为监督学习、无监督学习或半监督学习[9]。对于实时的食品检测技术,包括但不限于电子传感器、图像处理、计算机视觉和光谱学等技术,其数据如电子鼻采集的信号、智能包装采集的食品状态参数、机器视觉系统采集的RGB图像以及高光谱成像采集的超立方体等,通常被用作食品质量检测和食品安全保障的核心参考。而深度学习作为先进的技术,尤其在食品质量检测的大数据(big data, BD)分析中,已被广泛认为是有效工具,其性能上明显优于其他传统的ML算法。

1.1.1 监督式学习

在监督学习任务如分类和回归中,用于训练的数据包含与预期结果或事实数据相关的标记信息。这些标记信息代表了样本的预期输出或实际结果。在分类问题中,标记信息通常表示样本所属的类别;而在回归问题中,标记信息则表示与样本相关的实数值。监督学习算法通过学习这些带有标记信息的训练数据,建立起输入与输出之间的关系,从而能够对新的未标记数据进行预测或分类。例如,要构建一个苹果/香蕉分类器,需要一个大型的标有标签如苹果、香蕉或两者都不是的水果图像训练集。为了开发一个预测连续值的回归模型,例如,基于苹果的特征(如生产地点,成熟度,生产日期)来预测水果价格,需要从市场上收集大量标有特征和价格标签的苹果销售样本。监督学习相关算法包括支持向量机(support vector machine, SVM)、逻辑回归(logistic regression, LR)、决策树(decision tree, DT)、人工神经网络(artificial neural network, ANN)等经典方法。

1.1.2 无监督学习

在无监督学习任务中,如降维和聚类,训练数据是无标记的,也就是没有提供明确的输出标签信息。聚类和降维是无监督学习的2个典型应用。聚类是将数据集中的样本划分为不同的组别,使得组内的样本相似度较高,而组间的相似度较低。而降维是将高维数据映射到低维空间,保留数据集的主要特征,以便更好地理解和可视化数据,同时减少计算复杂度和资源消耗。将复杂的高维数据集降维到低维空间对于后续的数据分析工作和成功构建模型至关重要。其中,主成分分析(principal component analysis, PCA)是一种降维技术,其目标是将n维数据投影到k维空间(n>k)。这种投影产生了称为主成分的新正交特征,它是基于原始n维特征在k子空间内的重构。在电子鼻系统数据分析的背景下,WU等[10]提出了一种模糊判别主成分分析(fuzzy discriminant principal component analysis,FDPCA)算法,该算法相比PCA具有更高的分类精度。将该算法应用于电子鼻的特征提取,尤其适用于中国白酒样本的识别。此外,BAI等[11]使用PCA有效地映射了样本的主成分,从而在高粱分析中消除了高光谱图像数据集中的异常样本,有助于识别高粱掺假。其中,K-means是一种基于划分的聚类算法,也是聚类应用中最常用的方法,其原理是在事先不知道如何分类(即无监督)的情况下,基于距离将n个对象(局部)最优地划分为K个类,通过一个循环迭代,当类内距离最小,类间距离最大时,迭代停止。该算法具有简单性和高效性,在诸如机器视觉、高光谱成像、电子鼻系统、智能包装等领域都得到了广泛的应用。

1.1.3 半监督学习

在实际生产中,获取未标记的数据相对简单,而收集和标记数据集可能需要耗费大量时间和劳动力。此外,当存在未标记的样品时,食品质量监测会变得特别具有挑战性,这会引入干扰并使分析过程复杂化。在这种情况下,使用半监督学习可以用少量的标记数据来处理大量的未标记数据。在半监督学习中,标记数据用于指导模型学习数据的结构和特征,而未标记数据则用于增加训练数据的丰富性和多样性,从而提高模型的鲁棒性和泛化能力。JIANG等[12]提出了一种基于图的半监督方法,该方法有效地整合了高光谱图像,准确地识别了番茄的成熟度。值得注意的是,该方法仅使用了少量的标记番茄样品,但准确率高达96.78%。同样,CHATTERJEE等[13]使用了仅有10个稻田数据集的半监督方法,成功地对稻田与非稻田进行了分类,准确率为84.92%。

1.1.4 深度学习

DL,也称为深度神经网络,是机器学习的一个分支,它着重于使用深度神经网络(deep neural networks,DNN)来进行学习和模式识别。DL的理念来自于对人脑神经网络工作原理的模拟,通过构建多层的神经元网络,使计算机能够自动地从数据中学习和提高性能。利用DL,机器能够直接获取原始数据并自主地发现相关特征,这使得DL特别适用于从高光谱图像食品检测数据中自动提取特征并降低其维度[14]。考虑到DL架构可以通过将特定拓扑的ANN的输入和输出层之间的隐藏层合并来构建(图1),已经出现了各种不同的架构,如循环神经网络(recurrent neural network, RNN)、卷积神经网络(convolutional neural networks, CNN)、自编码器(autoencoder, AE)、生成对抗神经网络(generative adversarial network, GAN)等。在实际应用中,研究人员通常根据问题的性质和数据的特点来选择最适合的模型,有时还会将不同的架构进行组合,形成更为强大的深度学习模型。其中,AE和CNN是处理食品检测数据中最常用的两种方法。VASAFI等[15]将自动编码神经网络和近红外光谱结合,成功实现对牛奶加工过程的异常检测。结果表明,神经网络显著比传统的手动提取特征的方法有更高的准确度。

图1 神经网络前向传播结构
Fig.1 Neural network forward propagation structure

1.2 自适应神经模糊推理技术

在机器学习领域,ANFIS是一种创新的模糊推理系统结构,无缝集成了模糊逻辑和神经网络。ANFIS是一种通过最小二乘和反向传播的混合算法调整其前提和结论参数的技术,并能自动生成If-Then规则。它既继承了ANN的计算学习能力,又拥有模糊逻辑系统的直观推理特性。ANFIS的特点之一是可以自动确定隶属函数的参数,从而省去了手动设置隶属函数及其参数的需求,特别是在已有一组输入和其关联输出的情况下。与人工神经网络类似,ANFIS系统可以“自适应”地调整其节点和他们之间的连接。ANFIS的结构有5层,包括:模糊层、乘积层、归一化层、去模糊层和总输出层。图2展示了ANFIS的网络结构。

图2 ANFIS 网络的5层结构图
Fig.2 Five-layer structure diagram of ANFIS network

借助于模糊逻辑和神经网络的进步,自适应神经网络模糊推理系统作为这2种理论的结合体,已经吸引了大量的研究关注。它结合了模糊逻辑的直观性和神经网络的学习能力,因此,已经成为计算智能领域的一个重要研究热点。在食品检测领域,ANFIS技术已经产生了深远的影响。例如,VIVEK等[16]利用ANFIS模型研究了冰淇淋的感官属性,并根据输入参数预测了口感的可接受程度,模型的误差仅为5.11%,且相关系数达到了0.93。ARABAMERI等[17]则采用ANFIS模型预测初榨橄榄油样品的质量,准确率高达98%。这些研究均证明了将模糊推理系统与神经网络相结合,在食品检测领域具有明显的优势。

1.3 机器学习在食品检测中的多维应用

1.3.1 机器学习算法与近红外光谱技术结合的食品检测技术

近红外光谱(near infrared spectrum,NIRS)是一种基于光学原理的非侵入性分析技术,它利用物质分子在NIRS区域的吸收和散射特性,通过检测吸收光和散射光的强弱来分析物质的化学组成、结构和性质,从而达到快速、准确地分析和检测物质的化学和物理性质的目的。NIRS被广泛用于食品成分和质量指标的快速、准确分析。传统方法存在着一定局限性,包括对大量样本处理、复杂食品成分和质量指标分析的不足、受人为因素影响的准确性和一致性问题等。相较于传统方法,NIRS的优势在于其无化学物质、快速准确、无损、低成本、资源节约等特点,使其成为了传统技术的有力竞争者。近期,机器学习算法与NIRS技术的结合已为食品质量检测和病害状态的监测带来了显著的变化,常用的方法包括最小二乘法、多元线性回归等。在食品检测领域,近红外技术结合机器学习系统可以实现对食品的分类和检测。例如,CURTO等[18]利用基于ANN的NIRS精确预测了奶酪的感官特性;GUNARATNE等[19]利用近NIRS获得巧克力的物理化学数据(pH值、糖度、黏度及颜色)和感官特性(基本味觉强度),再用机器学习对这些数据进行建模,成功对巧克力的质量进行评估;ALSHEJARI等[20]将肉类样品根据其存储条件分类,然后设计了一个多光谱图像分析的智能系统来预测细菌的总活菌数,对牛肉腐败情况进行了评估,总体上实现了95.53%的正确分类。NIRS技术的快速、准确、无创、低成本等特点,为提高食品的质量和市场竞争力提供了巨大的帮助。机器学习技术的持续进步为NIRS数据的处理和解释提供更高效、准确的手段[21]

1.3.2 计算机视觉在食品检测领域的应用

CVS是机器学习在视觉领域的应用,主要利用图像处理和模式识别技术来自动分析和解释视觉数据,如图像和视频。其目的是模拟人类的视觉,使计算机和相关设备能够理解数字图像和视频,并从中提取有意义的信息以做出决策。相对于传统的人工操作,CVS具有计算能力强大的特点,因此其分析的错误率较低。与仅依赖传统机器学习方法的系统相比,将机器学习集成到这些系统中可以提高系统性能和模型准确性。CVS技术发展得益于新硬件和先进算法的结合,其应用领域也十分广泛,包括医学图像检测、自动驾驶、面部识别、农业和食品检测等领域。在食品领域,计算机视觉技术得到了广泛的应用[22]。例如,LOPES等[23]提出了一种将计算机视觉与空间金字塔分割集成结合的技术,该技术利用图像特征和机器学习来区分22种面粉品种的裸型和麦芽型。PHATE等[24]开发了一种计算机视觉系统来提取印度酸橙果实的质量并建立1D和2D特征之间的关系模型,实验结果表明,这种称重模型结合了1D和2D的优势,能够更快、更经济地替代农业领域中的手动方法,特别是在甜橙的分类、分级和包装过程中,展现出了明显的优势;NADIM等[25]设计了一种图像处理系统来确定蘑菇的外观质量。利用数据挖掘技术获得的蘑菇的颜色、面积、质量和体积等特性,对蘑菇的品质进行了评价。在各种神经网络中,CNN已被广泛地应用于计算机视觉,特别适用于处理计算机视觉领域的各种任务,如图像分类、对象检测、语义分割等。随着机器学习的进一步发展,特别是CNN的进步,现在可以进一步处理收集到的食物图片,从而对其进行分类。图3展示了在计算机视觉中使用CNN自动提取食物形状特征进行食物识别的过程。表1列出了计算机视觉在食品工业中的应用实例。

表1 计算机视觉在食品工业中的应用
Table 1 Applications of computer vision in the food industry

研究对象目标实验结果参考文献大麦面粉对大麦粉品种进行预测使用空间金字塔分割方法进行分类,最终用CVS技术和SVM预测结果为95%[23]甜椒 预测甜椒的成熟状况成功使用CVS和ANN/FL开发人工视觉系统来预测甜椒的成熟度,FL最大精度为88%,ANN最大精度为100%[26]蘑菇 计算蘑菇质量,确认蘑菇外观CVS处理的最终结果为95.6%[25]香蕉 预测香蕉的成熟情况成功用SVM和ANN算法准确预测香蕉的成熟程度,准确率高达98%[27]番茄 预测新鲜番茄的成熟度用ANN算法准确检测出番茄成熟度,准确率高达99%[28]

图3 基于卷积神经网络的食品形状特征自动提取
Fig.3 Automatic extraction of food shape features based on CNN

1.3.3 机器学习算法和智能传感器结合的实时食品检测技术

在当今食品工业中,确保产品质量和安全性显得尤为重要。得益于机器学习和智能传感器技术的不断进步,实时监测食品的质量和安全性已经变得触手可及。机器学习算法可对大量数据进行深入分析,以预测潜在问题,并及时发现食品安全隐患。同时,智能传感器根据其工作原理被分为物理传感器、化学传感器和生物传感器等不同类型。例如,物理传感器可以实时监测温度、湿度、压力和气味等关键参数,进而及时识别出可能出现的问题。这些技术的结合为食品工业提供了更为高效、更精确的手段来确保产品的质量和安全性。通过将机器学习与智能传感器技术集成,能够达到实时的监测和预警,从而大大提高食品安全保障。当传感器检测到任何异常,该系统会立即通知操作员,并迅速采取预定措施,从而预防食品安全事故的发生。随着计算机技术的广泛普及和快速发展,这些技术在传感器系统中的应用已变得越来越普遍,适用于各种规模的传感器系统,包括小型系统和单一传感器等。

正确应用机器学习技术可以促进更多富有竞争力的传感器系统和应用的开发。其中,一些实时检测的传感器集成,例如电子鼻[29]、电子舌[30]等,通常与ANN等技术结合在一起。通过电子鼻和电子舌等传感器捕捉到样品特征,再结合ANN技术提取和分析这些多样性的特征,从而全面评估样品的品质和属性,这种方法在各种应用领域中具有广泛的适用性和灵活性,此方法通常被用于实时监测食品,并取得了高精度的效果。一旦发现问题,这些系统能在极短时间内发出警报,以便操作人员及时采取措施,确保食品的安全和质量。

近年来,结合机器学习的智能传感器在食品领域的应用已取得了很大的突破。例如,MCVEY等[31]研发了基于光谱学的智能传感器,用于实时监测肉类食品加工流程并保证其质量。NDISYA等[32]使用基于超光谱成像的光学传感器技术,对干燥热空气中紫色斑点山药片的质量变化情况进行评估,并成功地建立了预测模型。FENG等[33]则设计了一种结合机器学习的电子鼻技术,实现对肉类和鱼类等食品腐败程度的准确检测。此外,电子舌技术在食品领域的应用也十分广泛,如食品溯源、食品新鲜度、食品品质分级以及食品生产过程中的质量监控等。例如,WADEHRA等[34]详细地探讨了电子舌在果汁、奶制品、蔬菜和水果等不同食品生产加工过程中的实际应用。WANG等[35]用金、银、铂等金属裸电极作为工作电极,研发了一种伏安型电子舌系统,并结合机器学习数据分析方法,可用于对不同产地黄酒的品质区分。通过结合传感器技术和机器学习技术,可以自动采集和记录食品生产过程中的关键参数和指标,从而减少了人工干预的误差,并提供了更准确和全面的数据基础。为了展示不同技术在食品质量检测和分析方面的优缺点,以及它们在不同场景下的适用性,表2对常规实验室仪器、感官分析、电子鼻、电子舌和计算机视觉技术进行了比较。

表2 常规实验室仪器、感官分析、电子鼻、电子舌和计算机视觉技术的比较
Table 2 Comparison of conventional laboratory instruments, sensory analysis, electronic nose, electronic tongue, and computer vision

特征常规实验室仪器感官分析电子鼻电子舌计算机视觉快速检测是否是是是低成本分析是否是是是化学品使用否否否否否客观性是否是是是无损测量是是是否是样品预处理否否否是否简单是否是是是单一操作员是否是是是数据的永久存储是是是是是

2 大数据在食品领域的创新和应用

在食品领域中,为了确保食品质量和食品安全,食品检测变得至关重要,这导致了大量数据集的累积,其被称为BD。BD指的是体量巨大、种类繁多且处理起来相对困难的数据[36],其是计算机技术、物联网、云计算和移动互联网等技术快速发展的产物。利用大数据技术,可以更深入地洞察客户需求、市场趋势和产品性能,为企业提供更为精准的决策依据。在食品领域,大数据提供了丰富的食品相关信息和深入的数据分析,帮助食品公司做出明智的决策。大数据在食品领域的应用涵盖了数据分析、食品追溯以及食品营养和健康等方面的研究。

2.1 大数据在食品工业中的应用

随着社会进步和经济的持续发展,公众对食品的期望和要求也随之提高。现代消费者不仅关注食品的味道,更加注重其营养价值。新兴的机器学习和大数据技术为食品工业的供应链优化和食品安全提供了全新的视角和方法,BD则被认为是维护食品安全的关键。例如,KAZAMA等[37]利用大数据技术建立了一个神经网络模型,能够根据食材和成分将一个国家的食谱转化为另一个国家的食谱,使得人们更易于体验不同文化的美食。KALRA等[38]构建了一个大数据支持的营养评估系统,帮助消费者更加重视自己饮食中的营养平衡,并通过分析食谱来计算食物的营养价值。

此外,有研究利用AI技术(特别是监控摄像机)监控厨房的操作流程,进一步增强了食品的安全标准,让顾客更加信任。机器学习和BD技术还能帮助消费者选择高质量的餐厅,为餐厅经营者提供更为明智的决策建议。MARU等[39]发现AI和BD的整合为小规模粮食生产者或本地化粮食系统带来了好处,使数据驱动的农业[40]对他们更友好。通过实时监测和反馈,当地食品生产商可以更灵活地调整生产策略,以更好地满足当地市场的需求。图4展示了大数据在食品领域的不同应用,包括食品安全和追溯、消费者洞察和市场分析、产品优化和质量控制以及创新性和可持续性。在食品安全与追溯方面,BD技术允许企业追踪整个供应链,从农场到餐桌,确保食品来源的透明度和安全性。消费者洞察与市场分析则利用大数据分析工具,例如情感分析和趋势预测,帮助企业解读复杂的消费者数据。对于产品优化与质量控制,大数据在提升产品质量和生产效率方面起着核心作用。最后,在创新性与可持续性的应用中,通过分析各种数据源,企业不仅可以创造符合消费者需求的新食品,而且能够评估其生产和分销过程的可持续性表现。

图4 大数据在食品领域的应用:食品安全和追溯、消费者洞察和市场分析、生产优化和质量控制、以及创新和可持续性
Fig.4 Big data applications in food, including food safety and traceability, consumer insights and market analysis, production optimization and quality control, and innovation and sustainability

2.2 大数据在食品工业应用中的瓶颈及挑战

大数据需要丰富和多样的数据来源。然而,即使在高度数据化的IT行业,资源共享和信息交换仍存在问题,公开网络数据往往缺乏真实性和完整性。可能导致研究结果偏差,尤其在健康食品研究中,这样的误差是难以接受的。鉴于这些挑战,目前区块链技术被认为是解决大数据中这些挑战和问题的最有效方案[41]。区块链与大数据的结合被视为一种推动数据共享的策略。区块链在食品供应链中的应用涵盖了食品的安全、完整性、支持小农户、监控和管理等多个方面,它还采纳了验证和数字签名的技术,用于确认和追踪知识产权和专有系统的所有权,支持智能合约的实施[42]。区块链和分布式账本技术还可以与智能合约和分布式应用程序相结合,实现更广泛的应用。

3 机器学习在食品领域的未来趋势与挑战

近几年,随着食品工业的迅速变革,许多新兴技术也在不断涌现。机器学习正快速地改变食品领域的格局,未来这一趋势有望在智慧农业、机器人农业、无人机、3D打印和数字孪生等领域进一步深化[43]。与此同时,随着机器人和自动化技术在可持续食品工业中的应用,食品制造业正在经历从传统的手工生产到自动化生产的转型。在这一转型过程中,从包装、仓储到分销、营销及消费者服务,都开始向自动化转变。这一变革对食品工业的劳动力提出了新的技能需求。同时,食品安全已经成为一个全球关注的议题。在此背景下,物联网技术的发展和工业革命4.0的出现可能成为解决方案的一部分,因为其能精确追踪食品的生产和加工过程。而食品工业4.0的概念指的是通过利用第四次工业革命(称为工业4.0)技术,在当前数字时代提高加工食品的质量和安全性。近年来,食品工业4.0技术引起了广泛关注,它彻底改变了食品加工和食品检测等方面。食品工业4.0的理念是将先进技术或智能系统与传统工业相结合,从而提高食品加工的安全性和质量[44]。食品工业4.0代表着食品行业的未来,其中智能化和自动化技术的应用成为提高效率和质量的关键。图5概括了食品工业4.0中的核心技术要素,包括物联网、云计算、大数据分析、供应链管理等要素。这些技术相互作用,为食品生产流程带来精确控制,增强了供应链的透明度,并使得生产过程更加灵活。物联网通过传感器和设备将生产线的物理组件相互连接,使得实时数据收集成为可能。云计算为处理和存储这些海量数据提供了强大的基础设施。而大数据分析则利用这些信息来提高决策质量,优化生产流程。图6则展示了食品工业4.0与人工智能、机器学习和大数据的关系图。

图5 食品工业4.0中的关键技术要素
Fig.5 Key technical elements in Food Processing 4.0

图6 食品工业4.0和人工智能、机器学习及大数据的关系图
Fig.6 The relationship between Food Processing 4.0 and artificial intelligence, machine learning, and big data

4 总结与展望

本文深入探讨了ML和BD在食品领域的应用及其带来的创新,同时批判性地分析了这些技术可能遇到的挑战以及它们提供的创新性解决方案。综述研究表明,ML和BD为食品领域带来了显著的潜力和价值。引入这些先进技术促进了食品领域的多个方面,包括生产效率的显著提高、成本的降低、供应链的优化以及产品质量和安全性的提升。然而,本文也明确指出了ML和BD在食品领域可能遇到的挑战,如数据的隐私和安全问题、技术的复杂性,以及如何与现有的传统方法有效地集成。鉴于ML和BD的强大能力,本文对其在食品领域的未来发展持乐观态度。随着技术的持续进步,未来可以探索并应用更加先进的机器学习算法来进一步提高食品检测的准确性。同时,区块链和BD与机器学习技术的融合可能为确保数据的完整性和安全性提供解决方案。BD则为机器学习提供了丰富的数据资源,从而使机器学习算法更加精准和有效。机器学习在处理BD时能够发现模式、进行预测,从而为业务决策提供有力支持。因此,这些技术的结合为食品数据管理和分析提供了解决方案。此外,工业4.0的兴起为食品领域中各种技术的进一步发展提供了推动力。机器学习和大数据的进一步结合预计会推动食品工业向更智能、更可持续和更具创新性的方向迈进。

参考文献

[1] HUSSAIN N, SUN D W, PU H B. Classical and emerging non-destructive technologies for safety and quality evaluation of cereals: A review of recent applications[J]. Trends in Food Science &Technology, 2019, 91:598-608.

[2] TUWANI R, WADHWA S, BAGLER G. BitterSweet: Building machine learning models for predicting the bitter and sweet taste of small molecules[J]. Scientific Reports, 2019, 9(1):7155.

[3] ZENG X Q, CAO R, XI Y, et al. Food flavor analysis 4.0: A cross-domain application of machine learning[J]. Trends in Food Science &Technology, 2023, 138:116-125.

[4] WANG H X, CUI W J, GUO Y C, et al. Machine learning prediction of foodborne disease pathogens: Algorithm development and validation study[J]. JMIR Medical Informatics, 2021, 9(1): e24924.

[5] MCCOUBREY L E, ELBADAWI M, ORLU M, et al. Harnessing machine learning for development of microbiome therapeutics[J]. Gut Microbes, 2021, 13(1):1-20.

[6] LI G Y, DONG Y J, REETZ M T. Can machine learning revolutionize directed evolution of selective enzymes?[J]. Advanced Synthesis &Catalysis, 2019, 361(11):2377-2386.

[7] MAVANI N R, ALI J M, OTHMAN S, et al. Application of artificial intelligence in food industry—A guideline[J]. Food Engineering Reviews, 2022, 14(1):134-175.

[8] JANIESCH C, ZSCHECH P, HEINRICH K. Machine learning and deep learning[J]. Electronic Markets, 2021, 31(3):685-695.

[9] DENG X Y, CAO S H, HORN A L. Emerging applications of machine learning in food safety[J]. Annual Review of Food Science and Technology, 2021, 12:513-538.

[10] WU X H, ZHU J, WU B, et al. Discrimination of Chinese liquors based on electronic nose and fuzzy discriminant principal component analysis[J]. Foods, 2019, 8(1):38.

[11] BAI Z Z, HU X J, TIAN J P, et al. Rapid and nondestructive detection of Sorghum adulteration using optimization algorithms and hyperspectral imaging[J]. Food Chemistry, 2020, 331:127290.

[12] JIANG Y P, CHEN S F, BIAN B, et al. Discrimination of tomato maturity using hyperspectral imaging combined with graph-based semi-supervised method considering class probability information[J]. Food Analytical Methods, 2021, 14(5):968-983.

[13] CHATTERJEE A, MUKHERJEE J, AIKAT S, et al. Semi-supervised classification of paddy fields from dual polarized synthetic aperture radar (SAR) images using deep learning[J]. International Journal of Remote Sensing, 2021, 42(5):1867-1892.

[14] XIANG Y, CHEN Q J, SU Z J, et al. Deep learning and hyperspectral images based tomato soluble solids content and firmness estimation[J]. Frontiers in Plant Science, 2022, 13:860656.

[15] VASAFI P S, PAQUET-DURAND O, BRETTSCHNEIDER K, et al. Anomaly detection during milk processing by autoencoder neural network based on near-infrared spectroscopy[J]. Journal of Food Engineering, 2021, 299:110510.

[16] VIVEK K, SUBBARAO K V, ROUTRAY W, et al. Application of fuzzy logic in sensory evaluation of food products: A comprehensive study[J]. Food and Bioprocess Technology, 2020, 13(1):1-29.

[17] ARABAMERI M, NAZARI R R, ABDOLSHAHI A, et al. Oxidative stability of virgin olive oil: Evaluation and prediction with an adaptive neuro-fuzzy inference system (ANFIS)[J]. Journal of the Science of Food and Agriculture, 2019, 99(12):5358-5367.

[18] CURTO B, MORENO V, GARCA-ESTEBAN J A, et al. Accurate prediction of sensory attributes of cheese using near-infrared spectroscopy based on artificial neural network[J]. Sensors, 2020, 20(12):3566.

[19] GUNARATNE T M, GONZALEZ VIEJO C, GUNARATNE N M, et al. Chocolate quality assessment based on chemical fingerprinting using near infra-red and machine learning modeling[J]. Foods, 2019, 8(10):426.

[20] ALSHEJARI A, KODOGIANNIS V S. An intelligent decision support system for the detection of meat spoilage using multispectral images[J]. Neural Computing and Applications, 2017, 28(12):3903-3920.

[21] ZHANG W W, KASUN L C, WANG Q J, et al. A review of machine learning for near-infrared spectroscopy[J]. Sensors, 2022, 22(24):9764.

[22] KAKANI V, NGUYEN V H, KUMAR B P, et al. A critical review on computer vision and artificial intelligence in food industry[J]. Journal of Agriculture and Food Research, 2020, 2:100033.

[23] LOPES J F, LUDWIG L, BARBIN D F, et al. Computer vision classification of barley flour based on spatial pyramid partition ensemble[J]. Sensors, 2019, 19(13):2953.

[24] PHATE V R, MALMATHANRAJ R, PALANISAMY P. Clustered ANFIS weighing models for sweet lime (Citrus limetta) using computer vision system[J]. Journal of Food Process Engineering, 2019, 42(6): e13160.

[25] NADIM M, AHMADIFAR H, MASHKINMOJEH M, et al. Application of image processing techniques for quality control of mushroom[J]. Caspian Journal of Health Research, 2019, 4(3):72-75.

[26] VILLASEOR-AGUILAR M J, BRAVO-SNCHEZ M G, PADILLA-MEDINA J A, et al. A maturity estimation of bell pepper (Capsicum annuum L.) by artificial vision system for quality control[J]. Applied Sciences, 2020, 10(15):5097.

[27] MAZEN F M A, NASHAT A A. Ripeness classification of bananas using an artificial neural network[J]. Arabian Journal for Science and Engineering, 2019, 44(8):6901-6910.

[28] WAN P, TOUDESHKI A, TAN H Q, et al. A methodology for fresh tomato maturity detection using computer vision[J]. Computers and Electronics in Agriculture, 2018, 146:43-50.

[29] MOHD ALI M, HASHIM N, ABD AZIZ S, et al. Principles and recent advances in electronic nose for quality inspection of agricultural and food products[J]. Trends in Food Science &Technology, 2020, 99:1-10.

[30] LU L, HU Z Q, HU X Q, et al. Electronic tongue and electronic nose for food quality and safety[J]. Food Research International, 2022, 162:112214.

[31] MCVEY C, ELLIOTT C T, CANNAVAN A, et al. Portable spectroscopy for high throughput food authenticity screening: Advancements in technology and integration into digital traceability systems[J]. Trends in Food Science &Technology, 2021, 118:777-790.

[32] NDISYA J, GITAU A, MBUGE D, et al. Vis-NIR hyperspectral imaging for online quality evaluation during food processing: A case study of hot air drying of purple-speckled cocoyam (Colocasia esculenta (L.) schott)[J]. Processes, 2021, 9(10):1804.

[33] FENG H H, ZHANG M J, LIU P F, et al. Evaluation of IoT-enabled monitoring and electronic nose spoilage detection for salmon freshness during cold storage[J]. Foods, 2020, 9(11):1579.

[34] WADEHRA A, PATIL P S. Application of electronic tongues in food processing[J]. Analytical Methods, 2016, 8(3):474-480.

[35] WANG J, ZHU L Y, ZHANG W L, et al. Application of the voltammetric electronic tongue based on nanocomposite modified electrodes for identifying rice wines of different geographical origins[J]. Analytica Chimica Acta, 2019, 1050:60-70.

[36] MOHAMED A, NAJAFABADI M K, WAH Y B, et al. The state of the art and taxonomy of big data analytics: View from new big data framework[J]. Artificial Intelligence Review, 2020, 53(2):989-1037.

[37] KAZAMA M, SUGIMOTO M, HOSOKAWA C, et al. A neural network system for transformation of regional cuisine style[J]. Frontiers in ICT, 2018, 5:14.

[38] KALRA J, BATRA D, DIWAN N, et al. Nutritional profile estimation in cooking recipes[C]//2020 IEEE 36th International Conference on Data Engineering Workshops (ICDEW). IEEE, 2020:82-87.

[39] MARU A, BERNE D, BEER J, et al. Digital and data-driven agriculture: Harnessing the power of data for smallholders[J]. F1000Research, 2018. DOI:10.7490/F1000RESEARCH.1115402.1.

[40] KAMBLE S S, GUNASEKARAN A, GAWANKAR S A. Achieving sustainable performance in a data-driven agriculture supply chain: A review for research and applications[J]. International Journal of Production Economics, 2020, 219:179-194.

[41] DEEPA N, PHAM Q V, NGUYEN D C, et al. A survey on blockchain for big data: Approaches, opportunities, and future directions[J]. Future Generation Computer Systems, 2022, 131:209-226.

[42] KHAN S N, LOUKIL F, GHEDIRA-GUEGAN C, et al. Blockchain smart contracts: Applications, challenges, and future trends[J]. Peer-to-Peer Networking and Applications, 2021, 14(5):2901-2925.

[43] TAO F, XIAO B, QI Q L, et al. Digital twin modeling[J]. Journal of Manufacturing Systems, 2022, 64:372-389.

[44] KIM S S, KIM S. Impact and prospect of the fourth industrial revolution in food safety: Mini-review[J]. Food Science and Biotechnology, 2022, 31(4):399-406.

Applications of machine learning and big data in food industry

DING Haohan1,2, TIAN Jiawei2, XIE Zhenqi2, SHEN Song2, CUI Xiaohui1,3*, WANG Zhenyu4

1(Science Center for Future Foods, Jiangnan University, Wuxi 214000, China)
2(School of Artificial Intelligence and Computer Science, Jiangnan University, Wuxi 214000, China)
3(School of Cyber Science and Engineering, Wuhan University, Wuhan 430072, China)
4(Jiaxing Institute of Future Food, Jiaxing 314005, China)

ABSTRACT In recent years, the food industry has undergone significant changes.Globalization, technological advancements, and evolving consumer demands have driven continuous development and innovation within the sector.As an advanced emerging technology, machine learning and big data play an increasingly critical role in the food industry.The application of machine learning and big data in the food sector is closely intertwined.Machine learning utilizes pattern recognition and data analysis to extract key information from food production and supply chains, while big data technologies support the processing of large-scale datasets, providing a more comprehensive decision-making perspective.Together, these technologies propel innovation in food research and industrial development.In-depth analysis of large datasets using machine learning can predict food trends, improve production processes, and optimize supply chains.This paper presents the current state of application of machine learning and big data in the food industry, covering machine learning and deep learning technologies, adaptive neuro-fuzzy inference systems, and the multidimensional applications of machine learning in food detection, such as food detection techniques that combine machine learning algorithms with near-infrared spectroscopy, applications of computer vision in the food sector, and real-time food detection technologies that integrate machine learning algorithms with smart sensors.It analyzes the technical challenges faced by big data (such as issues with data authenticity, completeness, and difficulties in data labelling), proposes potential solutions (including blockchain technology and data augmentation and preprocessing techniques), and anticipates future development trends of machine learning technologies in food research.Furthermore, with the advent of “Food Industry 4.0,” the food sector is poised for rapid growth, and cutting-edge technologies derived from machine learning—such as smart agriculture, robotic farming, drones, 3D printing, and digital twins—will further emerge.In light of these numerous opportunities for innovation and improvement, the food industry will also need to address challenges related to intelligent production and sustainability.Finally, the paper discusses potential challenges and future directions for development within the food industry.

Key words machine learning; big data; food industry; emerging technologies; smart sensors

DOI:10.13995/j.cnki.11-1802/ts.039008

引用格式:丁浩晗,田嘉伟,谢祯奇,等.机器学习和大数据在食品领域的应用[J].食品与发酵工业,2024,50(24):353-361.DING Haohan,TIAN Jiawei,XIE Zhenqi, et al.Applications of machine learning and big data in food industry[J].Food and Fermentation Industries,2024,50(24):353-361.

第一作者:博士,讲师(崔晓晖教授为通信作者,E-mail:xcui@whu.edu.cn)

基金项目:国家重点研发计划(2022YFF1101100);中央高校基本科研业务费专项资金资助(JUSRP123053);跨境网络空间安全教育部工程研究中心2023年度开放课题(KJAQ202304007)

收稿日期:2024-02-28,改回日期:2024-04-25