基于深度学习的农作物病害图像识别研究
这是一篇关于图像识别,迁移学习,通道剪枝,知识蒸馏,持续学习的论文, 主要内容为中国农作物种类繁多,农作物产量和质量影响着经济发展和农民收入,农业健康稳定发展一直是国家追求的目标。因此快速准确识别农作物病害种类并及时给予准确防治至关重要。传统农作物病害图像的识别主要靠少部分农业专家从病害图像的颜色和形状进行识别,这样既费力效率又低,也比较主观,容易导致误判错过最佳治疗时间。而现有农作物病害图像识别研究方法主要是从图像背景分割、机器学习相结合进行病害识别,但图像背景分割难度大、数据样本少,容易造成识别不准确。基于以上限制,本文提出一种基于卷积神经网络(Convolutional Neural Network,CNN)算法的农作物病害识别方法研究。本文研究了几种农作物病害图像,以玉米病害5类、番茄病害5类、土豆病害3类和草莓病害2类为实验研究对象。针对4种农作物病害图像数据样本不足,会造成网络过拟合,引入了迁移学习算法;针对卷积神经网络内存大、参数多问题,引入通道剪枝和知识蒸馏算法解决;针对卷积神经网络灾难性遗忘问题,引入了持续学习算法加以改善。最后开发了PC端界面用于农作物病害自动检测。主要工作如下:(1)提出基于改进VGG16的迁移学习和模型压缩玉米病害识别方法。针对玉米病害图像样本不足的问题,首先对数据集进行增强扩充;其次,借助迁移学习,在大型公共数据集Image Net训练网络模型,本文先预训练VGG16-INCE网络模型,即VGG16和Inception模块;然后保留预训练网络特征参数,实现对常见玉米病害图像训练、识别。实验表明:在Image Net数据集上,利用迁移学习对病害图像的识别精度达到93.38%。在迁移完成后,结合通道剪枝和知识蒸馏的方法对模型压缩,压缩后的模型再利用迁移学习对玉米病害图像识别。实验表明:压缩后对病害图像的识别精度达到92.40%,准确率下降了0.98%,模型大小由73.90MB压缩到9.45MB,参数量减少87.80%。本方法能够在小样本场景下确保识别准确率,并进一步实现模型轻量化。(2)提出基于增加模型通用性农作物病害识别方法。针对于模型灾难性遗忘等问题,导致对农作物病害识别率低。该方法引入持物学习中EWC方法,使得模型在训练农作物时保留重要参数,减缓之前任务灾难性遗忘现象,能够提高农作物识别准确率。通过实验表明在无加入EWC时,随着农作物病害种类的增加,网络模型的识别准确率越低,而本文提出方法能够持续实现对多种农作物病害图像识别,识别结果比没加入持续学习结果高,本文通过对三种农作物病害数据实验,验证了本文方法的有效性。
基于通道剪枝的神经网络压缩方法研究
这是一篇关于神经网络,模型压缩,通道剪枝的论文, 主要内容为近年来,深度卷积神经网络在各种计算机视觉上取得了突破性的进展,其应用范围也越来越广。然而,深度卷积神经网络需要强大计算能力、高存储空间和高内存占用的特性却严重阻碍着它的应用和发展,使得这些高性能的模型难以部署在一些资源受限的设备上,也无法部署在对实时性要求极高的系统中,如智能手机、树莓派、嵌入式AI系统等。通道剪枝是一个能够减小模型尺寸的研究领域,而为了更加有效地降低神经网络模型的资源占用,更小地影响模型的性能,本文分别从模型自身结构和结合数据集两个角度研究基于通道剪枝的神经网络压缩方法,并讨论这两种剪枝方法的特性。主要的研究内容和创新如下:(1)针对基于单层通道剪枝方法不足之处,提出联合多结构的通道剪枝方法(CCP)。基于单层权重参数的剪枝方法会误删除BN层中重要的缩放因子,或者当利用BN层的缩放因子评估通道重要性时,会误删除重要的卷积层通道。CCP分别对卷积层权重和BN层缩放因子进行L1正则化,联合卷积层权重和BN层缩放因子共同判断通道的重要性。在CIFAR-10数据集上,实验结果显示,CCP能够在仅仅轻微的影响精度的情况下降低VGG-19模型85.49%的FLOPs,也能够在不降低模型精度的情况下减少Res Net-50模型78.31%的FLOPs。(2)针对中间层输出特征图所携带信息量差异较大问题,提出基于特征图贡献的通道剪枝方法(FPC)。不同的输出特征图对于模型性能具有不同的贡献度,产生低贡献度输出特征图的过滤器对于模型的性能具有较低的贡献。基于此,FPC对输出特征图进行奇异值分解,并根据较大的奇异值携带更多的信息这一性质筛选出携带较多信息的输出特征图。在CIFAR-10数据集上,实验结果显示,FPC能够在减少VGG-16模型65.62%的FLOPs的情况下提升0.25%的精度,也能够在减少Res Net-110模型48.19%的FLOPs的情况下提升0.11%。
樱桃叶部病害识别轻量化模型研究及应用
这是一篇关于深度学习,樱桃病害,轻量化模型,通道剪枝,注意力机制的论文, 主要内容为中国是全球最大的樱桃生产国之一,樱桃种植产业已成为人民的支柱性产业。樱桃一旦发生病害,不仅影响樱桃当年产量和品质,还会影响来年花芽质量,进而造成种植户收入减少。传统的深度学习病害识别模型虽然精度高但内存需求和计算量较大,对软硬件设备要求较高,无法适用于种植户常用的移动设备或嵌入设备,因此构建轻量化的樱桃病害识别模型并应用于移动端设备尤为重要。本文将樱桃叶部病害图像作为研究对象,重点研究樱桃病害识别的轻量化模型设计和应用。以Mobile Net V1模型为基础,采用自制的樱桃叶部图像数据集,引用通道剪枝和注意力机制的模型压缩算法,构建了樱桃叶部病害识别轻量化模型PSM-Net。主要研究成果如下:(1)针对Mobile Net V1模型在樱桃病害数据集中可能存在的过拟合问题,提出了改进的迁移学习的模型训练方式。首先以健康叶片和细菌穿孔病、褐斑病、白粉病、缩叶病5种叶片类型制作樱桃病害图像数据集,采用传统数据处理技术,包括裁剪、翻转、添加噪声等方法,对数据进行增强并扩充数据集数量。其次设计迁移学习训练方式,将在源数据域Plant village上训练的Mobile Net V1模型迁移到目标域自制樱桃病害数据集上,微调Mobile Net V1模型的顶层结构将分类数量修改为5。经对比实验表明,基于迁移学习的Mobile Net V1模型识别准确率达到91.48%,比直接训练模型提高了5.53%,且在新的数据集上未表现出过拟合现象,收敛速度显著加快。(2)针对模型在移动端部署时占用内存过大计算量大等问题,构建了樱桃叶部病害识别轻量化模型PSM-Net。首先在Mobile Net V1模型基本单元逐点卷积的BN层中引入缩放因子,按照缩放因子的大小设置通道重要性排序。其次在Mobile Net V1模型下采样单元中引入改进的SE注意力机制,加强特征提取能力。最后用SELU替换Re LU激活函数,提升模型推理速度。设计对比实验表明,剪枝比例80%得到的PSM-Net模型,模型尺寸为16.87 M,比原模型减小了62%;参数量为1.18 M,比原模型减小66.3%;推理时间为17ms,比原模型加快67.3%,识别准确率为90.98%,仅损失0.5%。本研究设计的PSM-Net模型,其参数大小和模型尺寸等均优于其他轻量级神经网络,可适用于移动端设备。(3)构建樱桃叶部病害识别系统。使用Java语言设计开发网页端后台管理系统和移动端病害识别系统,实现了樱桃叶部病害图像的实时检测。
基于通道剪枝的神经网络压缩研究
这是一篇关于神经网络压缩,通道剪枝,直筒等效,掩膜等效,梯度解耦与重置的论文, 主要内容为随着深度学习的飞速发展,深度神经网络在计算机视觉、自然语言处理、推荐系统、交通规划和时序预测等领域取得了令人瞩目的成绩,渗透到生活的方方面面。深度学习使用神经网络堆叠的方式对海量数据进行处理,具有参数量大和计算复杂度高的特点。一方面,神经网络被设计的愈发复杂与庞大以取得更高的精度,对设备的算力和内存要求越来越高;另一方面,应用领域的拓展使在低算力低内存的边缘设备部署神经网络的需求愈发迫切。为解决这一矛盾,神经网络模型压缩算法应运而生。基于通道剪枝的模型压缩算法由于直观性与易用性,受到了学界和工业界的广泛关注。然而,通道剪枝仍然存在一些问题等待解决。第一,目前的通道剪枝算法通常不能对残差模型做到像直筒模型一样的修剪,残差连接的通道数对齐与冗余通道的修剪难以兼顾。第二,现有的通道剪枝算法中稀疏化训练误差与剪枝误差此消彼长,难以兼顾。为了解决通道剪枝算法中存在的这两种问题,本文分别提出了一种基于直筒等效的残差模型通道剪枝方法和一种基于掩膜等效和梯度解耦与重置的通道剪枝方法。本文的研究内容总结如下:(1)基于直筒等效的残差模型通道剪枝方法:提出了一种针对残差模型的通道剪枝算法,先将残差模型等效为直筒模型,再对直筒模型进行通道剪枝。首先是引入额外的卷积通道等效恒等映射,接着对BN层、激活层和降采样做出相应调整以保留恒等映射。最后,对等效后的直筒模型进行剪枝,即可得到一个紧凑且无残差连接的模型结构。通过在多个数据集上对多个模型进行实验证明了该方法的有效性。(2)基于掩膜等效和梯度解耦与重置的通道剪枝方法:提出了一种引入额外结构并使用惩罚项对其进行稀疏训练的方法。首先在模型待剪枝的“卷积层-BN层”结构后添加掩膜等效的1×1卷积层,接着对模型使用无稀疏惩罚项的损失函数进行训练,对1×1卷积层的梯度添加稀疏惩罚项,并使用梯度重置使其中较小的通道更接近于0。在稀疏化训练结束后对1×1卷积层进行剪枝,最后将“卷积层-BN层-1×1卷积层”结构合并为一个卷积层,即可得到一个紧凑的模型结构。通过在多个数据集上对多个模型进行实验证明了该方法的有效性。
基于深度学习的人脸表情识别模型设计与实现
这是一篇关于人脸表情识别,胶囊网络,卷积神经网络,CycleGAN,通道剪枝的论文, 主要内容为在人与人的交流中,面部表情传递的信息占很大比例,人脸表情识别作为人工智能的重要技术之一,在众多领域中都发挥着重要的作用,比如在医学领域辅助医护人员治疗抑郁症,在安全驾驶领域对司机师傅进行安全预警等。本文通过研究深度学习方法设计人脸表情识别模型,旨在完成精准高效的人脸表情识别任务。本文的主要研究内容如下:(1)针对CNN池化层丢失特征以及胶囊网络自身卷积层特征提取不足的问题,提出一种用Res Net18改进胶囊网络的人脸表情识别模型。该模型仅保留Res Net18的卷积层,并对四个残差块进行不同程度的改进,然后融入注意力机制,用其替换胶囊网络的单卷积层来提取表情特征,最后将提取的特征送入胶囊网络,由初始胶囊层学习特征,数字胶囊层进行分类。本文所设计的模型在CK+、RAFdb和FER+三个数据集上进行了实验。实验结果表明,该模型在人脸表情识别方面具有可行性和有效性。(2)针对人脸表情数据集中各类表情数据量不平衡导致的识别精度差距大的问题,提出采用CycleGAN进行数据增强来对数据集各类表情进行平衡化处理,并在CK+和RAF-db数据集上进行实验。鉴于两个数据集中均是开心表情的样本最多,因此将开心表情作为源域数据,其它六类表情数据分别作为目标域数据得到了六个模型,然后生成各类表情。最后,将数据平衡化后的RAF-db数据集在所提出的网络上进行实验。实验结果表明,数据平衡化可以有效缓解各类表情识别精度差距大的问题。(3)针对前述设计的表情识别模型参数量多的问题,采用一种传统的通道剪枝方法压缩模型。该方法是对训练好的模型进行剪枝,首先用L2范数对所有的通道进行打分,然后设置剪枝比重,通过各个通道的得分情况分多次进行剪枝,并且每次剪枝后都会重新训练模型,最后再对剪枝模型进行微调得到最终的模型。实验结果表明,该方法可以以较小精度损失为代价有效减小模型尺寸。(4)针对前述设计的表情识别模型单次迭代训练速度慢的问题,提出一种基于注意力机制的初始化通道剪枝方法。该方法是基于SENet通道注意力机制模块进行剪枝,在训练过程中,通道注意力机制可以根据各个通道的重要性来赋予各通道不同的权重,因此可以根据权重的大小配合剪枝模块对通道进行有效的删减。实验结果表明,该方法可以大幅度缩短模型训练时间。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码工厂 ，原文地址：https://m.bishedaima.com/lunwen/52666.html
