基于神经架构搜索的轻量级卷积神经网络研究
这是一篇关于神经架构搜索,轻量级卷积神经网络,自适应下采样,权重再分配,动态采样器的论文, 主要内容为近年来,随着深度学习在计算机视觉任务上的不断深入,卷积神经网络结构逐渐复杂化,因此对计算平台的计算能力和存储能力提出了更高的要求。当前,设计轻量级的卷积神经网络已成为解决问题的关键,在保证网络性能的同时降低模型参数量和计算量,并减少模型对硬件的依赖。另一方面,人工设计网络结构需要设计者具有丰富的经验,而神经架构搜索技术通过较少的先验知识自动搜索网络结构。但是,因神经架构搜索的过程需要评估大量的候选架构,对算力和时间的消耗仍是巨大的。本文针对传统的神经架构搜索算法显存占用大、搜索速度慢的问题,从搜索空间、搜索策略和性能评估策略出发,设计轻量级卷积神经网络。本文主要工作包括三部分:1.提出了可应用于密集连接型搜索空间的轻量级卷积神经网络DAS-Net(Dense Connection Network for Architecture Search)和自适应的密集连接型网络下采样搜索算法。基于密集连接,加深了可学习组卷积的深度并组成瓶颈结构,以提高分组信息的学习能力,降低网络复杂度。引入挤压-激励模块来学习通道间的信息,概括学习到的复杂特征。在此基础上,设计了轻量级卷积神经网络DAS-Net。为了降低DAS-Net的复杂度,提出了自适应的下采样搜索算法来稀疏化密集连接矩阵,在保证网络性能的前提下减少冗余的特征复用连接。与其它网络相比,DAS-Net具有更低的参数量和计算量,并且在CIFAR数据集和ILSVRC2012数据集上的分类表现较好。2.针对神经架构搜索在梯度优化过程中显存占用大、搜索速度慢的问题,提出了低缓存可微的神经架构搜索方法(Low Memory Dense Connection Differentiable Architecture Search,LMD-DARTS)。为了加快搜索过程中可选操作权重的更新速度,提出了基于权重再分配的改进连续化策略,将离散的搜索空间连续化以便利用梯度下降法更新网络架构,并弱化了低权重操作对分类结果的影响,减少了搜索的次数。另外,为了加快性能评估过程,设计了动态采样器,对搜索过程中表现逐渐变差的候选操作进行剪枝,降低显存消耗和单次搜索的复杂度。在此基础上,基于自适应采样的神经架构搜索空间,提出了低缓存可微的神经架构搜索方法LMD-DARTS。实验结果表明,LMD-DARTS减少了20%的搜索时间,降低了神经架构搜索算法的缓存消耗,搜索到的轻量级卷积神经网络具有较好的分类精度。3.以LMD-DARTS方法为基础,生活垃圾图像分类任务为研究对象,基于PyQt5设计了可以在PC端运行的神经架构搜索系统,并将搜索到的轻量级卷积神经网络部署到嵌入式开发版上,设计生活垃圾分类系统,验证了LMD-DARTS方法的有效性。本论文有图32幅,表17个,参考文献81篇。
基于深度学习的马铃薯病害识别方法及检测装置研究
这是一篇关于马铃薯叶部病害,机器视觉,轻量级卷积神经网络,PyQt5,树莓派的论文, 主要内容为马铃薯是人们的日常饮食中主食之一,目前,我国马铃薯病害种类繁多、分布范围广泛,严重影响马铃薯产量。传统的病害识别方式,通过专家运用专业知识进行识别判断,推广困难。因此,众多研究者致力于应用计算机视觉技术实现对马铃薯叶部病害的识别,但是当前大多数病害识别所采用的深度学习算法,大都存在网络模型深度和权重较大,需要较多样本数据进行训练,难以实现移动端应用等问题。此外,若采用较少的样本量进行训练,又可能造成过拟合或识别准确率不高等问题。为解决上述问题,本文选择马铃薯病害中分布最广、危害严重的晚疫病、早疫病以及主要危害叶部的炭疽病作为主要研究对象,开展相关研究如下:(1)采集患有晚疫病、早疫病、炭疽病、其他病害以及健康的马铃薯叶部图像;采用图像滤波处理去除图像中常见噪声,并分析去噪效果;对比分析Graph Cut和Grab Cut图像分割算法,择优进行图像分割处理;针对适当的数据增广对小样本数据集的必要性展开讨论,并选择合适的方式进行数据增广;在将新数据集输入模型前,对其进行图像标准化和归一化处理。(2)构建Res Net-18、Res Net-GH、Mobile Net V3-Small、Mobile Net V3-S3以及Efficient Net-B0这5种卷积神经网络模型,以这5种模型为基础建立相应的马铃薯叶部病害识别模型,分析5种模型识别性能,同时选取相对适用于5种模型的模型训练学习率。(3)采用模型迁移的迁移学习方法,将大型公开植物数据集Plant Village中的部分数据集作为迁移学习的源域,进行模型预训练获取预训练模型参数,再分别运用迁移训练全部层和训练全连接层参数的方式进行模型训练。(4)以识别准确率、损失函数、模型权重、模型训练时间、识别速率作为模型性能评价标准,开展相关实验,对采用不同训练方式进行模型训练以及通过不同预处理方式建立的数据集与模型结合的效果进行分析,确定采用迁移训练全部层参数的模型训练方式以及经Grab Cut算法进行图像分割后再进行数据增广的方式建立数据集。同时,对比5种模型的性能优劣,综合选取性能最佳的识别模型为Mobile Net V3-S3。(5)建立马铃薯叶部病害识别软硬件系统:该系统中采用Python和Py Qt5建立其软件系统,可以实现登录注册,账号管理,图像识别,图像预处理和选取模型训练等功能;同时,以树莓派4B为核心控制器建立硬件系统,构建软件系统运行所需环境,选取适用于拍摄害病马铃薯叶片的摄像头及光源等硬件。
基于RGB图像和深度学习的小麦叶部主要病害识别研究
这是一篇关于小麦病害诊断,轻量级卷积神经网络,两阶段训练,移动设备的论文, 主要内容为小麦病害的准确识别有助于早期发现病害并进行及时合理的综合防治,从而减少作物产量损失,降低农药使用量。基于机器视觉的作物病害识别已经取得显著成就。然而,该方法需要专家根据经验在少量图像上手工提取特征,这类特征的数量和表征能力有限,难以全面描述实际田间条件下病害症状的多变性。近年来,基于深度学习的卷积神经网络方法被用于提取海量数据的特征,在植物病害识别领域得到广泛研究。卷积神经网络可以自动从图像上逐层提取局部和全局特征,特征的数量多且表达能力强,可以全面地描述真实环境中的病害信息。本文通过消费级相机获取大量小麦叶部病害(主要包括白粉病、叶锈病、条锈病)和健康照片,构建基于卷积神经网络的小麦叶部病害识别方法。首先提出基于迁移学习的两阶段训练策略,然后改进Res Net18构建了轻量级模型ghost-Res Net18,最后在智能手机上部署实现病害识别移动应用程序,具体结果如下:(1)针对田间能够采集到的小麦病害数据集规模小,导致卷积神经网络训练出现过拟合问题,提出基于迁移学习的两阶段训练策略。该策略通过预先在辅助数据集Plantvillage训练得到预训练模型,然后通过迁移学习的微调方法,将模型参数迁移到小麦病害数据集,并分两个阶段进行从部分参数到整体参数的重新训练,并用当前最先进的六种卷积神经网络(VGG16,Dense Net121,Inception v3,Res Net50,Efficient Net b6,Mobilenetv2)进行建模,利用独立数据验证模型,用识别准确率、参数量和单张图片识别时间等统计指标比较六种网络的性能。结果表明,通过两阶段训练可以有效解决数据量不足引起的过拟合问题,并提高病害识别准确率。在六种网络结构中,分类准确率最高的是Inception v3(92.53%),但是模型参数量大(83.2 M),在GPU上识别一张图片需要18.31 ms;而参数量最少的是Mobilenetv2(13.63 M),其识别速度排第二(7.55 ms),但是识别准确率只有86.87%;识别速度最快的是VGG16,原因可能是其较低的网络复杂度(4.64 ms)。其余中大规模卷积神经网络模型参数量为30.87-98 M,单张图片识别时间为12.53-20.31 ms。(2)针对中大规模卷积神经网络模型参数量大,应用到移动设备时易出现内存消耗大、识别速度慢等问题,本研究提出了一种改进的Res Net18结构。该架构通过ghost卷积改进网络的卷积方式,以减少模型卷积层的参数量,本研究中命名为ghost-Res Net18。并将ghost-Res Net18分别与最先进的、高效的、小规模卷积神经网络(Mobilenetv2、Mobilenetv3、Ghost Net、Shufflenet v2)以及改进前的Res Net18进行比较。结果表明,本文提出的ghost-Res Net18网络模型参数量22.06 M,识别准确率93.74%,在GPU上对单张图像的识别只需要4.26 ms。其参数量与原始的Res Net18(42.83 M)相比,ghost-Res Net18参数量减少48.49%。识别准确率与其余五种两阶段训练的卷积神经网络相比,高出0.61%-6.87%。在识别速度上,本文改进的ghost-Res Net18识别时间最少。(3)为实现利用移动设备进行病害识别的可能性,本研究通过在智能手机设备上部署小麦病害识别模型,形成了一个基于卷积神经网络的Android手机病害识别移动应用程序。即使在没有互联网连接的条件下也可以进行识别,农户不需要任何病害知识就可以利用Android手机应用程序实现智能诊断,进而实时监测病情并采取合理的防治手段。
基于MRI影像和卷积神经网络的轻量级脑肿瘤分割算法研究
这是一篇关于图像处理,深度学习,脑肿瘤分割,轻量级卷积神经网络的论文, 主要内容为脑肿瘤作为一种致死率极高的肿瘤疾病,严重危害患者的身体健康,脑肿瘤中各子区域如水肿、增强肿瘤、坏死等区域分别具有不同的预后和手术价值。核磁共振成像技术(Magnetic Resonance Imaging,MRI)由于其具有软组织对比度高、非侵入性等特点,常被应用于脑肿瘤的诊断和定位等临床过程中。但由于脑肿瘤呈浸润性生长,不仅外观高度异质,大小及位置随机,而且各子区域边界模糊,使得人工分割费时费力。因此,使用计算机辅助诊断工具对脑肿瘤进行精细分割具有重要的研究意义。本文以3D多模态脑肿瘤MRI影像为基础,以深度学习方法为技术手段,对脑肿瘤图像分割问题进行以下研究:针对3D医学影像分割任务算力资源消耗大、分割速度慢等问题,提出一种基于组卷积的轻量级脑肿瘤分割算法(Multi-Fiber Shuffle Net,MFSNet)。该方法首先使用组卷积来代替常规卷积以显著降低显存占用,并通过多纤单元和通道混合单元增强各组间的信息交流能力。其次提出一种加权混合损失函数,可自适应地调整不同子区域的训练强度。最后使用按阈值划分体素类别及测试数据增强等数据后处理方法,进一步提高网络的准确性与稳定性。在Bra TS 2018数据集上的实验结果表明,本文所提的MFSNet在肿瘤完整区、肿瘤核心区、肿瘤增强区的平均Dice相似系数分别可达90.67%、85.06%和80.41%,分割效率较高。针对脑肿瘤各子区域体素分割难度相差悬殊,单一网络无法兼顾多子区域分割精度的问题,本文将组卷积的空间维度和通道维度拆分开,提出一种基于深度可分离卷积的轻量级脑肿瘤分割算法(Mixed Depthwise Separable Net,MDSNet)。该方法首先使用多尺寸卷积核增强网络获取不同尺度感受野的能力,在不显著增大算力资源消耗的前提下提高网络在肿瘤核心区与肿瘤增强区的分割效果。其次提出一种利用自学习权重参数近似估计各卷积核分组超参数的方法,有效解决了人工调试超参数耗时长效果差的问题。本文所提的MDSNet平均Dice相似系数在肿瘤完整区、肿瘤核心区和肿瘤增强区分别可达90.38%、85.74%和80.59%,分割精度较高,实时性好。本文所提算法不仅可以快速、准确、全自动地分割出脑肿瘤中各个病灶区域,而且算力资源消耗较低,可为临床医生诊断脑肿瘤时提供强有力的参考。
基于轻量级卷积神经网络的小规模医学影像分割模型
这是一篇关于轻量级卷积神经网络,联合注意力,对比学习,多尺度信息的论文, 主要内容为近年来,深度学习技术在医学图像分割领域的应用逐渐成为研究热点。然而,受数据采集成本、医师临床经验水平和标注习惯差异等因素影响,获取高质量的带标签的医学图像数据难度较大。深度学习对大规模数据集的需求与医学图像处理领域数据稀缺、获取难度大的难题形成了一定的矛盾。因此,研究在数据量较少时如何提高医学图像分割模型的性能变得十分重要,针对这部分小规模数据集的医学图像分割模型的研究目前亟需展开(这里认定小规模数据集的样本数量小于1000)。由于医学图像本身分辨率高、训练数据少等原因,现有的深度网络训练小规模的医学图像数据集往往会出现过拟合问题,不能较好地完成分割任务。因此,本文拟从不同模态的小规模数据集的分割问题入手,从监督学习和无监督学习两个角度,结合前沿深度学习框架,提出了以轻量级卷积神经网络为基础的新型分割框架以及一个适用于下游医学图像分割任务的对比学习预训练模型。本文的主要研究内容如下:(1)提出了一种基于联合通道-空间注意力的轻量级语义分割网络UAL-Net(Union Attention Light Network),用于针对小规模医学图像数据集的精准分割问题。该模型选取轻量级网络Mobile Net V2为骨干网,在其基础上添加了联合注意力模块,将混合通道注意力机制和空间注意力机制在两个分支上并联接入模型中,实现在多维度上更有效地捕获全局依赖关系和局部上下文信息,同时引入的空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling,ASPP)模块利用不同膨胀率的空洞卷积融合全局多尺度特征,更好地提升模型的分割精度。为了解决轻量级网络在训练过程中出现收敛不稳定现象的问题,设计了一种复合损失函数,包括二元交叉熵损失函数、Dice损失函数以及双余弦对数损失函数三部分,以提升模型的稳定收敛能力。本文在六种不同模态的小规模医学图像数据集上验证了该方法的可行性,相对于经典医学图像分割网络如U-Net、U-Net++、Attention U-Net以及Deep Labv3+等,在模型参数量、运行速度以及分割性能等指标中表现最佳。(2)提出了一种适用于下游医学图像分割任务的对比学习预训练模型。该模型以Sim CLR为基础框架,在特征提取模块中引入多尺度处理方式,将骨干网络的倒残差结构替换成不同尺度的卷积模块,让模型在高维向量空间中学习到数据的映射关系。损失函数采用一种基于可调节温度的归一化交叉熵损失,该损失能够充分学习到样本之间的非线性关系,提高模型的泛化能力。为了使模型充分挖掘医学图像的特征信息,本文提出了二阶段对比学习预训练方法,分别使用公开的自然图像数据集和本文构建的混合医学图像数据集进行二阶段的对比学习预训练,以期进一步提升模型学习医学图像特征的能力。实验验证了加载该预训练权重模型之后的UAL-Net在原有基础上获得了进一步的性能提升。
基于CNN轻量化技术的风机叶片表面损伤识别研究
这是一篇关于损伤识别,轻量级卷积神经网络,非对称卷积,注意力机制的论文, 主要内容为风力发电是一种可再生能源的利用方式,而风力发电机的叶片是实现风能转化为电能的主要组成部分,对于提高风力发电机的发电效率具有重要作用。但是由于叶片常常受到自然灾害的侵袭,因此需要定期检查以保证及时的维修。本文提出一种新型轻量级的卷积神经网络(Convolutional Neural Networks,CNN)模型,用于风机叶片表面损伤识别。与现有的损伤识别方法相比,该方法具有成本低、操作简单、识别类型多样、不受叶片材料影响等优点。实验结果证明,与其他轻量级CNN模型相比,该CNN模型不仅参数量少,而且性能指标同样优秀。本文主要研究内容如下:(1)以无人机航拍作为图像采集方式,将采集得到的原始图像进行预处理等加工操作,提升图像质量与数量,以满足后续模型训练与测试的需求。并根据数目比例划分出训练集和测试集,完成风机叶片表面损伤图像数据集的建立。(2)针对在卷积操作过程中容易丢失图像细节特征而影响训练准确率的问题,提出一种结合非对称卷积与注意力机制的CNN图像分类模型ED Net。同时,对ED Net在应用于风机叶片损伤识别任务上进行性能实验。实验结果表明,ED Net的实验准确率为99.12%至99.23%,可以基本满足实际工程需要。(3)针对无人机等移动设备的部署需要轻量级CNN模型的问题,本文对ED Net利用深度可分离卷积和通道重排序进行后续的轻量化改进,提出轻量级CNN模型LACB＿ECBAM Net。同时结合风机叶片损伤特点进行分析,提出了强化型混合注意力模块。根据相关实验结果分析,LACB＿ECBAM Net具有99.94%至99.96%准确率,并且参数量更少,具有良好的泛用性,综合表现优于其他常见的轻量级CNN。本文使用了无人机航拍的图像采集方式来建立风机叶片表面损伤图像数据集,提出了以轻量型非对称卷积模块与强化型混合注意力模块为主要亮点,可以对风机叶片表面损伤进行特征分类识别的轻量级CNN模型LACB＿ECBAM Net,为轻量化模型在无人机等移动终端设备上的部署做了基础工作。
基于轻量级卷积神经网络的番茄病虫害分类研究
这是一篇关于深度学习,轻量级卷积神经网络,番茄病虫害分类,迁移学习,注意力机制的论文, 主要内容为病虫害是威胁植物生长的主要因素之一,实现植物病虫害准确识别分类是高效防治植物病虫害的基础。利用深度学习网络模型将番茄病虫害迅速分类,是辅助研究人员与农民快速并有针对性实施精准喷药,提高农药利用率、建立智慧农业的基础。对于番茄不同病虫害间存在一定相似性。传统作物识别分类方法不能体现番茄病理变化,实用性较差,常规神经网络对此类病虫害的分类效果不佳。针对以上问题本文采用卷积神经网络模型进行实验,本文以AI Challenger农作物病虫害数据集中番茄叶片病虫害数据作为研究对象,以番茄早疫病、晚疫病、叶霉病、白粉病、斑枯病、红蜘蛛损伤、花叶病毒病、黄化曲叶病毒病与健康叶片构建数据集,针对传统神经网络模型的番茄叶片病虫害分类任务训练时间长、训练成本高、泛化能力较弱的问题建立新型卷积神经网络Mobile Net-AD。首先,本文在模型选取方面对Inception V3、Xception、Squeeze Net、Mobile Net V1、Mobile Net V3-small神经网络模型进行分析,从Accuracy、运行时间、F1-score、precision、Recall、Specificity等多个角度评估。综合考虑神经网络的性能指标后,选取轻量级卷积神经网络Mobile Net V3-small作为番茄叶片病虫害分类基础网络模型。其次,针对AI Challenger中番茄叶片病虫害数据存在的样本数量不足和样本分布不均的问题,提出了改进方案,本文将数据增强和迁移学习应用于提升模型分类效果任务中,提出结合以上两种方式的轻量级卷积神经网络。此外,本文讨论不同优化器与损失函数变化对模型分类效果的影响,本文结合Auxiliary loss的损失函数与ASGD优化器对模型进行优化,以提高模型分类准确率,加快收敛速度,增强模型鲁棒性。最后,为解决现有番茄叶片病虫害神经网络分类任务准确率有待提高的问题,提出混合注意力机制的番茄叶片病虫害分类模型,对数据集做增强处理,增加模型泛化性。引入混合Coordinate Attention(CA)与A Simple,Parameter-Free Attention Module(Sim Am)注意力机制改进第四章轻量级卷积神经网络Mobile Net-AD,重新标定通道和空间两个维度的特征,探讨单独添加注意力模块CA与Sim Am对模型性能的影响。将注意力机制进行热力图可视化,实验结果证明所提出的Mobile Net-CS进行番茄病虫害分类任务中准确率可达到98.40%,能够在一定程度上提高番茄叶片病虫害分类的准确率。从而满足番茄病虫害在线诊断和防治的实际应用需求。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计工坊 ，原文地址：https://m.bishedaima.com/lunwen/54323.html
