基于深度学习的COVID-19图像分类

这是一篇关于COVID-19,深度迁移学习,主动学习,通道注意力,卷积神经网络的论文, 主要内容为新型冠状病毒(SARS-Cov-2)对人类健康造成严重威胁,造成大量患者感染并对生命健康造成威胁。及时地阻止病毒的传播,并对感染新型冠状病毒性肺炎(COVID-19)的患者进行隔离和治疗,能够极大程度上减少患者的人数。在遏制COVID-19传播的过程中,最关键的一步便是及时有效地对疑似感染的患者进行检测以及及时的治疗,但是逆转录聚合酶链式反应(RT-PCR)检测患者相对耗时并且具有较高的假阴性率,这都不利于有效地控制疫情。为了进一步的检测疑似患者,提高检测方法的准确率,本文利用人工智能算法,基于深度学习模型对肺部医学图像进行分类以检测感染患者,主要工作如下:1.提出了基于深度迁移学习的多通道双注意力网络(MDA-Net)对肺部图像进行检测。首先,在深度迁移学习的框架下,引入多通道双注意力模块,利用多个通道的位置关系,融合不同尺度的图像特征。然后,将注意力机制和轻量级卷积神经网络相结合,扩大了MDA-Net感受野,提高了对肺部图像复杂区域和边缘区域的特征提取能力。最后,在不同数据集上对MDA-Net的性能进行了验证。实验表明,二分类任务和三分类任务中MDA-Net分别取得了99.25%和99.39%的平均准确率,表现出良好的分类性能。2.提出了基于迁移学习的主动注意力卷积神经网络(AMC-Net)对肺部图像进行分类。首先,引入一种全新的主动注意力融合(AEA)模块提取通道注意力,通过使用主动注意力机制来更加高效地提取特征信息。其次,将AMC-Net与经过预训练的模型结合并进行迁移学习,通过迁移学习的训练方式解决肺部医学图像数据缺乏和数据种类不平衡的问题,并加快模型的收敛速度。最后,通过对图像预测过程和分类结果进行可视化,使模型决策过程更加清晰。在肺部X射线图像的分类任务中,AMC-Net取得了99.36%的平均准确率;在肺部CT扫描图像的二分类任务中,AMC-Net取得了100.00%的平均准确率,三分类任务中,AMCNet取得了99.93%的平均准确率。通过一系列的消融实验数据对比,表明AMCNet的有效性。通过与已有分类模型进行对比,说明AMC-Net具有较强的竞争力。

基于深度学习的图像语义描述方法研究

这是一篇关于图像语义描述,深度学习,通道注意力,生成对抗网络,情感描述的论文, 主要内容为图像语义描述是计算机将图像生成一段符合人类语言逻辑的自然语言描述,是计算机视觉与自然语言处理的交叉学科,在帮助视觉障碍患者、智能驾驶,传统民族服饰的理解等方面具有重要应用前景。人类用语言描述图像中内容是最基本的能力,但是对计算机而言却面临诸多困难。因此,图像语义描述作为多模态学习问题,需要准确识别图像中对象与对象之间的属性及关系,还需要考虑描述语句语法的准确性及丰富性。目前,研究人员在图像语义描述研究上取得了一定的成果,但是仍存在图像特征提取不够充分、描述语句与图像展示的主要内容不匹配,图像描述语句缺乏情感色彩等问题。针对以上问题,本文在原有深度学习模型基础上,进行了优化和改进,具体内容如下:1.针对网络提取图像特征不充分问题,提出一种基于Vi T图像特征提取模型。该模型中使用Res Net Xt-101网络和Vi T网络提取图像中的全局特征及局部特征,将全局特征与局部特征相结合形成图像视觉特征,然后将该特征输入解码器中生成图像的描述语句。通过仿真实验结果表明,模型以Res Net Xt-101网络为基础结合Vi T网络充分提取图像视觉特征,为图像语义描述打下基础。2.针对模型生成图像描述语句的准确性和丰富性不充分问题,提出一种结合通道注意力机制的图像描述算法。在Vi T网络和Res Net Xt-101网络提取的图像视觉特征通过通道注意力机制,对图像中不清晰区域进行优化,使图像中显著区域分配较大权重,不显著区域分配较小权重,模型提取的图像特征更加准确,最后将该注意力机制处理后的图像视觉特征与文本特征相结合输入到图像解码模块中生成图像描述语句。通过仿真实验结果表明,该方法生成的描述语句与图像展示的主要内容匹配度进一步提高,使网络描述图像的语句更加准确和丰富。3.针对图像描述语句缺乏情感描述色彩问题,提出一种基于生成对抗网络图像语义描述方法,该网络由生成器模型和辨别器模型构成。首先输入图像经过生成器模型生成描述语句,辨别器模型判断该描述语句是真实语句还是虚假语句,通过奖励机制反馈给生成器模型。其次在生成器模型中加入情感语料库,使生成的图像描述语句富含感情色彩。通过仿真实验结果表明,该方法生成的描述语句更加生动且富含丰富的感情色彩。

基于机器视觉的玉米叶片病害识别方法研究

这是一篇关于机器视觉,玉米叶片识别,卷积神经网络,通道注意力的论文, 主要内容为玉米地是国家重要的粮食生产基地,它的生产直接关系到人们的温饱和国家经济的发展。但在玉米生产中,由于品种的抗病能力弱、耕作栽培技术不规范等因素,容易受到细菌、环境等影响而发生病害,尤其以玉米叶片部位病害居多,造成玉米产量大幅度下降,对国家经济和农民生活水平都产生了重大的影响。玉米叶片的病害类型多样,有些表现形式类似,难以用肉眼鉴别。因此,通过机器视觉技术进行玉米叶片病害的鉴定,可以为广大农民提供及时、准确地预警和控制手段,从而提高玉米的产量和质量。本研究针对玉米叶片常见的玉米灰斑病、玉米叶枯病、玉米锈病和健康四种叶片进行识别,运用机器视觉技术,通过传统机器学习、深度学习和改进卷积神经网络三种方法对玉米病害叶片进行分类比较研究,提高玉米叶片病害的识别准确率。本文的工作如下:(1)玉米叶片病害图像预处理方法的研究。为了后续工作中玉米叶片能够更好地进行识别,针对采集图像过程中容易产生的干扰信息,主要通过图像尺寸统一、图像降噪和亮度矫正等图像预处理的方法减少干扰信息。通过图像增广,扩充之后的图片共有6100张。将训练图片和测试图片按照7:3的比例进行划分,用于模型训练和测试。(2)卷积神经网络模型对玉米叶片病害识别的研究。利用玉米叶片病害数据集,训练7个卷积神经网络模型。通过对模型的训练及可视化的分析,可以看出Res Net18网络训练过程相对于其他网络具有较好的稳定性。最后测试集的准确率由高到低依次是Res Net18(97.23%)、Res Net34(97.1%)、Dense Net121(97.02%)、Res Net50(97.01%)、Vgg16(96.67%)、Google Net(96.55%)、Mobile Net V2(94.59%),结果表明Res Net18模型的识别准确率最高,且混淆矩阵的性能也是最好的。(3)改进Res Net18网络对玉米叶片病害识别的研究。通过Res Net18网络结合通道注意力(Squeeze and Excitation,SE)模块融合方式的创新,以及对SE模块进行的改进,得到了一种基于改进Res Net18模型的玉米病斑叶片分类方法。相比与未改进前的方法,改进的Res Net18网络识别率提高了0.71%。且通过热力图可视化分析,可以清晰地观察到改进的Res Net18模型的具体分类识别过程。因此,利用Res Net18网络与SE相结合的识别技术,提高了模型识别的准确率和训练的时效性,使模型的通用性更强,便于在实际中推广,对保证农业生产有一定的实际意义。

基于机器视觉的玉米叶片病害识别方法研究

这是一篇关于机器视觉,玉米叶片识别,卷积神经网络,通道注意力的论文, 主要内容为玉米地是国家重要的粮食生产基地,它的生产直接关系到人们的温饱和国家经济的发展。但在玉米生产中,由于品种的抗病能力弱、耕作栽培技术不规范等因素,容易受到细菌、环境等影响而发生病害,尤其以玉米叶片部位病害居多,造成玉米产量大幅度下降,对国家经济和农民生活水平都产生了重大的影响。玉米叶片的病害类型多样,有些表现形式类似,难以用肉眼鉴别。因此,通过机器视觉技术进行玉米叶片病害的鉴定,可以为广大农民提供及时、准确地预警和控制手段,从而提高玉米的产量和质量。本研究针对玉米叶片常见的玉米灰斑病、玉米叶枯病、玉米锈病和健康四种叶片进行识别,运用机器视觉技术,通过传统机器学习、深度学习和改进卷积神经网络三种方法对玉米病害叶片进行分类比较研究,提高玉米叶片病害的识别准确率。本文的工作如下:(1)玉米叶片病害图像预处理方法的研究。为了后续工作中玉米叶片能够更好地进行识别,针对采集图像过程中容易产生的干扰信息,主要通过图像尺寸统一、图像降噪和亮度矫正等图像预处理的方法减少干扰信息。通过图像增广,扩充之后的图片共有6100张。将训练图片和测试图片按照7:3的比例进行划分,用于模型训练和测试。(2)卷积神经网络模型对玉米叶片病害识别的研究。利用玉米叶片病害数据集,训练7个卷积神经网络模型。通过对模型的训练及可视化的分析,可以看出Res Net18网络训练过程相对于其他网络具有较好的稳定性。最后测试集的准确率由高到低依次是Res Net18(97.23%)、Res Net34(97.1%)、Dense Net121(97.02%)、Res Net50(97.01%)、Vgg16(96.67%)、Google Net(96.55%)、Mobile Net V2(94.59%),结果表明Res Net18模型的识别准确率最高,且混淆矩阵的性能也是最好的。(3)改进Res Net18网络对玉米叶片病害识别的研究。通过Res Net18网络结合通道注意力(Squeeze and Excitation,SE)模块融合方式的创新,以及对SE模块进行的改进,得到了一种基于改进Res Net18模型的玉米病斑叶片分类方法。相比与未改进前的方法,改进的Res Net18网络识别率提高了0.71%。且通过热力图可视化分析,可以清晰地观察到改进的Res Net18模型的具体分类识别过程。因此,利用Res Net18网络与SE相结合的识别技术,提高了模型识别的准确率和训练的时效性,使模型的通用性更强,便于在实际中推广,对保证农业生产有一定的实际意义。

基于Swin Transformer的深度伪造检测技术研究与实现

这是一篇关于深度伪造检测,多通道,二维卷积,通道注意力,自注意力的论文, 主要内容为深度伪造(Deepfake)是深度学习(Deep Learning)和伪造(Fake)的混成词。此技术可将已有的图像或视频叠加至目标图像或视频上。该技术的滥用使得网络上信息传播的复杂程度日益加剧,不法分子利用这些技术进行诽谤、欺诈、勒索,危害国家安全,损害个人和社会公共利益。因此,如何针对这些伪造内容进行高效检测已经成为亟待解决的问题。本文基于多通道信息提取方法、混合缩放方法和双流注意力方法,提出了两种深度伪造检测方法,并进一步实现了便捷高效的深度伪造检测系统。本文主要研究内容如下:(1)本文提出一种基于多通道Swin Transformer的深度伪造检测方法。通过提取图像的色彩空间、人脸特征空间和频域空间中的通道信息并将其堆叠为多通道信息,实现了数据的多通道信息提取。将这些多通道信息输入到Swin Transformer特征提取器进行检测,并通过交叉熵损失函数和Adam W优化器执行模型的反向传播过程,最终得到检测模型。在公开数据集Face Forensics++(FF++)上进行测试后,实验结果显示该方法的深度伪造检测准确率达到了94.71%,优于其他检测方法。(2)本文提出一种基于混合缩放双流注意力网络的深度伪造检测方法。该方法通过将混合缩放模块和基于Swin Transformer的双流注意力模块结合以检测深度伪造视频。混合缩放模块由残差下采样、融合卷积和压缩卷积组成,实现了更高效的局部特征提取。双流注意力模块则通过结合自注意力机制和通道注意力机制,实现了全局维度与通道维度的特征提取。在整体架构设计中,混合缩放模块负责提取数据的浅层局部特征,而双流注意力模块负责提取数据的深层全局特征。通过在FF++数据集上进行实验,结果显示该方法的深度伪造检测准确率达到了95.62%,证实了其优越性。(3)本文设计并实现了一种深度伪造检测系统。该系统采用标准的浏览器/服务器架构,前端基于Vue框架构建,后端使用Flask框架进行开发。对于异步任务,系统采用Redis作为消息队列,由Celery负责处理队列中的异步任务。在提供用户权限和记录管理等基础功能服务的基础上,通过将前述深度伪造检测方法作为模块单独嵌入到系统中,为用户提供便捷的深度伪造检测服务。

基于深度学习的图像语义描述方法研究

这是一篇关于图像语义描述,深度学习,通道注意力,生成对抗网络,情感描述的论文, 主要内容为图像语义描述是计算机将图像生成一段符合人类语言逻辑的自然语言描述,是计算机视觉与自然语言处理的交叉学科,在帮助视觉障碍患者、智能驾驶,传统民族服饰的理解等方面具有重要应用前景。人类用语言描述图像中内容是最基本的能力,但是对计算机而言却面临诸多困难。因此,图像语义描述作为多模态学习问题,需要准确识别图像中对象与对象之间的属性及关系,还需要考虑描述语句语法的准确性及丰富性。目前,研究人员在图像语义描述研究上取得了一定的成果,但是仍存在图像特征提取不够充分、描述语句与图像展示的主要内容不匹配,图像描述语句缺乏情感色彩等问题。针对以上问题,本文在原有深度学习模型基础上,进行了优化和改进,具体内容如下:1.针对网络提取图像特征不充分问题,提出一种基于Vi T图像特征提取模型。该模型中使用Res Net Xt-101网络和Vi T网络提取图像中的全局特征及局部特征,将全局特征与局部特征相结合形成图像视觉特征,然后将该特征输入解码器中生成图像的描述语句。通过仿真实验结果表明,模型以Res Net Xt-101网络为基础结合Vi T网络充分提取图像视觉特征,为图像语义描述打下基础。2.针对模型生成图像描述语句的准确性和丰富性不充分问题,提出一种结合通道注意力机制的图像描述算法。在Vi T网络和Res Net Xt-101网络提取的图像视觉特征通过通道注意力机制,对图像中不清晰区域进行优化,使图像中显著区域分配较大权重,不显著区域分配较小权重,模型提取的图像特征更加准确,最后将该注意力机制处理后的图像视觉特征与文本特征相结合输入到图像解码模块中生成图像描述语句。通过仿真实验结果表明,该方法生成的描述语句与图像展示的主要内容匹配度进一步提高,使网络描述图像的语句更加准确和丰富。3.针对图像描述语句缺乏情感描述色彩问题,提出一种基于生成对抗网络图像语义描述方法,该网络由生成器模型和辨别器模型构成。首先输入图像经过生成器模型生成描述语句,辨别器模型判断该描述语句是真实语句还是虚假语句,通过奖励机制反馈给生成器模型。其次在生成器模型中加入情感语料库,使生成的图像描述语句富含感情色彩。通过仿真实验结果表明,该方法生成的描述语句更加生动且富含丰富的感情色彩。

多模态数据融合下基于多目标优化的乳腺癌转移预测研究

这是一篇关于乳腺癌远处转移,多模态数据融合,多目标优化,遗传算法,通道注意力的论文, 主要内容为乳腺癌是女性最为常见的恶性肿瘤,也是女性癌症死亡的第二大原因。而BC远处转移,引起其他器官衰竭则是BC引发死亡的常见原因。因此使用人工智能技术预测BC远处转移,尽早发现BC远处转移风险,可以帮助患者提前作出应对手段,从而有效减少BC患者死亡风险,改善预后。本文首先针对特征选择与分类模型优化问题对多目标遗传算法NSGA2进行了改进,提出了MINSGA2算法。该算法基于互信息的思想,分别对多目标遗传算法的种群初始化、交叉变异算子以及子代选择评分三方面进行了改进,即基于标签相关性的种群初始化策略、基于相关冗余值的局部搜索算子,称为补充删除算子,以及基于互信息的特征子集总信息量评分。并且对三个改进点进行了消融实验,证明了优秀的改进效果。之后,本文使用多个公共数据集进行特征选择以及分类预测,证明了算法在不同数据集上均可以取得不错的分类效果。使用临床数据集对结构化数据模态进行了BC远处转移预测单模态实验,获得了优秀的单模态分类器。模型AUC达到了0.931,敏感性0.945,特异性0.917。之后,本文对数据集中身体成分部分进行了零假设实验,证明了身体成分数据对正确预测BC患者远处转移起到了积极的作用。之后,本文针对BC图像模态进行研究。由以往研究可知,BC患者身体成分与其预后存在着较大的关联。因此本文使用了可以提示BC患者身体成分信息的第四胸椎(T4)和第十一胸椎(T11)的CT图像,使用深度学习方法对BC远处转移进行预测,并使用深度学习影像组学的思想,提取图像特征,为后续的多模态融合研究做准备。本文基于通道注意力的思想以并行的方式融合了SENet、ECANet中的通道注意力,提出了混合通道注意力模块MCI,并将其融入多个备选网络。最终得到了性能优秀的网络Dense Net121-MCI,其AUC达到了0.825,敏感性0.796,特异性0.854。本文依此得到了图像数据模态下BC远处转移单模态分类器,并且获得了图像数据提取特征。最后,本文分别依据多模态融合中,前期融合、后期融合、混合融合的思想进行了多种多模态融合实验。在前期融合中融合两种模态的特征,使用主成分分析法减少特征冗余,再使用MINSGA2方法进行转移预测。这一前期融合模型取得了优秀的效果。在后期融合中,使用前文得到的两种模态下的单模态分类器进行融合实验,最终多目标优化权重的方法取得了优秀的后期融合效果。于是,在混合融合实验中,本文将前面得到的单模态与前期融合分类器共同使用NSGA2优化权重的方法进行混合融合,得到了最终的BC远处转移多模态融合分类器,其AUC达到了0.980,敏感性0.987,特异性0.975。此外,本文借鉴Grad-CAM的思想,对深度学习提取图像特征进行了热区图像绘制,发现网络特征关注区域集中于患者竖脊肌部分,这与前人的实验不谋而合,再次证明了身体成分数据对BC患者远处转移预测的积极作用。

面向视杯视盘分割的深度神经网络方法研究

这是一篇关于卷积神经网络,通道注意力,非全局池化,语义分割,视杯视盘分割的论文, 主要内容为眼睛是可以感知光线的人体重要视觉器官,可致盲的眼部疾病严重威胁人类视觉健康。青光眼是全球首位致盲眼部慢性疾病。青光眼造成的视力损伤是不可逆的,到目前为止,青光眼是无法治愈的,只有早发现早治疗才能阻碍青光眼损害视力健康,因此青光眼的早期筛查和诊断十分重要。视盘、视杯检查对于青光眼的早期筛查和治疗很重要,其中视盘和视杯的比值是临床中诊断青光眼的重要指标之一。利用计算机自动、精确分割视盘和视杯,可以快速得到视盘和视杯的比值,辅助医生诊断青光眼疾病。现有的方法在视盘分割任务上都取得了满意的结果,但由于视杯面积较小,与盘沿对比度较低,因此视杯的分割结果不佳,视杯视盘的分割任务仍十分具有挑战性。为了有效提高视杯视盘分割模型的性能,本文首先探究了通道注意力机制对语义分割模型性能的影响,基于SE-Net通道注意力模块,提出一种基于非全局池化的改进通道注意力机制,并将该注意力机制应用于视杯视盘分割。其次,为了使模型充分地融合特征信息,提高模型的特征复用性能,本文改进了U-Net网络模型的特征提取模块和跳跃连接结构,提出了一个基于多特征融合的AFFM-Unet网络模型,该模型能够有效提升视盘和视杯的分割准确率。本文的主要研究工作如下:(1)改进SE-Net通道注意力模块,将原来的全局池化变成非全局池化,由此提出一种基于非全局池化的通道注意力模块,以获得更丰富的局部特征,并将提出的非全局池化注意力模块应用到语义分割任务中,在PASCAL VOC 2012增强版图像分割数据集上验证该方法的有效性。(2)将提出的非全局池化注意力模块应用于视杯视盘分割实验,引导网络自主学习图像重要信息,从而提高视盘和视杯的分割准确率。(3)改进U-Net网络模型的特征提取模块和跳跃连接模块,使模型充分提取图像特征并融合多尺度图像特征信息。(4)引入多尺度输入结构和深监督结构,辅助网络训练,加快收敛。AFFM-Unet在REFUGE数据集上表现出优异的分割性能,其中,视盘Acc为97.46%,视盘Dice为98.14%,视盘IoU为96.38%,视杯Acc为95.89%,视杯Dice为94.28%,视杯IoU为89.97%,实验结果表明,AFFM-Unet优于其他几种先进的视杯视盘分割方法。

心肌缺血缺失程度分割算法研究

这是一篇关于深度学习,语义分割,心肌灌注靶心图,通道注意力的论文, 主要内容为心血管疾病是危害人类健康的第一大病因,而冠心病是心血管疾病最常见的形式。心肌灌注显像作为无创影像学技术之一,为冠心病心肌缺血的诊断提供依据。以患者为单位,一张心肌灌注显像包括若干张三个轴向的心肌切片图及一张俯视角度的靶心图,专业影像学医师通过对轴向图与靶心图的共同分析,得出患者心肌缺血患病程度的诊断结果。然而,目前已有大量研究针对轴向切片进行冠心病心肌缺血的预测和诊断,却很少针对靶心图展开研究,忽略其本身的信息价值,且很少有研究对心肌缺血的具体缺血程度精确区分。本文针对心肌灌注靶心图,基于U-Net模型从网络结构设计和融合传统特征两方面进行改进,实现心肌缺血缺失程度的精确分割,从而定位坏死心肌部位,并为后续定量计算其在整个心脏的占比提供技术支持。首先,基于U-Net提出包含多层转置卷积上采样拼接模块和四通路可加权通道注意力模块的分支结构,并将分支结构的输出结果与主干U-Net的输出结果进行融合,实现缺失程度部位的精确分割。实验结果表明:多层转置卷积上采样拼接模块有效地降低与缺失程度相似的重度稀疏程度对分割的干扰。四通路可加权通道注意力模块能进一步提高两种相似程度的区分能力及对目标边缘细节的学习能力,保留更丰富的边缘细节特征。在自建数据集进行对比实验分析,本文模型优于目前基于U-Net进行优化的其他模型,Jaccard高于U-Net 5.0%。在上述研究基础上,为进一步提高缺失程度部位的分割精度,引入了类蒙版生成算法和Canny边缘检测算法,并使用卷积神经网络提取类蒙版图像、边缘图像和RGB图像的特征,通过三种融合位置及四种融合方式完成特征融合,选出最优组合模型。实验结果表明:融合类蒙版生成特征能有效降低因样本量较小,神经网络学习特征不充分导致的误判和漏判,融合边缘检测算法提取的特征能进一步提高模型对目标边缘细节的提取及相似程度的区分能力,最优组合模型Jaccard进一步提高2.3%。