基于改进的U-net的图像合成方法研究
这是一篇关于U-net,图像合成,生成对抗网络,深度学习的论文, 主要内容为图像合成是深度学习和视觉计算中的一个重要的研究方向,其在当今社会生活中具有广泛的应用前景和价值。它一般通过对输入的原始图像进行特征的提取与分析,再对这些特征作特定的约束与变换得到新的特征,最后利用新的特征来合成输出新的图像。传统的图像合成方法一般基于人为设定的特征如颜色直方图、纹理信息、形状信息和灰度信息等,再结合先验知识进行图像合成的研究。这类方法由于过度依赖人为设定的浅层特征而忽略了图像的深层特征和空间相关特征,因此难以合成令人满意的新图像,从而在实际环境中无法适用。近年来,以深度学习技术为核心的图像合成方法已经在很多行业取得了很大的成果。这类方法主要使用深层神经网络来构建对应的图像生成模型用于新的图像合成。U-net和生成对抗网络是两个常用于图像合成的深度网络模型。但是U-net仍存在一定的局限性,U-net是一种左右对称的U型网络,在增大输出图像分辨率的同时,网络中卷积层的数量会成倍增加,这会导致网络层次加深,使网络的训练变得更加困难,模型的学习性能会发生退化,最终造成合成的图像具有较低的质量。因此,对U-net的结构进行改进和优化就非常有必要和意义。为了解决上述问题,本文提出了对U-net结构的两种改进方法,第一种是基于高速残差块的U-net模型用于现实场景图像合成,该方法通过在U-net垂直方向的堆叠卷积层中嵌入高速残差块以提升U-net的图像合成性能。第二种是基于swish门限残差块的U-net模型用于黑白线稿自动上色,该方法通过在U-net垂直方向的堆叠卷积层和水平方向的跳层连接中嵌入swish门限残差块以提升U-net的图像合成性能。为了证明本文的方法的优越性,上述两种改进思路分别在公开的标准数据集上进行了大量的实验研究,实验结果证明了本文提出的方法在对应的图像合成任务上具有更优秀的性能。最后,本文对上述第二种方法进行了进一步的探索,将基于swish门限残差块的U-net作为生成对抗网络中的生成器来用于黑白线稿自动上色。实验结果表明了该方法具有优良的自动上色性能。
安检X光图像多目标违禁品合成方法研究
这是一篇关于行李安检,图像合成,生成对抗网络,注意力,卷积神经网络的论文, 主要内容为基于卷积神经网络(Convolutional Neural Network,CNN)实现违禁品自动检测对于提高安检效率具有重要意义。然而,带有违禁品的安检X光图像的出现为一个小概率事件,这导致现有的安检数据集在多样性和数量上无法达到可靠CNN模型训练的要求。为了构建大型安检数据集,本文基于生成对抗网络(Generative Adversarial Network,GAN)提出了一种从语义标签图合成具有多个违禁品的安检X光图像的方法。主要研究内容如下:1)提出了扩充语义标签图的方法,以根据需要合成尽可能多的安检X光图像。首先,自注意力生成对抗网络(Self-Attention Generative Adversarial Network,SAGAN)用来生成具有不同姿态的单目标语义标签图。然后,提出了语义图像投影(Semantic Image Projection,SIP)的方法来合成多目标语义标签图。2)建立了基于GAN的无遮挡多目标违禁品图像合成网络。设计了基于Res2Net的生成器,解决不同违禁品图像尺寸不一造成合成效果较差的问题。构建了多尺度判别器以实现较高分辨率的图像合成。目标函数中引入特征匹配损失以提升模型训练的稳定性。3)建立了基于混合注意力的有遮挡多目标违禁品图像合成网络。混合注意力由并联结构的通道注意力和空间注意力构成。考虑到有遮挡图像的映射更加复杂,引入通道注意力模块提升特征学习的效率。空间注意力增强了生成器的全局依赖性以解决合成图像中被遮挡区域的边界模糊的问题。4)提出了基于深度卷积神经网络识别算法的合成图像的评估方法。通过对比真实图像和合成图像训练的全卷积神经网络(Fully Convolutional Network,FCN)的识别效果,评价合成图像训练模型的效果。利用合成图像扩充SSD(Single Shot Multi Box Detector)模型的数据集,验证合成图像的数据增强效果。实验结果表明,合成图像能够有效的训练识别算法,解决了安检数据集正样本不足以及数量较少的问题。
基于改进的U-net的图像合成方法研究
这是一篇关于U-net,图像合成,生成对抗网络,深度学习的论文, 主要内容为图像合成是深度学习和视觉计算中的一个重要的研究方向,其在当今社会生活中具有广泛的应用前景和价值。它一般通过对输入的原始图像进行特征的提取与分析,再对这些特征作特定的约束与变换得到新的特征,最后利用新的特征来合成输出新的图像。传统的图像合成方法一般基于人为设定的特征如颜色直方图、纹理信息、形状信息和灰度信息等,再结合先验知识进行图像合成的研究。这类方法由于过度依赖人为设定的浅层特征而忽略了图像的深层特征和空间相关特征,因此难以合成令人满意的新图像,从而在实际环境中无法适用。近年来,以深度学习技术为核心的图像合成方法已经在很多行业取得了很大的成果。这类方法主要使用深层神经网络来构建对应的图像生成模型用于新的图像合成。U-net和生成对抗网络是两个常用于图像合成的深度网络模型。但是U-net仍存在一定的局限性,U-net是一种左右对称的U型网络,在增大输出图像分辨率的同时,网络中卷积层的数量会成倍增加,这会导致网络层次加深,使网络的训练变得更加困难,模型的学习性能会发生退化,最终造成合成的图像具有较低的质量。因此,对U-net的结构进行改进和优化就非常有必要和意义。为了解决上述问题,本文提出了对U-net结构的两种改进方法,第一种是基于高速残差块的U-net模型用于现实场景图像合成,该方法通过在U-net垂直方向的堆叠卷积层中嵌入高速残差块以提升U-net的图像合成性能。第二种是基于swish门限残差块的U-net模型用于黑白线稿自动上色,该方法通过在U-net垂直方向的堆叠卷积层和水平方向的跳层连接中嵌入swish门限残差块以提升U-net的图像合成性能。为了证明本文的方法的优越性,上述两种改进思路分别在公开的标准数据集上进行了大量的实验研究,实验结果证明了本文提出的方法在对应的图像合成任务上具有更优秀的性能。最后,本文对上述第二种方法进行了进一步的探索,将基于swish门限残差块的U-net作为生成对抗网络中的生成器来用于黑白线稿自动上色。实验结果表明了该方法具有优良的自动上色性能。
基于数字孪生的异构多源多模态数据融合方法研究
这是一篇关于深度学习,数据融合,异构多源多模态数据,图像合成的论文, 主要内容为随着工业4.0的到来,数字孪生技术成为工业4.0的关键使能技术,并且随着传感器、信息采集、信息传输和数据库等技术的高速发展,数字孪生体尤其对于异构多源多模态数据的处理要求不断增加,随之带来的数据信息提取质量较差,数据融合效果较差,共同学习结果较差等问题。这些问题成为制约数字孪生技术在决策层发展的主要障碍之一。目前,基于深度学习的异构多源多模态数据融合方法为此领域中一种重要的方法,已经在工业4.0的推动下得到了学者们的高度关注,具有重要的研究意义。本文在总结以往的研究成果上,对于基于数字孪生的异构多源多模态数据融合方法展开研究。本文首先提出了针对文本和图像数据的特征提取模块,能够实现针对文本和图像数据的关键信息提取工作;然后为了实现异构多源多模态数据融合,提出了一种张量分解的融合模块HSM-Net。本文主要研究内容如下:1)在基于深度学习方法的异构多源多模态数据融合方法中,数据的特征提取是很重要的一部分。特征提取的质量对后续融合结果具有至关重要的影响。本文从数据特征提取角度出发,针对文本数据的提取方法展开研究。本文将Bert预训练模型、MLP和残差网络相结合,使其能够分辨整个文本表达的含义,并利用残差网络的优点有效的避免了梯度消失或梯度爆炸等问题。2)为了后续的数据融合工作,提供高质量的数据特征,针对图像数据,提出了一种基于Vision Transformer的特征提取模块,该模块能够有效地结合CNN局部上下文信息和Vision Transformer的全局上下文信息的优点。模块共包含三个阶段,每个阶段均由CNN与Vision Transformer构成,逐级降低参数量,提高计算速度的同时,实现CNN处理底层特征,Vision Transformer处理高阶信息,为后续融合工作提供更优的数据特征。3)由于文本、轮廓、分割与风格数据之间存在数据类型异构的问题,若采用传统的数据融合方法很难对其进行有效的融合。为了充分利用多种不同模态数据的有效信息,提出了一种基于张量分解的融合模块,该模块针对不同模态的信息进行特征提取,再基于特征向量进行编码操作,然后进行映射到高维空间,利用张量分解理论,将高秩张量分解为低秩张量,在进行融合操作,有效的融合了更高维度的潜在信息,进一步蕴含了更多丰富的有效信息。
基于深度学习的乳腺动态增强MRI图像预测
这是一篇关于乳腺癌,动态增强MRI,图像合成,生成对抗网络的论文, 主要内容为临床诊断中,动态增强核磁共振成像(MRI)已经被广泛应用于乳腺癌的诊断。在进行成像时,患者需要注射对比增强药剂,如钆造影剂等。但有些病人对造影剂过敏,无法注射造影剂进行成像。同时,钆造影剂造价昂贵,极大地增加了患者的治疗费用。并且,钆粉可能会残留在患者体内,从而造成肾源性纤维化。因此,如何高效、低价、安全地对患者进行乳腺癌检查成为目前亟待解决的问题。深度学习在图像处理领域取得了令人瞩目的成就,使用深度学习方法合成虚拟动态增强MRI图像来代替注射造影剂后的动态增强MRI图像已经成为国内外研究者关注的热点。本文提出了一种基于生成对抗网络的乳腺动态增强图像预测模型。首先,本文使用融合外部注意力机制与残差U-Net结构作为生成对抗网络的生成器。该网络由一条上采样路径与一条对称的下采样路径组成,每条路径中都多次融合了残差模块和外部注意力机制,并且使用了跳跃连接将下采样路径中的特征图传递给上采样路径,提高网络合成图像的性能。其次,使用Res Net作为生成对抗网络的判别器,以提高判别器的性能。为了提高生成图像的质量,本文还使用MSE、图像梯度差函数与二分类交叉熵共同调整生成器的参数。本文对30名患者的乳腺癌图像进行数据扩展,并进行实验,与其他方法进行比较,本文提出的方法取得了十分优异的结果。实验结果表明,该方法能够安全、高效及低价地实现高质量的乳腺动态增强MRI图像合成,具有临床应用前景。
基于生成对抗网络的阴影生成算法研究
这是一篇关于生成对抗网络,图像合成,阴影生成,边缘检测的论文, 主要内容为随着深度学习的不断发展,图像合成得到了广泛研究,在数据增强、图像修复、艺术创作等方面发挥着重要作用。阴影生成旨在图像合成过程中给前景物体添加合适的阴影,为图像补充光照信息以保持外观一致性,使得合成图像更具立体感和真实感。阴影生成算法主要基于逆渲染和图像转换两种方法。基于逆渲染的方法需要获取现实场景中相关的属性信息,例如:光照、材质、几何位置等,然后根据这些信息进行渲染以得到物体阴影。然而,获取这些信息需要高昂的时间成本和计算成本,且信息获取不够准确会对渲染结果造成极大影响。基于图像转换的方法利用生成对抗网络可以实现端到端的阴影生成,降低了对额外信息的依赖,且表现出优异的性能。然而现有方法仍然存在一些不足,如多物体背景情况下结果不够稳定,生成的阴影缺失细节信息。本文在生成对抗网络的基础上进行改进,提出了新的阴影生成方法,本文主要贡献如下:(1)MultiShadow是一种基于阴影检测图的方法,通过引入注意力机制和阴影检测技术,提高了模型的特征提取能力并在阴影生成过程中融合了物体、阴影的位置信息,从而增强了阴影生成方法对于复杂背景的处理能力。通过注意力机制获取背景图像中的物体和对应阴影的注意力图,生成器借助注意力图对图像重要区域提取特征,从而使生成的阴影更加逼真。阴影检测技术可以检测出图像中物体和阴影的位置,随后使用判别器对检测图进行判别。通过对抗学习将物体、阴影的位置信息反馈给生成器,促进生成器生成位置信息与真实图像更贴近的阴影合成图像。最后通过实验验证了 MultiShadow可以在复杂背景情况下为前景物体生成具有真实感的阴影。(2)在MultiShadow的基础上,本文提出了一种基于边缘信息保留的阴影生成方法:Edge-ShadowGAN。Edge-ShadowGAN引入边缘检测器和密集连接模块对生成器进行进一步改进。边缘检测器用于提取图像中的物体和阴影的边缘图,通过边缘损失使生成图像和真实图像中的边缘信息尽可能保持一致,从而使生成的阴影具有更逼真的轮廓和明暗程度等细节信息。在粗略阴影生成模块中,使用密集连接模块对U-Net进行优化,以进一步增强生成器模块的性能。判别器部分通过引入局部判别器,进而通过全局信息和局部信息对图像进行辨别。最后,通过实验验证了 Edge-ShadowGAN的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/54214.html
