基于深度学习的单幅图像阴影去除方法的研究与系统设计
这是一篇关于深度学习,阴影去除,超分辨率,图像融合,耦合反馈的论文, 主要内容为在大多数自然图像中,当光源被遮挡时,阴影就会出现。阴影去除的研究重难点在于所设计的算法不仅关注阴影的去除,还要重建阴影覆盖下的背景亮度、色彩、以及纹理,同时保留非阴影覆盖区域不受影响。然而阴影可以覆盖场景中的任何区域,并且可能包含多种多样的纹理,这给相关方法的研究带来了困难。1.本文利用图像多曝光融合(MEF)与图像超分辨率(SR)联合处理单图像阴影去除问题。直观来讲,将阴影图像考虑成欠曝光图像,通过设计多曝光网络Muti-exposure net,对欠曝光阴影图像进行多重过曝光处理。为了实现随后将阴影图像与一系列过曝光图像的融合,设计了多曝光融合与超分辨率网络SR-MEF-net。该网络以一系列欠-过曝光阴影图像的LR版本为输入,每张输入图像对应一个子网,每个子网包括初级特征提取模块,超分辨率模块,多重耦合反馈模块,重建模块。将Muti-exposure net与SR-MEF-net联合训练成端到端的网络,最终输出超分辨率-阴影去除重建图像。本文在ISTD+数据集上进行了大量的实验,以验证方法的有效性,在阴影去除效果和图像超分辨率重建效果上优于目前的先进方法。2.为丰富阴影去除项目数据集,提高数据集复杂性,本文使用虚拟环境搭建模拟真实场景,并采集阴影-掩膜-无阴影的数据对。使用Unity3D环境对城市贴图进行搭建、采集数据并进行图像预处理,增加曝光后的值,饱和度和对比度,同时提高光贴图的质量,以纹理存储的表面亮度,并减少噪声,使用Optix去噪器来优化图像的质量,使用虚拟相机实现图像对的采集和整理。提出风格转换网络实现风格的迁移。统计数据集复杂度并进行实验分析。设计基于GAN的阴影去除网络,在本文合成的阴影数据集中进行实验的效果良好。3.根据上述研究内容,设计一个单图像阴影去除系统。能够对输入的单幅图像输出清晰的无阴影超分辨率重建图像。
基于深度学习的人脸图像超分辨率特征重建的研究
这是一篇关于人脸图像,超分辨率,先验信息,扩散模型的论文, 主要内容为超分辨率算法是一种可应用于图像、视频恢复的图像重建算法,其工作是基于低分辨率的输入图像输出高分辨率的图像。人脸图像超分辨率是超分辨率任务的一个分支,图像中有多种不同先验信息存在,如关键位置地标图,热力图和解析图等,然而现有方法对先验信息的运用方式仍有不足之处。因此,本文设计一种基于先验信息的人脸图像超分辨率卷积神经网络以提升重建效果;另一方面,除了生成图像的真实性,图像的观感的优劣度也是评价算法的重要因素。针对这一方面,本文提出扩散模型应用在人脸图像超分辨率的方案。本文的主要工作如下:为减小输出图像的像素损失,提高重建结果的有参考客观评价指标,论文提出基于先验信息的人脸图像超分辨率卷积神经网络(Global Attention Guided Multiscale Network,GAGMN)。该网络包含三个子模块:上采样模块、先验预测模块、图像重建模块。(1)上采样模块,实现分辨率的提升,重建粗超分结果;(2)先验预测模块,基于上采样模块的输出的粗超分结果进行先验信息的预测,用于下一步的融合重建;(3)图像重建模块将前两个模块的输出结果融合,实现最终超分辨率结果的重建。为平衡重建结果的像素损失和观感体验,论文提出基于扩散模型的人脸图像超分辨率网络(Diffusion Module Based Face Image Super-resolution Network,DMBN)。本文将扩散模型网络应用在人脸图像超分辨率任务中,并对模型中最关键的噪声预测网络部分进行设计。针对噪声预测网络的结构,本文设计了一个双流网络进行噪声预测,该网络由Transformer和U-Net两条分支组成。改进的噪声预测网络能根据去噪进程有效的预测噪声。基于预测的噪声结果,扩散模型网络可以通过逐步去噪得到最终的重建结果。本文在公开数据集对两种方法进行验证,同时与其他算法进行实验比较,定量和定性实验结果证明了本文所提出方法的有效性,且两种方法可以应对不同需求场景。
文本图像超分辨率重建方法研究与应用
这是一篇关于超分辨率,文本图像,密集连接,注意力机制,内容损失函数的论文, 主要内容为超分辨率是指根据低分辨率图像已有的图像信息恢复图像细节及信息的过程。因为文本有丰富的含义及广泛的应用,因此有了特意针对文本图像进行恢复的超分辨率网络及方法,即文本图像超分辨率。然而,过去的文本图像超分辨率方法往往是针对经过人为处理后的低分辨率图像数据集进行恢复,对从自然界用相机获取的实际低分辨率图像效果不尽如人意。因此,最近几年,用于做超分辨率的真实文本图像数据集Text Zoom被提出了。随着Text Zoom数据集的提出,一个针对该数据集的超分辨率网络框架TSRN也被提出了,相比于对人工下采样低分辨率图像有良好恢复效果的超分辨率网络,TSRN对真实世界文本图像数据集Text Zoom的恢复效果达到了最优。但纵观其结构,依然有很多改进可以加入其中。因此参照过去的优良超分辨率网络的结构及文本图像的特征,本文对TSRN框架做出了诸多改动,并在Text Zoom数据集上验证其效果。主要研究内容如下:(1)基于使网络内信息更多地流通在网络中、重视多信息通道及重视图像的多方向上下文信息的想法,对TSRN框架加入了密集连接、通道注意力及并行结构方面的改进。本文将改进后的模型应用至Text Zoom数据集的超分辨率重建任务,实验结果显示在各个难度的图像恢复任务上改进模型的表现均普遍优于未改进模型,证明在添加各项结构方面的改进后模型效果更强。(2)基于使网络更重视文本内容及文本边界的想法,对TSRN框架加入了特征损失函数,同时提升了梯度损失函数的比例。本文将改进后的模型应用至Text Zoom数据集的超分辨率重建任务,实验结果显示在各个难度的图像恢复任务上改进模型的表现普遍优于未改进模型,证明在添加各项有关损失函数的改进后模型效果更强。(3)通过将经过以上改进后的文本图像超分辨率框架与前后端开发知识相结合,构建了一个可用于文本图像超分辨率功能的网页应用微服务,提供功能主要包括图像裁切、超分辨率、数据管理三部分。
基于深度学习的视频超分辨率方法应用研究
这是一篇关于超分辨率,深度学习,卷积神经网络,FPGA的论文, 主要内容为由于设备的限制,采集到的图像或者视频资源的分辨率可能不能达到人们的要求,而直接使用更高分辨率的设备会大大地增加成本。如果利用软件方法低分辨率视频增强成高分辨率视频,则可以节省这部分成本。超分辨率技术属于图像增强技术,这一技术突破了硬件的限制,可以低配置的硬件上实现分辨率的提高。超分辨率方法一般可以分为基于插值、重建和学习。基于插值和重建的方法虽然效率高,但是细节恢复不是很理想。基于学习的方法因为统计了大量的先验知识,建立从低分辨率到高分辨率的映射关系。特别地,深度学习的迅猛发展,许多研究者把深度学习的技术应用到超分辨率的算法中,得到的视频质量得到很大的提升。本文基于深度学习的超分辨率技术进行研究,并提出新的模型。主要工作如下:超分辨率需要充分利用图像包含的信息来提升图像的分辨率,但是现在许多基于深度学习的超分辨率算法都没有将这些非局部相似性考虑进去。为了解决这一问题,本文提出了基于全局感知网络的超分辨率重建方法。利用非局部相似性计算两个像素点的相似权重,作为图像超分辨率重建的约束条件,充分挖掘丰富的冗余信息,将这些信息进行重建高分辨率图像。实验表明,提出的方法不仅PSNR和SSIM上有提升,而且在计算效率上也有很大的提升。针对视频序列的超分辨率研究,传统算法都会把问题分成两个步骤:运动补偿、超分辨率重建。运动补偿精度不高会影响到超分辨率重建的结果。为了解决这一问题,本文采用全局感知网络。与图像超分辨率算法不同的是,视频超分辨率算法采用视频帧序列作为模型的输入。结合多帧图像的融合,充分利用冗余信息,保证重构视频帧良好的边缘效果。在本文中,提出了一种有效的基于卷积神经网络的超分辨率算法的FPGA部署方案,用于在低端FPGA上实现超分辨率处理。从计算优化和内存优化两个方面对FPGA进行分析,最大程度上提升FPGA的性能。对于计算优化,采用并行化和循环展开等多种手段进行优化,最大程度上提高FPGA内部逻辑门电路的利用率。对于内存优化,采用低精度的参数进行训练,从而降低对内存的需求,同时一定程度上保证PSNR质量。
基于卷积神经网络的高光谱图像超分辨率研究
这是一篇关于卷积神经网络,高光谱图像,超分辨率,知识蒸馏的论文, 主要内容为高光谱图像(Hyperspectral Image,HSI)因其包含了丰富的光谱信息在遥感和计算机视觉等领域被广泛应用。受硬件条件的限制,高光谱成像系统往往很难同时达到高空间分辨率和高谱间分辨率。因此,高光谱图像超分辨率作为一种提升空间分辨率的后处理方法具有现实意义。本文的研究集中于基于卷积神经网络的高光谱图像超分辨率方法,并从数据和模型先验两个角度提出了两个改进算法。本文研究工作主要包括以下两个方面:(1)我们首先分析了现有的两类高光谱图像超分辨率算法:基于融合的方法和基于单图的方法。前者可以同时利用低分辨率高光谱图像(LR-HSI)和高分辨率多光谱图像(HR-MSI)两个信息源,但是需要精确配准的高光谱-多光谱图像对作为输入,限制了其应用场景。而后者仅仅需要高光谱图像输入,然而缺乏高分辨率输入限制了其性能,也无法利用现有的成对数据。结合上述两类方法的优点,本文提出了一种基于知识蒸馏的新框架,该框架将HR-MSI作为特权信息(privilege information),在训练阶段使用知识蒸馏将高分辨率多光谱图像的知识从辅助模型传输到单图高光谱图像超分辨率模型(主模型),而在测试阶段仅仅使用低分辨率高光谱图像作为输入。光谱超分辨率模型被用作辅助模型;为了解决3D CNN主模型和2D CNN辅助模型之间的异构蒸馏问题,我们设计了一种双分支的3D/2D混合结构,称为面向蒸馏的双分支单图高光谱超分辨率网络(DODN)。DODN添加了一个额外的2D分支用于知识蒸馏,将3D模型与2D模型之间的异构蒸馏问题转化为模型内的特征融合问题。实验表明,DODN在主观和客观效果上都超过了现有的单图高光谱图像超分辨率方法;消融分析也证明了知识蒸馏的有效性。(2)我们在上述研究内容的基础上进一步研究单图高光谱图像超分辨率的模型先验。由于高光谱图像的多谱带性质,3D卷积被广泛用于提取空-谱信息;然而,基于全3D CNN的模型往往被认为复杂度过高,无法在有限的高光谱图像数据集上发挥作用。结合U-Net结构,本文设计了一种简单而有效的全3D模型F3DUN,实验表明F3DUN在公开数据集上超过了现有的单图高光谱图像超分辨率方法,证明了全3D模型的有效性。此外,通过对具有相同结构的3D/2D混合模型和全3D模型的分析,发现全3D模型在一定条件下优于3D/2D混合模型,且对于训练样本的规模比常识所认为的更加鲁棒。总的来说,本文从数据和模型先验两个角度对目前基于卷积神经网络的高光谱图像超分辨率方法进行了改进。在数据方面,使用知识蒸馏让单图高光谱图像超分辨率模型可以利用来自HR-MSI的信息,提升了效果。在模型先验方面,通过实验说明了全3D模型在高光谱图像超分辨率领域的有效性,并探索了全3D模型与训练数据的关系。
基于图像融合的高分辨率平面化衣服生成算法研究
这是一篇关于生成对抗网络,平面化服装图像,超分辨率,图像融合,服装检索的论文, 主要内容为随着互联网技术的不断进步与发展,网络购物平台的用户数量与日俱增。在众多可供浏览与购买的在线商品中服装占据了较大比例与营收份额。在此背景下,如何高效地检索、推荐在线服装商品成为业界亟待解决的难题。为了解决此问题,需要设计能够有效获取特定服装图像特征的方法用以保证服装检索、推荐系统的精度。传统方法一般利用物体检测技术对图像中的服装区域进行探测与切割,并利用切割出的图像作为后续系统的输入。但是,此种方法难免会因原始图像中复杂的背景、服装的不规则形变而引入大量噪声,继而影响抽取的服装特征质量。近期改进的方法则直接利用模特图像作为输入,通过图像生成技术生成白色背景的整洁平面服装图像来解决以上的噪音问题。此类方法能有效地去除服装区域的各类干扰,具有较大的优势。但现有的生成技术对于输入服装图像的质量要求较为严苛,且难以还原服装区域纹理图案等特征,无法生成保真度较高的高分辨率图像。若能解决以上问题,将有效提升抽取服装特征的质量,继而提升后续系统的性能。现有的生成方法中生成对抗网络的效果较为优秀,基于其实现的图像转换技术已用于许多领域。本文针对已有的生成对抗网络平面服装生成技术进行了改进,提出了一种基于图像融合的低分辨率平面服装转换方法,并以此为基础进一步提出了一种高分辨率平面服装生成方法。本文具体工作包括:(1)利用基于循环一致及特征损失的生成对抗网络模型生成具有真实纹理的平面服装模板;(2)使用薄板样条采样技术将输入服装与生成的服装模板进行对齐以保留服装细节,并基于图像融合技术将平面服装模板与扭曲服装进行融合,生成与输入图像特征一致的低分辨率平面服装图像;(3)基于超分辨率技术对生成的平面服装进行分辨率提升,并在高分辨率下对生成的平面服装进行进一步地融合,实现服装细节还原。为了验证所提方法的优越性,本文通过网络爬虫技术采集了大量的服装图像数据,构建了服装区域图像与平面化服装图像的样本对数据集,并以此为基础进行了充分地实验验证。实验效果表明,本文方法生成的平面服装保留了原始服装的特征,在真实性及检索性能上均优于现有的服装转译模型。
基于机器学习的图像超分辨率重构方法研究与实现
这是一篇关于超分辨率,机器学习,卷积神经网络,神经网络架构搜索的论文, 主要内容为超分辨率重构技术的目标是将观测到的低分辨率图像重构出原始的高分辨率图像,近几年来,随着计算机硬件技术的不断进步,基于卷积神经网络的超分辨率重构技术也取得了一定的发展,但是现有的超分辨率技术在实际应用中还存在一定的问题。本文从超分辨率重构技术的三个角度出发,分别针对当前超分辨率重构技术存在的相关问题提出了对应的解决方案,具体的主要工作如下:(1)本文提出了一种适用于一般静态图像退化模型下的超分辨率算法SR-GSD。现有的基于卷积神经网络的超分辨率重构方法简化了低分辨率图像的退化模型,仅假设低分辨率图像由高分辨率图像双三次插值降采样而得,这导致它们对实际应用中观测到低分辨率图像很难有较好的重构效果。本方案在更泛化的图像退化模型下,利用DFPN模块的退化因子预测和HRN模块的高清重构网络来生成最终的高分辨率图像,在多组对比实验的PSNR和SSIM指标验证下,证明了SR-GSD算法对更一般低分辨率图像重构效果的优越性。(2)本文提出了一种适用于超分辨率任务的轻量级神经网络架构搜索算法SRNAS。近几年来,研究人员往往采用更深层的卷积神经网络来拟合由低分辨率图像到高分辨率图像间的映射函数,虽然提升了算法的重构性能,但是同时也增加了算法的计算复杂度。本方案将NAS技术应用于图像的超分辨率任务当中,通过精心设计的搜索空间和搜索策略来生成神经网络模型。实验表明,最终搜索出的SRNAS网络模型在保持重构精度几乎不变的前提下,大幅度的降低了算法的计算复杂度和权重参数。(3)本文搭建了简单易用的图像超分辨率修复平台。虽然当前的超分辨率重构技术取得了一定的发展,但是对于普通用户而言,当前的超分辨率重构技术使用门槛过高,用户需要经过大量的知识学习和技术积累才能重构已有的低分辨率图像。为了进一步降低超分辨率重构技术的应用难度,本文基于Flask微服务框架与Pytorch深度学习框架搭建了图像超分辨率修复平台,用户可以根据自己所需选择合适的超分辨率重构技术和缩放尺度进行图像重构。
基于机器学习的图像超分辨率重构方法研究与实现
这是一篇关于超分辨率,机器学习,卷积神经网络,神经网络架构搜索的论文, 主要内容为超分辨率重构技术的目标是将观测到的低分辨率图像重构出原始的高分辨率图像,近几年来,随着计算机硬件技术的不断进步,基于卷积神经网络的超分辨率重构技术也取得了一定的发展,但是现有的超分辨率技术在实际应用中还存在一定的问题。本文从超分辨率重构技术的三个角度出发,分别针对当前超分辨率重构技术存在的相关问题提出了对应的解决方案,具体的主要工作如下:(1)本文提出了一种适用于一般静态图像退化模型下的超分辨率算法SR-GSD。现有的基于卷积神经网络的超分辨率重构方法简化了低分辨率图像的退化模型,仅假设低分辨率图像由高分辨率图像双三次插值降采样而得,这导致它们对实际应用中观测到低分辨率图像很难有较好的重构效果。本方案在更泛化的图像退化模型下,利用DFPN模块的退化因子预测和HRN模块的高清重构网络来生成最终的高分辨率图像,在多组对比实验的PSNR和SSIM指标验证下,证明了SR-GSD算法对更一般低分辨率图像重构效果的优越性。(2)本文提出了一种适用于超分辨率任务的轻量级神经网络架构搜索算法SRNAS。近几年来,研究人员往往采用更深层的卷积神经网络来拟合由低分辨率图像到高分辨率图像间的映射函数,虽然提升了算法的重构性能,但是同时也增加了算法的计算复杂度。本方案将NAS技术应用于图像的超分辨率任务当中,通过精心设计的搜索空间和搜索策略来生成神经网络模型。实验表明,最终搜索出的SRNAS网络模型在保持重构精度几乎不变的前提下,大幅度的降低了算法的计算复杂度和权重参数。(3)本文搭建了简单易用的图像超分辨率修复平台。虽然当前的超分辨率重构技术取得了一定的发展,但是对于普通用户而言,当前的超分辨率重构技术使用门槛过高,用户需要经过大量的知识学习和技术积累才能重构已有的低分辨率图像。为了进一步降低超分辨率重构技术的应用难度,本文基于Flask微服务框架与Pytorch深度学习框架搭建了图像超分辨率修复平台,用户可以根据自己所需选择合适的超分辨率重构技术和缩放尺度进行图像重构。
基于深度学习的人脸图像超分辨率特征重建的研究
这是一篇关于人脸图像,超分辨率,先验信息,扩散模型的论文, 主要内容为超分辨率算法是一种可应用于图像、视频恢复的图像重建算法,其工作是基于低分辨率的输入图像输出高分辨率的图像。人脸图像超分辨率是超分辨率任务的一个分支,图像中有多种不同先验信息存在,如关键位置地标图,热力图和解析图等,然而现有方法对先验信息的运用方式仍有不足之处。因此,本文设计一种基于先验信息的人脸图像超分辨率卷积神经网络以提升重建效果;另一方面,除了生成图像的真实性,图像的观感的优劣度也是评价算法的重要因素。针对这一方面,本文提出扩散模型应用在人脸图像超分辨率的方案。本文的主要工作如下:为减小输出图像的像素损失,提高重建结果的有参考客观评价指标,论文提出基于先验信息的人脸图像超分辨率卷积神经网络(Global Attention Guided Multiscale Network,GAGMN)。该网络包含三个子模块:上采样模块、先验预测模块、图像重建模块。(1)上采样模块,实现分辨率的提升,重建粗超分结果;(2)先验预测模块,基于上采样模块的输出的粗超分结果进行先验信息的预测,用于下一步的融合重建;(3)图像重建模块将前两个模块的输出结果融合,实现最终超分辨率结果的重建。为平衡重建结果的像素损失和观感体验,论文提出基于扩散模型的人脸图像超分辨率网络(Diffusion Module Based Face Image Super-resolution Network,DMBN)。本文将扩散模型网络应用在人脸图像超分辨率任务中,并对模型中最关键的噪声预测网络部分进行设计。针对噪声预测网络的结构,本文设计了一个双流网络进行噪声预测,该网络由Transformer和U-Net两条分支组成。改进的噪声预测网络能根据去噪进程有效的预测噪声。基于预测的噪声结果,扩散模型网络可以通过逐步去噪得到最终的重建结果。本文在公开数据集对两种方法进行验证,同时与其他算法进行实验比较,定量和定性实验结果证明了本文所提出方法的有效性,且两种方法可以应对不同需求场景。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码助手 ,原文地址:https://m.bishedaima.com/lunwen/54148.html