被动非视域图像复原方法研究
这是一篇关于非视域成像,图像复原,双向反射分布函数,Uformer的论文, 主要内容为近年来,随着视觉成像设备和图像复原算法的发展,非视域成像成为了新兴的研究领域。当前国内外已经有越来越多的研究工作者投入到非视域成像领域的研究中,该技术在无人驾驶、反恐行动、抗灾救援、服务型机器人等领域有着广泛的使用前景。然而在当前的相关研究中,非视域成像方法中缺乏提高成像质量的手段。为了解决上述的问题,本文围绕被动非视域图像复原方法进行研究。其主要研究内容如下:(1)针对非视域光传输过程中产生的图像退化问题,采用了被动非视域可见光图像复原算法。探究了被动非视域成像相较于主动非视域成像的优势,并介绍了包含遮挡物的被动非视域成像实验环境。根据实验环境条件并结合图像复原理论和非视域光传输原理,构造了离散化的非视域图像退化函数。最后搭建了被动非视域可见光成像场景来开展图像复原基础实验,并获得相应结果。(2)针对被动非视域可见光图像复原结果中存在的高频噪声和低对比度问题,提出了一种基于双向反射分布函数模型的非视域可见光图像复原算法。将原有退化函数未考虑的镜面反射部分通过双向反射分布模型进行建模,设计了相应的非视域可见光图像复原方法,并开展相应实验。实验结果表明,使用基于双向反射分布模型的复原算法与原有算法相比能获得更好的成像效果,并消除了部分高频噪声块,提高了相关的图像复原指标。此外,针对不同镜面反射占比和不同双向反射分布模型相关参数进行敏感性分析,得到非视域图像复原参数的影响规律。(3)针对当前非视域红外图像复原方法难以应对目标与环境温差不明显的情况,提出了基于MS-SSIM+L1损失的Uformer非视域红外图像复原算法。搭建了非视域红外图像复原实验场景,并制作了含有15种数字和字母图案共计1200张红外图像的数据集用于开展相应实验。实验结果表明,Uformer在直观上能实现比U-net更好的非视域红外图像复原结果,其各项图像复原参数指标均优于U-net。通过消融实验,分析得到了Uformer中各部分核心组件对模型计算力和图像复原质量的影响规律。此外,提出了用MS-SSIM+L1组合损失函数来替代原有的损失函数,实验结果表明所提方法能降低训练损失,进一步改善非视域红外图像复原的直观效果,且显著提升了各项图像复原参数指标。
被动非视域图像复原方法研究
这是一篇关于非视域成像,图像复原,双向反射分布函数,Uformer的论文, 主要内容为近年来,随着视觉成像设备和图像复原算法的发展,非视域成像成为了新兴的研究领域。当前国内外已经有越来越多的研究工作者投入到非视域成像领域的研究中,该技术在无人驾驶、反恐行动、抗灾救援、服务型机器人等领域有着广泛的使用前景。然而在当前的相关研究中,非视域成像方法中缺乏提高成像质量的手段。为了解决上述的问题,本文围绕被动非视域图像复原方法进行研究。其主要研究内容如下:(1)针对非视域光传输过程中产生的图像退化问题,采用了被动非视域可见光图像复原算法。探究了被动非视域成像相较于主动非视域成像的优势,并介绍了包含遮挡物的被动非视域成像实验环境。根据实验环境条件并结合图像复原理论和非视域光传输原理,构造了离散化的非视域图像退化函数。最后搭建了被动非视域可见光成像场景来开展图像复原基础实验,并获得相应结果。(2)针对被动非视域可见光图像复原结果中存在的高频噪声和低对比度问题,提出了一种基于双向反射分布函数模型的非视域可见光图像复原算法。将原有退化函数未考虑的镜面反射部分通过双向反射分布模型进行建模,设计了相应的非视域可见光图像复原方法,并开展相应实验。实验结果表明,使用基于双向反射分布模型的复原算法与原有算法相比能获得更好的成像效果,并消除了部分高频噪声块,提高了相关的图像复原指标。此外,针对不同镜面反射占比和不同双向反射分布模型相关参数进行敏感性分析,得到非视域图像复原参数的影响规律。(3)针对当前非视域红外图像复原方法难以应对目标与环境温差不明显的情况,提出了基于MS-SSIM+L1损失的Uformer非视域红外图像复原算法。搭建了非视域红外图像复原实验场景,并制作了含有15种数字和字母图案共计1200张红外图像的数据集用于开展相应实验。实验结果表明,Uformer在直观上能实现比U-net更好的非视域红外图像复原结果,其各项图像复原参数指标均优于U-net。通过消融实验,分析得到了Uformer中各部分核心组件对模型计算力和图像复原质量的影响规律。此外,提出了用MS-SSIM+L1组合损失函数来替代原有的损失函数,实验结果表明所提方法能降低训练损失,进一步改善非视域红外图像复原的直观效果,且显著提升了各项图像复原参数指标。
基于深度神经网络的图像复原研究
这是一篇关于深度学习,图像复原,多尺度信息,特征融合,Transformer的论文, 主要内容为随着深度神经网络的出现与发展,图像复原领域的研究进程得到巨大推动力,催生出了许多基于深度学习的图像复原算法,并很快取得了远超传统方法的性能表现。其中,针对图像去噪任务和图像超分辨率任务的研究最为火热。然而,两者的已有研究仍然存在一些问题,如前者普遍基于高斯白噪声训练,在应对复杂多变的真实噪声上的泛化性能较差,而后者的先进模型耗费资源较多,计算成本较高,不利于将研究成果投入至工业界应用。因此,本文利用深度学习技术,重点研究更具实际应用价值的真实去噪任务和轻量级超分辨率任务,分别提出了行之有效的复原算法,对比现有算法,在客观指标和主观效果上均有所提升。本文主要贡献包含以下三个方面:(1)针对图像去噪任务,提出了一种基于多尺度Transformer的真实去噪算法,可以有效去除真实噪声,复原更多图像细节。模型结构设计主要有以下三方面优化:首先,采用了基于窗口的局部增强Transformer作为提取特征模块,不仅可以利用Transformer架构在捕获远距离依赖上的优越性,也可引入更多的局部上下文信息。其次,引入了多尺度残差模块,以构建并行的多尺度流,使得模型既能从高分辨率特征中获取空间信息,又能从低分辨率特征中捕获丰富语义,同时忽略原始分辨率尺度,显著降低了模型计算量。最后,在多尺度残差模块中引入了多尺度特征融合层,加强了尺度间信息交互,从而提升了习得特征的丰富程度。在真实噪声数据集SIDD和DND上的测试结果表示,本文算法取得了与对比算法相当的主客观质量,但模型计算量减少了 90%以上。(2)针对图像超分辨率任务,提出了一种基于多尺度Transformer的轻量级超分辨率算法,以进一步探究多尺度Transformer架构在图像复原领域的泛化性。该算法模型是在本文去噪模型的基础上进行了优化设计,主要有以下两方面改进:首先,采用了上下分流的多尺度残差模块,大幅缩减模型的中间特征维数,并且得益于多尺度架构的有效性,使得模型在保持性能表现的同时,显著降低模型参数量。其次,调整了多尺度特征融合层的特征融合方式,引入了能够自适应地组合尺度特征的选择核模块,不仅降低了参数量,还提高了性能表现。实验部分表明,本文算法在多个基准数据集上的客观指标和主观效果都优于对比的轻量级算法,也显示出多尺度Transformer架构在图像复原领域的较大潜力。(3)为验证与评估本文提出的两种算法模型的实际效果,设计并实现了一个基于B/S架构的图像复原系统。该系统提供了三种功能模块,包括真实去噪、超分辨率和真实去噪&超分辨率,以满足不同使用需求。系统客户端采用前沿开发框架,使用者可通过浏览器便捷地上传退化图像,然后选择所需的处理方式即可获得处理结果,并可下载复原图像。系统服务端主要负责解析来自客户端的各种请求,从而对上传图像执行相应预处理逻辑,以及调用对应的深度学习模型。该系统整体设计轻巧,用户体验良好,模块间耦合程度低,系统功能易于拓展,具有一定实用价值。
基于波前编码的多尺度成像系统MTF一致性分析研究
这是一篇关于多尺度成像系统,波前编码,调制传递函数,光学设计,图像复原的论文, 主要内容为多尺度光学成像系统突破了传统光学设计的局限性,将大尺度成像系统的全视场信息获取能力与小尺度成像系统的强像差矫正能力相结合,实现大视场高分辨率成像。其中,相比于共心球透镜,采用类双高斯系统作为成像主物镜能有效增大成像焦距,更能满足日益增长的成像需求,但类双高斯系统的非旋转对称性导致多尺度成像系统存在中心视场与边缘视场成像退化不一致的问题。因而需要针对不同视场成像退化程度设计不同结构的小尺度相机,这无疑增加了设计和加工难度。针对以上问题,本文将计算方法与光学系统设计相结合,研究基于波前编码的多尺度成像系统MTF一致性,即利用相位编码元件对入射光波进行相位调制,调制成像光线轨迹分布,使不同视场输出一致的MTF曲线,利用解码算法进行图像反演恢复得到一致的清晰图像,最终达到多尺度系统不同视场成像质量一致。主要研究内容如下:第一,对多尺度成像系统在信息获取以及信息传递方面的优势进行分析研究。通过理论推导论证了相位编码元件对相位信息的调制以及对成像光线轨迹分布的影响。同时以光学系统点扩散函数为基础,研究分析了相位编码元件对光学几何像差的矫正理论。第二,针对现有相位编码元件优化方法的不足,建立基于成像视场MTF一致性的相位编码元件优化模型,考虑在Zemax光学软件中同时优化相位编码元件的参数与其它光学元件变量,由各光学元件与相位编码元件共同承担编码与像差矫正的任务,增加了设计变量,降低了设计难度。通过分析编码系统的图像解码理论,选取维纳滤波作为解码算法进行信息复原。此外,对分别引入三次相位编码元件与混合型相位编码元件的三片式光学系统不同成像视场MTF曲线进行了优化设计,仿真结果验证了该方法的适用性及有效性,并选择编码性能更优的混合型相位编码元件作为最终设计的相位编码元件面型。第三,针对成像需求,完成多尺度成像系统中心单通道结构的设计,并利用多重结构模块仿真小尺度相机阵列排布,同时由光线追迹得到不同视场成像质量评价图,验证以类双高斯为主成像物镜的多尺度成像系统在不同视场的成像不一致性。此外,在该系统光阑位置引入混合型相位编码元件进行优化设计,利用维纳滤波算法对编码图像进行解码得到清晰的复原图像,从仿真图像及其图像质量评价指标数值对比可知,相位编码元件的引入使该系统在不同视场输出图像质量一致性提高,即多尺度成像系统在大视场范围内可使用同一结构的小尺度相机,有效降低了设计和加工难度。
基于深度神经网络的图像复原研究
这是一篇关于深度学习,图像复原,多尺度信息,特征融合,Transformer的论文, 主要内容为随着深度神经网络的出现与发展,图像复原领域的研究进程得到巨大推动力,催生出了许多基于深度学习的图像复原算法,并很快取得了远超传统方法的性能表现。其中,针对图像去噪任务和图像超分辨率任务的研究最为火热。然而,两者的已有研究仍然存在一些问题,如前者普遍基于高斯白噪声训练,在应对复杂多变的真实噪声上的泛化性能较差,而后者的先进模型耗费资源较多,计算成本较高,不利于将研究成果投入至工业界应用。因此,本文利用深度学习技术,重点研究更具实际应用价值的真实去噪任务和轻量级超分辨率任务,分别提出了行之有效的复原算法,对比现有算法,在客观指标和主观效果上均有所提升。本文主要贡献包含以下三个方面:(1)针对图像去噪任务,提出了一种基于多尺度Transformer的真实去噪算法,可以有效去除真实噪声,复原更多图像细节。模型结构设计主要有以下三方面优化:首先,采用了基于窗口的局部增强Transformer作为提取特征模块,不仅可以利用Transformer架构在捕获远距离依赖上的优越性,也可引入更多的局部上下文信息。其次,引入了多尺度残差模块,以构建并行的多尺度流,使得模型既能从高分辨率特征中获取空间信息,又能从低分辨率特征中捕获丰富语义,同时忽略原始分辨率尺度,显著降低了模型计算量。最后,在多尺度残差模块中引入了多尺度特征融合层,加强了尺度间信息交互,从而提升了习得特征的丰富程度。在真实噪声数据集SIDD和DND上的测试结果表示,本文算法取得了与对比算法相当的主客观质量,但模型计算量减少了 90%以上。(2)针对图像超分辨率任务,提出了一种基于多尺度Transformer的轻量级超分辨率算法,以进一步探究多尺度Transformer架构在图像复原领域的泛化性。该算法模型是在本文去噪模型的基础上进行了优化设计,主要有以下两方面改进:首先,采用了上下分流的多尺度残差模块,大幅缩减模型的中间特征维数,并且得益于多尺度架构的有效性,使得模型在保持性能表现的同时,显著降低模型参数量。其次,调整了多尺度特征融合层的特征融合方式,引入了能够自适应地组合尺度特征的选择核模块,不仅降低了参数量,还提高了性能表现。实验部分表明,本文算法在多个基准数据集上的客观指标和主观效果都优于对比的轻量级算法,也显示出多尺度Transformer架构在图像复原领域的较大潜力。(3)为验证与评估本文提出的两种算法模型的实际效果,设计并实现了一个基于B/S架构的图像复原系统。该系统提供了三种功能模块,包括真实去噪、超分辨率和真实去噪&超分辨率,以满足不同使用需求。系统客户端采用前沿开发框架,使用者可通过浏览器便捷地上传退化图像,然后选择所需的处理方式即可获得处理结果,并可下载复原图像。系统服务端主要负责解析来自客户端的各种请求,从而对上传图像执行相应预处理逻辑,以及调用对应的深度学习模型。该系统整体设计轻巧,用户体验良好,模块间耦合程度低,系统功能易于拓展,具有一定实用价值。
基于忆阻卷积神经网络的图像复原方法研究及应用
这是一篇关于图像复原,卷积神经网络,注意力机制,忆阻器,忆阻神经网络的论文, 主要内容为随着人工智能技术的快速发展,计算机视觉已经被广泛应用于人们生产和生活的各个领域,例如智能交通监控、军事侦察、自动驾驶、医疗卫生等。计算机视觉系统要求输入清晰干净的图像数据。然而,面对雨天、雾霾、照明不良等常见天气环境,户外相机和监控设备采集到的图像数据严重损害了视觉效果,出现背景模糊、细节丢失、亮度不足等问题,这些降质图像大大降低了计算机视觉系统的性能。因此,研究图像复原方法,让机器“看”得更清楚,具有重要意义和实际应用价值。传统的图像复原方法依靠预先设定的先验知识和约束条件来建立和优化模型。这些基于先验的方法通常会在其他干净区域执行复原操作,导致这些区域过渡平滑。另外,这些预定义的模型泛化能力有限导致复原结果细节恢复欠佳。同时,由于大量的参数需要被优化,传统的图像复原算法通常非常耗时。随着深度神经网络技术的快速发展,依靠深度学习的图像复原方法正在逐步取代传统的方法。深度学习的方法通过神经网络在降质图像与真实背景之间建立复杂的映射来完成图像复原任务。相较于传统的图像复原方法,深度学习的方法依靠强大的特征提取能力获得了更好的图像复原效果。然而,这些方法大都是针对某一项具体的任务而设计的,且它们拥有大量的参数量和运算量,不利于硬件实现,导致其难以部署到计算资源有限的端侧智能系统上。由于忆阻器具有纳米级尺寸、非易失性存储、可编程性、互补金属氧化物半导体(Complementary Metal Oxid Semiconductor,CMOS)兼容等各种理想特性,越来越多的学者研究将忆阻器应用于深度神经网络的硬件实现。但是,现有的神经网络硬件实现电路大多是基于通用框架设计的,基于忆阻神经形态计算架构的多任务图像复原系统的研究尚不完善。针对以上问题,本文将忆阻器和卷积神经网络结合,研究基于卷积神经网络的图像复原方法,以忆阻器为基础运算器件构建网络的全电路实现方案,主要创新工作如下:(1)针对大多数现有的图像去雨方法在雨条纹去除与图像背景细节恢复之间难以平衡的问题,提出一种基于双路径卷积神经网络(Dual Path Convolutional Network,DPCN)的图像去雨方法。DPCN通过多个双路径单元完成雨条纹的定位、提取和分离。首先,考虑到雨条纹大小、密度和形状分布的不规则性,采用像素级注意力机制来精准定位雨条纹的位置。同时,对于这些分布在不同区域的雨条纹,提出一种多尺度聚合方法来提取和融合不同尺度的特征。此外,对于一些纹理细节与雨条纹相似的背景,引入自校正操作,通过自适应地在每个空间位置构建远程空间和内部通道之间的依赖关系,将雨条纹与这些背景细节分离开。通过双路径拓扑结构巧妙地组合多个双路径单元,DPCN获得了更加接近真实背景的去雨结果,并在很大程度上去除了雨条纹。在真实数据集和合成数据集上的综合实验评估表明,DPCN可以有效地去除各种类型的雨条纹,同时恢复真实背景的纹理细节。(2)针对现有的图像复原方法大都只适用于单项复原任务且不利于端侧部署的问题,本文提出一种基于全局自注意力忆阻卷积神经网络的图像复原方法(Global Self-Attention Memristive Convolutional Neural Network,GSA-MCNN),并给出了基于忆阻器的GSA-MCNN的电路设计实现方案。GSA-MCNN能够同时提取图像的全局和局部信息,并具有全卷积特性,灵活适用于不同分辨率的图像。首先,设计了两个全局注意力模块来完成全局关系的建模和推理:全局空间注意力模块用于建模特征图像素之间的全局空间关系,全局通道注意力模块用来探索跨通道的全局关系。此外,为了处理具有复杂纹理细节的图像区域,还设计了一个多尺度局部信息提取模块。最后,提供了这三个模块的全电路实现方案,采用模块化设计完成整个GSA-MCNN的电路设计。得益于忆阻器交叉阵列的可编程性,通过调整配置参数,实现在同一个电路模板上完成三种图像复原任务:图像去雨、低照度增强与图像去雾。在十个公开数据集上,与超过二十种先进方法进行实验对比,结果表明所提出的GSA-MCNN在色彩还原、纹理细节保真度等方面具有优越性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工厂 ，原文地址：https://m.bishedaima.com/lunwen/48593.html
