基于深度学习的面部图像修复算法研究
这是一篇关于生成式对抗网络,面部图像修复,U-Net,DMF模块,扩张卷积的论文, 主要内容为面部图像修复是计算机视觉领域的一个重要研究课题。传统的图像修复方法主要基于图像本身的内容信息,将图像中完好部分的信息向缺失部分进行渗透补全或填充,修复结果常常存在边界痕迹明显、细节缺少、结构不符,以及修复内容模糊等问题,而对于复杂的面部图像重建更是差强人意。随着技术的发展,深度学习逐渐成为计算机视觉领域的一个研究基础,促使面部图像修复技术得到了巨大的进步,尤其当生成式对抗网络被提出时,基于其自身强大的学习能力,面部图像修复效果取得了实质性的进展。但是,由于人脸的复杂性、多样性和真实性,目前面部图像修复技术仍然面临许多待解决的问题和挑战,如:修复区域模糊、皮肤颜色差异、面部结构不合理,以及器官特征不一致等。在本文中,以生成式对抗网络模型为基础,通过改进其生成器网络和判别器网络来解决以上问题,主要工作内容如下:(1)生成式对抗网络模型的改进。对生成器进行改进。选择U-Net网络作为生成器的基础网络结构,其独特的结构特征和强大的特征提取能力可以较好的提取图像信息。同时,在U-Net网络模型中引入扩张卷积和DMF模块,二者相辅相成,在扩大模型感受野的同时,控制模型的参数变化,提升模型的学习能力。对判别器进行改进。判别器选择全局判别器,对生成图像的整体进行监督,保证图像整体结构的合理性,提高模型的判别质量,并对其判别过程进行改进,使得判别器的理论与实际保持一致。最后,选择Mish激活函数代替网络中原有的激活函数。(2)数据集的制作。为了提高模型的修复效果,本文选取了FFHQ数据集和Celeb A数据集所构成的共6000张真实面部图像,由于两个数据集图像的尺寸大小不同,采用Photoshop将图像尺寸统一剪裁成256*256像素。制作128*128像素的随机遮挡掩码,将其与数据集合并,生成本文所需要的缺失图像数据集。(3)损失函数的优化。本文使用均方误差、VGG特征匹配损失、判别器特征匹配损失和对抗损失的联合损失作为模型的损失函数。经过实验验证,本文所提出的模型准确率大致为35%,并且通过定性分析和定量分析,将本文所提出的方法与两种经典的面部图像修复方法进行对比,结论如下。首先,进行定性分析,表明本方法在整体结构的合理性和上下文内容的一致性上均有一定的优势。然后,进行定量分析,结果表明本文所提出的方法在峰值信噪比、结构相似性、图像感知相似度指标和均方误差等四个评价指标上均有不错的提升。
基于深度学习的新视图合成关键技术研究
这是一篇关于新视图合成,注意力机制,扩张卷积,语义信息,上下文信息,图像增强的论文, 主要内容为新视图合成是计算机视觉和图形学中的一个重要问题,旨在从单个或多个视图中提取有用的信息,并将其转换为一个新的视图的过程。人们可以很容易地对不同的角度的场景或物体产生想象,然而,对于计算机视觉系统来说,这仍然是一项具有挑战性的任务。一方面,计算机视觉系统需要对图像进行全面理解,即理解图像的3D结构及语义信息。另一方面,视图之间的映射需要依赖于场景的3D几何和视图之间的位姿。在完成这两方面的过程中,视图之间的信息传播造成细节信息的丢失,视野受限或者遮挡造成的空洞问题亟需解决。因此,如何提升新视图合成模型的性能是本文的主要研究目标。(1)针对图像传统编解码过程中存在的信息丢失,使得新视图合成过程存在边缘模糊的现象的问题,本文设计一种基于自编码器的单目图像新视图合成网络模型(AENVS)。首先,该模型采用了扩张卷积和注意力机制结合的特征提取模块对图像编码器进行改进,多个特征提取块的联合使用以层次递进的方式进行特征增强,并且对输入图像增大感受野的同时,捕获了全局的上下文信息,其中注意力机制的引用可以对图像编码器提取的中间特征进行筛选和优化,以获取更有价值的特征信息,有助于神经网络捕获精准细致的结构信息,从而有效提升了图像编码器的性能。其次,该模型将空间注意力上采样模块(SAU)引入解码器中,通过关注从图像编码器传递来的特征图中的重要信息,提高了像素之间的联系,从而更好的提取远距离的图像内容,并有效的处理了源视图和目标视图之间像素位置的变化。最后,在Shape Net与Kitti数据集上对模型进行训练和测试,并与该领域的基线方法进行对比,对比实验验证了模型具有较好的性能,消融实验验证了特征提取模块的有效性。(2)针对图像本身存在自遮挡现象或者深度信息映射错误时,不能充分利用源视图中的有效特征信息,导致新视图内容产生缺失的问题,本文设计基于上下文信息的二阶段新视图合成优化网络模型(TS-NVS),第一阶段粗新视图合成网络首先对图像进行一个初步的预测以稳定训练过程,同时为第二阶段精新视图合成网络提供图像结构的先验信息。第二阶段精新视图合成网络是基于UNet的新视图优化网络,首先,基于图像内部不同部分之间的语义联系,引入语义信息提取模块,计算相邻特征块之间的相似性和不同语义特征之间的重要程度,来实现对特征图中的局部结构信息、纹理信息、颜色信息等语义信息的提取。其次,基于图像中不同部分之间的关系和联系,引入上下文信息融合模块,使用残差连接及扩张卷积的思想,来提取上下文信息,实现对图像整体的学习。然后,利用多尺度重建损失与语义约束损失的双重损失进一步优化网络的性能。最后,在Shape Net与Kitti数据集上对模型进行训练和测试,并该领域基线方法进行对比,验证了模型的性能。(3)针对本文设计的AE-NVS与TS-NVS模型合成的新视图因低光照造成模糊的现象,提出了一种低光照图像增强算法,将RGB灰度图像进行曝光处理,将处理后的曝光值作为权重与源图像进行融合,得到具有较高的质量和清晰度的图像,该技术可以增强图像的细节和纹理,使其更加适合于人眼观察。(4)基于本文的模型和算法,设计了一套新视图合成可视化系统,来验证本文所设计的新视图合成模型的有效性。该系统采用B/S架构的设计方式,实现了新视图合成的示范应用。首先,本系统使用本文提出的新视图合成模型合成了新视图,并对新视图合成的过程进行可视化展示。其次,利用本文提出低光照图像增强算法对视图进行增强,并对新视图合成的过程进行了可视化展示。
基于自注意力和扩张卷积的会话推荐模型研究
这是一篇关于会话推荐,时间感知,扩张卷积,门控循环单元,自注意力机制的论文, 主要内容为在快速发展的信息时代和数字化经济中,推荐系统帮助用户在海量的数据中筛选出感兴趣的内容,进而辅助决策。会话推荐是推荐系统的一个重要分支,在没有用户信息的情况下,旨在通过一段连续时间内的交互进而预测用户的后续行为。通过对传统以及深度学习会话推荐模型的研究,发现目前大多数模型只考虑会话内部或者会话之间的交互行为,而忽略了上下文信息给推荐带来的影响,同时对于会话内部的邻域信息以及会话之间存在特征提取不充分、代表性不足的问题。据此展开相关的研究,提出了基于自注意力和扩张卷积的时间感知会话推荐模型,主要工作内容如下:(1)考虑到时间间隔感知给用户的偏好带来影响以及会话内提取特征不充分的问题,在时间间隔会话推荐模型中融入扩张卷积,提出了融合扩张卷积的时间感知会话推荐方法。通过时间间隔获取更丰富的上下文信息和用户的个性化行为,同时利用扩张卷积捕获会话内长距离的用户短期交互行为,提高模型的推荐性能。在两个数据集中的实验表明,这种改进方法能够有效提升模型的推荐精确度。(2)为了更好地捕获不同会话中的项目之间的复杂转换关系和更具代表性的项目特征,进一步融入堆叠的自注意力模块,提出了融合自注意力的扩张卷积时间感知会话推荐方法,用以学习更具代表性的用户长期行为偏好。与此同时,由于网络层数的加深会增加模型的复杂度,进而导致模型过拟合问题的出现,为此,对每个自注意力层和前馈神经网络进行残差连接,提高模型的泛化能力。通过对比实验以及消融实验,验证了这种改进方法的有效性和必要性。(3)将本文提出的改进方法应用于新闻推荐系统,并进行相应的软件设计与开发。通过实际运行和功能测试,表明该应用系统可以稳定运行,同时也证明了本文提出的推荐方法具有一定的实用性。
基于深度学习的面部图像修复算法研究
这是一篇关于生成式对抗网络,面部图像修复,U-Net,DMF模块,扩张卷积的论文, 主要内容为面部图像修复是计算机视觉领域的一个重要研究课题。传统的图像修复方法主要基于图像本身的内容信息,将图像中完好部分的信息向缺失部分进行渗透补全或填充,修复结果常常存在边界痕迹明显、细节缺少、结构不符,以及修复内容模糊等问题,而对于复杂的面部图像重建更是差强人意。随着技术的发展,深度学习逐渐成为计算机视觉领域的一个研究基础,促使面部图像修复技术得到了巨大的进步,尤其当生成式对抗网络被提出时,基于其自身强大的学习能力,面部图像修复效果取得了实质性的进展。但是,由于人脸的复杂性、多样性和真实性,目前面部图像修复技术仍然面临许多待解决的问题和挑战,如:修复区域模糊、皮肤颜色差异、面部结构不合理,以及器官特征不一致等。在本文中,以生成式对抗网络模型为基础,通过改进其生成器网络和判别器网络来解决以上问题,主要工作内容如下:(1)生成式对抗网络模型的改进。对生成器进行改进。选择U-Net网络作为生成器的基础网络结构,其独特的结构特征和强大的特征提取能力可以较好的提取图像信息。同时,在U-Net网络模型中引入扩张卷积和DMF模块,二者相辅相成,在扩大模型感受野的同时,控制模型的参数变化,提升模型的学习能力。对判别器进行改进。判别器选择全局判别器,对生成图像的整体进行监督,保证图像整体结构的合理性,提高模型的判别质量,并对其判别过程进行改进,使得判别器的理论与实际保持一致。最后,选择Mish激活函数代替网络中原有的激活函数。(2)数据集的制作。为了提高模型的修复效果,本文选取了FFHQ数据集和Celeb A数据集所构成的共6000张真实面部图像,由于两个数据集图像的尺寸大小不同,采用Photoshop将图像尺寸统一剪裁成256*256像素。制作128*128像素的随机遮挡掩码,将其与数据集合并,生成本文所需要的缺失图像数据集。(3)损失函数的优化。本文使用均方误差、VGG特征匹配损失、判别器特征匹配损失和对抗损失的联合损失作为模型的损失函数。经过实验验证,本文所提出的模型准确率大致为35%,并且通过定性分析和定量分析,将本文所提出的方法与两种经典的面部图像修复方法进行对比,结论如下。首先,进行定性分析,表明本方法在整体结构的合理性和上下文内容的一致性上均有一定的优势。然后,进行定量分析,结果表明本文所提出的方法在峰值信噪比、结构相似性、图像感知相似度指标和均方误差等四个评价指标上均有不错的提升。
运动降质图像复原方法研究
这是一篇关于运动降质图像复原,深度学习,图像质量评价指标,扩张卷积,最小均方误差滤波的论文, 主要内容为图像作为信息的重要载体,保证其完整性和可读性是尤其重要的,因此从低质量的图像中复原出高质量的图像已成为亟待解决的问题,有极其重要的研究意义和应用前景。本文针对图像复原任务,主要研究了运动降质图像复原算法,针对传统基于最小均方误差滤波复原运动降质图像产生振铃效应的缺点,提出采用增加一个与待复原的运动降质图像大小相同窗函数的改进方法;同时,研究了基于U-Net的图像复原方法,针对该方法连续池化造成信息丢失问题,提出一种基于平滑扩张残差块的多阶段逐步复原的运动降质图像去模糊网络算法。具体研究内容如下:(1)针对传统方法的最小均方误差滤波法复原图像所产生的振铃现象,提出了改进的最小均方误差滤波法。首先对传统最小均方误差算法进行详细的理论分析并进行仿真,然后对其复原结果优化,针对最小均方误差滤波法产生的图像边界像素值突变所引起的振铃效应加入了最优窗算法。仿真结果表明,本文提出的改进算法减缓模糊图像边界像素值的变化,计算量较小,有效地抑制了振铃效应,提高了图像的恢复质量。但基于最小均方误差滤波复原图像的方法只能得到一个全局最优的平均值,而不能获得图像中每个像素复原结果的最优值,这种情况在存在局部运动降质区域或一幅图像中存在多种运动模糊类型时表现的更加突出。为此,研究了基于深度学习的运动降质图像复原方法。(2)针对深度学习方法提出了一种多阶段逐步复原的运动降质图像去模糊网络算法。首先,针对U-Net网络连续池化会造成信息丢失的问题,提出采用平滑扩张残差块替代传统U-Net网络中的下采样池化操作,既增大了感受野,又消除了扩张卷积所带来的网格伪影问题。其次,引入了通道注意力机制(CAB)来增强特征图之间的关联性,并对特征进行筛选,最大限度保留重要信息,从而达到提高复原图像效果的作用。仿真结果表明该算法的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码导航 ，原文地址：https://m.bishedaima.com/lunwen/54347.html
