基于生成对抗网络的水下图像增强方法研究

这是一篇关于深度学习,水下图像增强,生成对抗网络,多尺度残差模块,Transformer的论文, 主要内容为由于陆地上可利用的资源储备量有限且呈逐年减少趋势,人类越来越依赖海洋中丰富的资源,尤其是食品和可再生能源。掌握高效开发海洋资源技术的国家,势必会在未来的经济和社会发展中处于领先地位。作为海洋信息的重要载体,水下图像可以直观地反映海底世界的信息,在开发海洋资源和探测水下环境方面扮演着至关重要的角色。由于水下环境的多样性和光在水中受到的散射及选择性吸收作用,采集到的水下图像通常会产生严重的质量退化问题。退化的水下图像限制了其在海洋资源勘探、水下目标检测和海洋考古等实际场景中的应用。因此,设计一种有效的水下图像增强方法,提高人类开发和利用海洋资源的效率有着十分重要的意义。深度学习算法经过了多年的发展和完善,在许多领域都取得了巨大的突破,并且水下图像增强已经成为深度学习中重要的研究领域。用深度学习算法解决水下图像存在的退化问题,不仅可以解决传统方法增强效果差的问题,还能有效减少算法的推理时间。然而,由于复杂和多样的水下场景,目前基于深度学习的水下图像增强方法仍有改进的空间。为有效提高水下图像的视觉质量,本文基于深度学习算法中的生成对抗网络,设计了两个泛化性强、可拓展的水下图像增强模型。本文的主要研究内容如下:(1)为了解决水下图像存在的颜色偏差、清晰度低和亮度低等问题,提出一种基于多尺度残差生成对抗网络的水下图像增强方法。首先需要将训练用到的数据缩放至统一尺寸。然后在生成网络中引入多尺度残差模块,充分利用多尺度融合和残差思想来提高网络性能,克服网络训练过程中的梯度消失和细节损失问题。接着使用频谱归一化方法稳定判别网络的训练。最后,在标准对抗网络损失函数的基础上加入了全局相似性损失函数,以重点关注参考图像的图像特征。实验表明,所提方法相比于对比方法,在评价指标PSNR、SSIM、UCIQE和UIQM上的平均值分别为22.0745、0.7458、0.3825和2.9613,比第二名提升了1.5%、4.6%、1.7%和0.5%。证明了所提方法在校正色偏、提升亮度和清晰度方面均表现良好,能有效改善水下图像的视觉质量。(2)为了解决现有的水下图像增强方法未能同时考虑到水下图像在不同颜色通道和空间区域衰减不一致的问题,提出一种结合Transformer与生成对抗网络的水下图像增强方法。通过生成网络集成的基于空间自注意力机制的全局特征建模Transformer模块和通道级多尺度特征融合Transformer模块,加强了网络对衰减更严重的颜色通道和空间区域的关注。此外,设计了一种结合RGB和LAB颜色空间的多项损失函数,使生成图像的色彩表现更优异。实验表明,所提方法相比于对比方法,在评价指标PSNR、SSIM、UCIQE和UIQM上的平均值分别为24.0546、0.8257、0.4846和3.2963,比第二名提升了8.5%、3.7%、2.4%和3.6%,证明了所提方法在水下图像增强方面能够有效地校正色偏,均匀地提高清晰度,同时提升图像视觉感知效果。

基于深度学习的水下图像增强和水下目标检测技术研究

这是一篇关于深度学习,水下图像增强,改进的生成对抗网络,水下目标检测,改进的Faster R-CNN的论文, 主要内容为近年来,水下目标检测技术发展迅速,在各个领域得到了广泛的应用。图像视觉系统因具有近距离感知且获得图像信息更丰富等优势而弥补了声视觉的不足,成为近年来国内外专家和学者研究水下目标检测的一个重要分支。在水下环境中由于水介质对光线的散射和折射作用、吸收效应以及水下悬浮物等不利因素的影响,会使得获取的图像常呈现细节模糊、对比度低及边缘不清晰等特点,并且现有水下目标检测方法由于受到环境背景因素和水下图像退化的影响,其检测性能也受到限制。针对上述问题,本文重点对基于深度学习的水下图像增强技术及基于深度学习的水下目标检测技术进行深入研究,以解决现有水下图像增强和水下目标检测领域存在的部分问题。本文主要工作如下:首先,对水下图像增强技术和水下目标检测技术的研究背景及意义进行阐述,并对基于传统方法和深度学习方法的水下图像增强技术和水下目标检测技术的国内外研究现状进行深入研究,分析了各种水下图像增强技术和水下目标检测技术的优势和不足。然后,针对水下直接拍摄所获取的图像会存在图像退化问题,提出了一种基于改进的生成对抗网络的水下图像增强方法。该方法将生成网络模块的部分激活函数替换成SeLU激活函数,为特征图提供更为丰富的特征;将特征提取网络替换为RepVGG网络,加快模型在推理时的速度;引入梯度图像L1损失,用于丰富生成图像的边缘信息和结构信息,提高水下退化图像的复原效果。通过实验证明,本文提出的水下图像增强方法复原的水下退化图像,可以达到较高的主观和客观评价标准,峰值信噪比和结构相似性分别达到28.90和0.91,与FUnIE-GAN和Shallow-UWnet相比,峰值信噪比分别提高了26.9%和39.1%,改进后的模型推理速度为14.5毫秒,为改进前模型的48.3%,仅为FFA-Net的6.7%。复原后的图像清晰度与原图相比提升了14.9%。最后,针对水下背景的环境较为复杂的问题,提出了一种基于改进的Faster R-CNN的水下目标检测方法。该方法将特征提取网络替换为ResNet-50网络,消除因为网络层数增加造成的识别精度急剧下降的问题;引入CBAM注意力机制,使模型能够减少背景等因素的干扰,利用有限的计算资源,获得更多有效信息,提高目标检测精度;用CIoU边框损失函数替换原边框损失函数,进一步提升目标检测框的精度。通过实验结果证明,本文提出的基于改进的Faster R-CNN的水下目标检测技术能够更加精准的检测出水下目标,在全国水下机器人大赛数据集上,与Faster R-CNN算法相比,多类别检测精度提升了1.55%,与SSD等算法相比有26%以上的提升;在Trash＿ICRA19数据集上,与Faster R-CNN算法相比,多类别检测精度提升了3.6%。

基于改进U-Net架构的水下图像增强方法研究

这是一篇关于水下图像增强,U-Net架构,卷积神经网络,颜色校正的论文, 主要内容为海洋的开发与国家的经济发展息息相关,清晰的水下图像对于海洋生态系统研究和海洋资源开发具有重要意义。水下图像增强技术可以帮助研究者更清晰地观察和记录海底动植物的分布、生长和繁殖情况,进一步研究海洋生态系统的动态演变和生态链条的形成规律,为保护和管理海洋生态系统提供可靠的数据支持,促进海洋经济的可持续发展。由于复杂的水下成像环境和光的衰减等原因,水下图像会产生如颜色扭曲、细节模糊和对比度低等问题。本文围绕水下图像清晰化问题展开研究,主要包括以下内容:1.基于U-Net架构的多方向卷积水下图像增强方法。针对仅依赖于单一方向上的卷积堆叠可能无法提升水下图像特征的问题,提出多方向卷积水下图像增强的方法。该方法包括多个特征旋转函数和对应的卷积操作,充分获取不同翻转特征图的多方向语义信息;设计联合损失函数,通过融合多个损失函数综合考虑水下图像的多方差异,充分发挥多种损失优势,减少过拟合风险同时提升模型的鲁棒性;在每个采样之后引入注意机制,使模型关注水下图像的显著特征,提高图像对比度和色彩还原度等。实验结果表明:在全测试集的真实水下图像上,本方法与代表性对比方法相比,客观指标均有不同程度的提升,如在全参考指标SSIM上平均提升0.103,在非参考指标UIQM上平均提升0.266。2.基于U-Net架构的多阶段特征融合水下图像增强方法。针对先前的水下图像增强任务网络结构未充分利用多阶段的特征信息,获取全尺度的信息能力不足的问题,提出基于U-Net架构的多阶段特征融合水下图像增强方法。该方法在U-Net架构的基础上设计多阶段特征融合模块,利用多尺度空洞卷积和深度可分离卷积,扩大感受野降低计算量,获取水下图像的多尺度语义信息和精细细节信息;设计外部的中转连接改进跳跃连接,解码器对相应编码器的不同尺度特征图进行融合,提升U-Net架构从全尺度探索足够信息的能力;融合坐标注意机制,它可以获取到水下图像的跨通道信息、方向和位置敏感信息,有助于模型提取相关特征。本文是基于U-Net架构对水下图像增强方法做了进一步优化研究,提出两种不同方法对水下图像进行清晰化。本文方法在去除模糊和偏色、提升亮度和对比度等方面表现良好,为科研工作者探索开发海洋资源提供技术基础,具有广泛的应用前景。

基于深度学习的水下图像增强和水下目标检测技术研究

这是一篇关于深度学习,水下图像增强,改进的生成对抗网络,水下目标检测,改进的Faster R-CNN的论文, 主要内容为近年来,水下目标检测技术发展迅速,在各个领域得到了广泛的应用。图像视觉系统因具有近距离感知且获得图像信息更丰富等优势而弥补了声视觉的不足,成为近年来国内外专家和学者研究水下目标检测的一个重要分支。在水下环境中由于水介质对光线的散射和折射作用、吸收效应以及水下悬浮物等不利因素的影响,会使得获取的图像常呈现细节模糊、对比度低及边缘不清晰等特点,并且现有水下目标检测方法由于受到环境背景因素和水下图像退化的影响,其检测性能也受到限制。针对上述问题,本文重点对基于深度学习的水下图像增强技术及基于深度学习的水下目标检测技术进行深入研究,以解决现有水下图像增强和水下目标检测领域存在的部分问题。本文主要工作如下:首先,对水下图像增强技术和水下目标检测技术的研究背景及意义进行阐述,并对基于传统方法和深度学习方法的水下图像增强技术和水下目标检测技术的国内外研究现状进行深入研究,分析了各种水下图像增强技术和水下目标检测技术的优势和不足。然后,针对水下直接拍摄所获取的图像会存在图像退化问题,提出了一种基于改进的生成对抗网络的水下图像增强方法。该方法将生成网络模块的部分激活函数替换成SeLU激活函数,为特征图提供更为丰富的特征;将特征提取网络替换为RepVGG网络,加快模型在推理时的速度;引入梯度图像L1损失,用于丰富生成图像的边缘信息和结构信息,提高水下退化图像的复原效果。通过实验证明,本文提出的水下图像增强方法复原的水下退化图像,可以达到较高的主观和客观评价标准,峰值信噪比和结构相似性分别达到28.90和0.91,与FUnIE-GAN和Shallow-UWnet相比,峰值信噪比分别提高了26.9%和39.1%,改进后的模型推理速度为14.5毫秒,为改进前模型的48.3%,仅为FFA-Net的6.7%。复原后的图像清晰度与原图相比提升了14.9%。最后,针对水下背景的环境较为复杂的问题,提出了一种基于改进的Faster R-CNN的水下目标检测方法。该方法将特征提取网络替换为ResNet-50网络,消除因为网络层数增加造成的识别精度急剧下降的问题;引入CBAM注意力机制,使模型能够减少背景等因素的干扰,利用有限的计算资源,获得更多有效信息,提高目标检测精度;用CIoU边框损失函数替换原边框损失函数,进一步提升目标检测框的精度。通过实验结果证明,本文提出的基于改进的Faster R-CNN的水下目标检测技术能够更加精准的检测出水下目标,在全国水下机器人大赛数据集上,与Faster R-CNN算法相比,多类别检测精度提升了1.55%,与SSD等算法相比有26%以上的提升;在Trash＿ICRA19数据集上,与Faster R-CNN算法相比,多类别检测精度提升了3.6%。

基于改进U-Net架构的水下图像增强方法研究

这是一篇关于水下图像增强,U-Net架构,卷积神经网络,颜色校正的论文, 主要内容为海洋的开发与国家的经济发展息息相关,清晰的水下图像对于海洋生态系统研究和海洋资源开发具有重要意义。水下图像增强技术可以帮助研究者更清晰地观察和记录海底动植物的分布、生长和繁殖情况,进一步研究海洋生态系统的动态演变和生态链条的形成规律,为保护和管理海洋生态系统提供可靠的数据支持,促进海洋经济的可持续发展。由于复杂的水下成像环境和光的衰减等原因,水下图像会产生如颜色扭曲、细节模糊和对比度低等问题。本文围绕水下图像清晰化问题展开研究,主要包括以下内容:1.基于U-Net架构的多方向卷积水下图像增强方法。针对仅依赖于单一方向上的卷积堆叠可能无法提升水下图像特征的问题,提出多方向卷积水下图像增强的方法。该方法包括多个特征旋转函数和对应的卷积操作,充分获取不同翻转特征图的多方向语义信息;设计联合损失函数,通过融合多个损失函数综合考虑水下图像的多方差异,充分发挥多种损失优势,减少过拟合风险同时提升模型的鲁棒性;在每个采样之后引入注意机制,使模型关注水下图像的显著特征,提高图像对比度和色彩还原度等。实验结果表明:在全测试集的真实水下图像上,本方法与代表性对比方法相比,客观指标均有不同程度的提升,如在全参考指标SSIM上平均提升0.103,在非参考指标UIQM上平均提升0.266。2.基于U-Net架构的多阶段特征融合水下图像增强方法。针对先前的水下图像增强任务网络结构未充分利用多阶段的特征信息,获取全尺度的信息能力不足的问题,提出基于U-Net架构的多阶段特征融合水下图像增强方法。该方法在U-Net架构的基础上设计多阶段特征融合模块,利用多尺度空洞卷积和深度可分离卷积,扩大感受野降低计算量,获取水下图像的多尺度语义信息和精细细节信息;设计外部的中转连接改进跳跃连接,解码器对相应编码器的不同尺度特征图进行融合,提升U-Net架构从全尺度探索足够信息的能力;融合坐标注意机制,它可以获取到水下图像的跨通道信息、方向和位置敏感信息,有助于模型提取相关特征。本文是基于U-Net架构对水下图像增强方法做了进一步优化研究,提出两种不同方法对水下图像进行清晰化。本文方法在去除模糊和偏色、提升亮度和对比度等方面表现良好,为科研工作者探索开发海洋资源提供技术基础,具有广泛的应用前景。

基于改进U-Net架构的水下图像增强方法研究

这是一篇关于水下图像增强,U-Net架构,卷积神经网络,颜色校正的论文, 主要内容为海洋的开发与国家的经济发展息息相关,清晰的水下图像对于海洋生态系统研究和海洋资源开发具有重要意义。水下图像增强技术可以帮助研究者更清晰地观察和记录海底动植物的分布、生长和繁殖情况,进一步研究海洋生态系统的动态演变和生态链条的形成规律,为保护和管理海洋生态系统提供可靠的数据支持,促进海洋经济的可持续发展。由于复杂的水下成像环境和光的衰减等原因,水下图像会产生如颜色扭曲、细节模糊和对比度低等问题。本文围绕水下图像清晰化问题展开研究,主要包括以下内容:1.基于U-Net架构的多方向卷积水下图像增强方法。针对仅依赖于单一方向上的卷积堆叠可能无法提升水下图像特征的问题,提出多方向卷积水下图像增强的方法。该方法包括多个特征旋转函数和对应的卷积操作,充分获取不同翻转特征图的多方向语义信息;设计联合损失函数,通过融合多个损失函数综合考虑水下图像的多方差异,充分发挥多种损失优势,减少过拟合风险同时提升模型的鲁棒性;在每个采样之后引入注意机制,使模型关注水下图像的显著特征,提高图像对比度和色彩还原度等。实验结果表明:在全测试集的真实水下图像上,本方法与代表性对比方法相比,客观指标均有不同程度的提升,如在全参考指标SSIM上平均提升0.103,在非参考指标UIQM上平均提升0.266。2.基于U-Net架构的多阶段特征融合水下图像增强方法。针对先前的水下图像增强任务网络结构未充分利用多阶段的特征信息,获取全尺度的信息能力不足的问题,提出基于U-Net架构的多阶段特征融合水下图像增强方法。该方法在U-Net架构的基础上设计多阶段特征融合模块,利用多尺度空洞卷积和深度可分离卷积,扩大感受野降低计算量,获取水下图像的多尺度语义信息和精细细节信息;设计外部的中转连接改进跳跃连接,解码器对相应编码器的不同尺度特征图进行融合,提升U-Net架构从全尺度探索足够信息的能力;融合坐标注意机制,它可以获取到水下图像的跨通道信息、方向和位置敏感信息,有助于模型提取相关特征。本文是基于U-Net架构对水下图像增强方法做了进一步优化研究,提出两种不同方法对水下图像进行清晰化。本文方法在去除模糊和偏色、提升亮度和对比度等方面表现良好,为科研工作者探索开发海洋资源提供技术基础,具有广泛的应用前景。

基于深度学习的水下图像增强技术研究

这是一篇关于水下图像增强,深度学习,轻量化,多尺度,注意力机制的论文, 主要内容为在探索海洋的过程中,高质量的水下图像可以帮助研究人员更好地分析海洋环境。但由于海洋环境对不同波长光的吸收和散射不同,以及海水中悬浮颗粒和微生物的影响,水下图像往往出现蓝绿色偏、模糊和对比度低等问题。相比传统图像处理方法只适用于特定场景,基于深度学习的方法在水下图像增强领域具有较好的泛化性,其网络类型可以分为卷积神经网络和生成对抗网络。但目前相关的深度学习网络模型存在参数量大,推理速度慢等问题,因此轻量化的水下图像增强模型具有重要研究意义,针对该方向,本文的主要工作如下。首先,针对目前卷积神经网络模型普遍存在参数量大和实时性低等问题,利用轻量化卷积方式实现并行多尺度的水下增强网络,并利用基于缩放点积注意力机制的多尺度融合策略和多级残差模块加强网络特征提取能力,在保证水下图像恢复质量的同时,减少模型参数量,提高网络处理图像的速度。其次,针对生成对抗网络中基于U-Net改进的水下图像增强网络特征提取能力不足的问题,利用融合稠密连接与残差连接的混合模块以加强U-Net瓶颈层的特征提取能力,同时利用混合池化注意力模块以提高U-Net中跳跃连接的特征融合效果。最后,对改进的U-Net网络进行轻量化处理,搭建一种轻量的“U”形双下采样模块,并利用像素重组的方式取代插值上采样过程,减少模型参数量,并验证模型在无监督训练环境下的稳定性。

基于深度学习的水下图像增强与目标检测

这是一篇关于水下图像增强,水下目标检测,CU-RetinexNet,DDA-RetinaNet的论文, 主要内容为水下图像增强与目标检测是人类探索海洋的关键技术,在国内外被广泛应用于水下捕捞、水下勘察等领域。目前,复杂水下环境的图像增强与目标检测技术一直是研究热点。本课题来源于国家重点研发计划项目“船载无人潜水器收放系统”(2018YFC0309100),重点研究恶劣水下环境的图像增强与目标检测技术,主要研究工作如下:水下图像的采集及扩充。搭建水下实验平台,选取水下目标,利用水下实验平台采集目标图像样本,提出一种基于融合Mixup像素特征方法对所采集到的水下图像数据集进行扩充,用于后续水下图像增强和水下目标检测实验的开展。水下图像合成算法研究。针对当前水下-陆地配对式数据集水下场景不够全面的问题,提出一种融合水下成像模型和生成对抗网络的水下图像合成算法;利用陆地图像数据集,生成不同风格的水下图像,组成水下-陆地配对式数据集,用于丰富水下图像增强实验的数据集。基于CU-Retinex Net的水下图像增强算法研究。在分析常用的水下图像增强方法的基础上,针对基于深度学习算法Retinex Net无法全面解决水下图像对比度差、细节不清晰以及图像色偏等问题,提出一种基于改进Retinex Net的水下图像增强算法CU-Retinex Net。该算法通过结合数据驱动的卷积神经网络(Convolutional Neural Network,CNN)将原始图像分解为光照和反射分量图像,对光照分量图像采用融合残差块的U-Net网络来自适应的提升图像亮度和对比度,保留图像的细节信息,最后将去噪处理过的反射分量图像与光照分量图像进行逐元素相乘,最终获得高质量的水下增强图像。通过实验结果的主客观数据证明该算法可以有效提升图像亮度、对比度、图像边缘细节以及恢复图像色彩真实度。基于DDA-RetinaNet的水下目标检测算法研究。在分析常用的深度学习目标检测方法的基础上,针对当前常用的目标检测算法在水下目标检测中检测速度和检测精度上无法做到均衡,提出一种基于改进RetinaNet的水下目标检测算法DDA-RetinaNet。该算法融合可学习分组卷积的Dense Net结构,提高对特征的提取能力;利用Dual-FPN提升网络对相互重叠水下目标的检测能力;利用基于Anchor Free的方法提升对水下小目标的检测能力,同时减少了模型参数的调节。通过实验结果的主客观数据证明该算法可以有效增强对水下目标检测的鲁棒性,在保证检测精度的同时又能满足实时检测的要求。

基于深度学习的水下图像增强与目标检测

这是一篇关于水下图像增强,水下目标检测,CU-RetinexNet,DDA-RetinaNet的论文, 主要内容为水下图像增强与目标检测是人类探索海洋的关键技术,在国内外被广泛应用于水下捕捞、水下勘察等领域。目前,复杂水下环境的图像增强与目标检测技术一直是研究热点。本课题来源于国家重点研发计划项目“船载无人潜水器收放系统”(2018YFC0309100),重点研究恶劣水下环境的图像增强与目标检测技术,主要研究工作如下:水下图像的采集及扩充。搭建水下实验平台,选取水下目标,利用水下实验平台采集目标图像样本,提出一种基于融合Mixup像素特征方法对所采集到的水下图像数据集进行扩充,用于后续水下图像增强和水下目标检测实验的开展。水下图像合成算法研究。针对当前水下-陆地配对式数据集水下场景不够全面的问题,提出一种融合水下成像模型和生成对抗网络的水下图像合成算法;利用陆地图像数据集,生成不同风格的水下图像,组成水下-陆地配对式数据集,用于丰富水下图像增强实验的数据集。基于CU-Retinex Net的水下图像增强算法研究。在分析常用的水下图像增强方法的基础上,针对基于深度学习算法Retinex Net无法全面解决水下图像对比度差、细节不清晰以及图像色偏等问题,提出一种基于改进Retinex Net的水下图像增强算法CU-Retinex Net。该算法通过结合数据驱动的卷积神经网络(Convolutional Neural Network,CNN)将原始图像分解为光照和反射分量图像,对光照分量图像采用融合残差块的U-Net网络来自适应的提升图像亮度和对比度,保留图像的细节信息,最后将去噪处理过的反射分量图像与光照分量图像进行逐元素相乘,最终获得高质量的水下增强图像。通过实验结果的主客观数据证明该算法可以有效提升图像亮度、对比度、图像边缘细节以及恢复图像色彩真实度。基于DDA-RetinaNet的水下目标检测算法研究。在分析常用的深度学习目标检测方法的基础上,针对当前常用的目标检测算法在水下目标检测中检测速度和检测精度上无法做到均衡,提出一种基于改进RetinaNet的水下目标检测算法DDA-RetinaNet。该算法融合可学习分组卷积的Dense Net结构,提高对特征的提取能力;利用Dual-FPN提升网络对相互重叠水下目标的检测能力;利用基于Anchor Free的方法提升对水下小目标的检测能力,同时减少了模型参数的调节。通过实验结果的主客观数据证明该算法可以有效增强对水下目标检测的鲁棒性,在保证检测精度的同时又能满足实时检测的要求。