卷积稀疏编码理论及图像重建
这是一篇关于卷积稀疏编码,多层卷积稀疏编码,收敛定理,块坐标下降算法,迭代收缩阈值算法,图像去噪,磁共振图像重建的论文, 主要内容为卷积稀疏编码已广泛应用于信号和图像处理、图像重建和去噪等任务中,传统的卷积稀疏编码都是基于傅里叶域在图像块上进行局部操作,忽略了图像的局部特征。为了弥补基于图像块的卷积稀疏编码的局限性,基于切片的卷积稀疏编码被提出。本文将基于切片的局部处理思想与基于深度学习思想结合起来,对卷积稀疏编码模型进行了更深入的研究。首先,受基于切片局部处理思想和多层卷积稀疏编码的启发,本文研究了一种新的多层卷积稀疏编码模型:基于切片的多层卷积稀疏编码。在此基础上,研究了一种新的多层基追踪算法:基于切片的多层快速迭代收缩阈值算法。其次,局部块坐标下降算法是解决基于切片的卷积稀疏编码的基追踪问题的有效方法,但目前还没有对局部块坐标下降算法的收敛性进行证明,本文给出了局部块坐标下降算法的收敛定理,并对其进行了理论性证明。在基于切片多层卷积稀疏编码和局部块坐标下降算法的基础上,研究了另外一种新的多层基追踪算法:基于切片的多层局部块坐标下降算法(ML-LoBCoD)。并给出ML-LoBCoD算法的收敛性定理及证明。再次,在卷积稀疏编码网络(CSCNet)去噪模型的基础上,研究了两种新的基于学习快速迭代收缩阈值算法的卷积稀疏编码网络(CSCNet-LFISTA)。通过梯度映射的最坏情况界,采用边界优化近端梯度方法的阶跃系数来导出新的LFISTA算法。新的CSCNet方法不但保持了原始CSCNet方法的计算简单性,并且具有全局收敛速度,本文在理论和实践上分别证明了新的CSCNet方法优于原始CSCNet方法。最后,本文将残差结构与卷积稀疏编码网络相结合,研究了一种用于压缩感知磁共振成像的新型深度学习模型,称为近似残差卷积稀疏编码网络(ARCSC-net)。本文研究的ARCSC网络在伪径向采样模式下进行了测试。分别用不同的方法在脑数据和膝盖数据上实现磁共振图像重建,实验表明所提出的ARCSC网络在视觉和定量上均优于其他最新技术。
基于连续雨强先验和循环一致性的单幅图像去雨
这是一篇关于单幅图像去雨,卷积稀疏编码,连续雨强估计,循环一致性,半监督学习的论文, 主要内容为图像去雨旨在去除含雨图像中的雨线并恢复干净的背景,在室外监控、自动驾驶等领域具有重要应用价值。近些年,以神经网络为核心的深度学习技术大大促进了图像去雨的发展。目前大多数去雨算法通过设计优秀的去雨网络,在合成雨图中取得了显著的效果,但是当应用于真实场景时,仍存在一些问题:(1)忽略雨水的先验信息,导致算法对不同类型的雨线鲁棒性较差;(2)缺少对应的真值参考图像,导致真实雨图的去雨结果主要依赖于定性分析,无法进行定量评估;(3)网络训练基于合成数据,导致去雨网络在真实场景中泛化性较差。本文将针对上述问题给出解决方案,并通过实验验证其有效性和优越性。研究内容与贡献总结如下:(1)针对“降雨先验”问题,考虑到真实场景中降雨状态的连续性,本文提出一个连续雨强引导的图像去雨网络(CODE-Net):(i)在传统卷积稀疏编码中引入权重参数,用于调整稀疏表达的稀疏度并同时反映雨强信息;(ii)加权CSC的求解则借助于Deep Unfolding技术,即将传统的迭代过程展开为有限的神经层并端到端训练整个网络。此外,考虑到拍摄距离不同,雨线具有多尺度外观,本文又采用多尺度字典对雨线进行稀疏分解并提出多尺度CODE-Net(mCODE-Net)。相比于现有的深度学习方法,本文所提网络推导于传统的稀疏模型并且整合了连续雨强先验,因此具有更好的可解释性和鲁棒性。(2)针对“结果评估”问题,基于加权卷积稀疏编码模型及其可学习权重,通过分析权重参数与雨强大小的关系,本文提出一个简单有效的雨强估计方法(RDE),RDE可以对输入图像的降雨程度进行连续状态的量化估计,换言之,RDE可以定量反映去雨结果的干净程度。不同于常用的定量评估方法(PSNR、SSIM等),RDE无需标签图像,可直接定量评估去雨效果。(3)针对“泛化性”问题,本文在监督模型基础上,将大量真实雨图引入训练过程,提出基于循环一致性的半监督去雨框架,该框架允许网络使用合成数据学习去雨以降低训练难度,同时借助未标记的真实数据来提高泛化性。具体而言,由于真实雨线与合成雨线存在相似性,循环一致性可以在稀疏空间对两种模态数据进行分布对齐,迫使网络学习公共特征,避免网络过于学习合成雨线的特定分布,提高网络在真实场景的泛化性。(4)实验部分验证了连续雨强估计的有效性,可以隐式地考虑雨强先验和评估无标签图像的去雨结果,而且验证了此模块有助于提升其他去雨算法的去雨性能。而后又将本文算法与当前主流去雨算法进行对比,在大量真实与合成数据上验证了本文算法的有效性和优越性,定量与定性结果均有明显提升。此外,还验证了本文算法有助于其他图像复原和目标检测任务。
基于连续雨强先验和循环一致性的单幅图像去雨
这是一篇关于单幅图像去雨,卷积稀疏编码,连续雨强估计,循环一致性,半监督学习的论文, 主要内容为图像去雨旨在去除含雨图像中的雨线并恢复干净的背景,在室外监控、自动驾驶等领域具有重要应用价值。近些年,以神经网络为核心的深度学习技术大大促进了图像去雨的发展。目前大多数去雨算法通过设计优秀的去雨网络,在合成雨图中取得了显著的效果,但是当应用于真实场景时,仍存在一些问题:(1)忽略雨水的先验信息,导致算法对不同类型的雨线鲁棒性较差;(2)缺少对应的真值参考图像,导致真实雨图的去雨结果主要依赖于定性分析,无法进行定量评估;(3)网络训练基于合成数据,导致去雨网络在真实场景中泛化性较差。本文将针对上述问题给出解决方案,并通过实验验证其有效性和优越性。研究内容与贡献总结如下:(1)针对“降雨先验”问题,考虑到真实场景中降雨状态的连续性,本文提出一个连续雨强引导的图像去雨网络(CODE-Net):(i)在传统卷积稀疏编码中引入权重参数,用于调整稀疏表达的稀疏度并同时反映雨强信息;(ii)加权CSC的求解则借助于Deep Unfolding技术,即将传统的迭代过程展开为有限的神经层并端到端训练整个网络。此外,考虑到拍摄距离不同,雨线具有多尺度外观,本文又采用多尺度字典对雨线进行稀疏分解并提出多尺度CODE-Net(mCODE-Net)。相比于现有的深度学习方法,本文所提网络推导于传统的稀疏模型并且整合了连续雨强先验,因此具有更好的可解释性和鲁棒性。(2)针对“结果评估”问题,基于加权卷积稀疏编码模型及其可学习权重,通过分析权重参数与雨强大小的关系,本文提出一个简单有效的雨强估计方法(RDE),RDE可以对输入图像的降雨程度进行连续状态的量化估计,换言之,RDE可以定量反映去雨结果的干净程度。不同于常用的定量评估方法(PSNR、SSIM等),RDE无需标签图像,可直接定量评估去雨效果。(3)针对“泛化性”问题,本文在监督模型基础上,将大量真实雨图引入训练过程,提出基于循环一致性的半监督去雨框架,该框架允许网络使用合成数据学习去雨以降低训练难度,同时借助未标记的真实数据来提高泛化性。具体而言,由于真实雨线与合成雨线存在相似性,循环一致性可以在稀疏空间对两种模态数据进行分布对齐,迫使网络学习公共特征,避免网络过于学习合成雨线的特定分布,提高网络在真实场景的泛化性。(4)实验部分验证了连续雨强估计的有效性,可以隐式地考虑雨强先验和评估无标签图像的去雨结果,而且验证了此模块有助于提升其他去雨算法的去雨性能。而后又将本文算法与当前主流去雨算法进行对比,在大量真实与合成数据上验证了本文算法的有效性和优越性,定量与定性结果均有明显提升。此外,还验证了本文算法有助于其他图像复原和目标检测任务。
基于卷积稀疏编码模型的音频分类和声音事件检测
这是一篇关于音频分类,声音事件检测,声音去噪,卷积稀疏编码,弱监督学习的论文, 主要内容为音频信号处理在家庭活动识别、监控系统等领域变得越来越重要。目前大部分音频信号处理问题都使用深度学习方法。深度学习方法中最常用的网络就是卷积神经网络(Convolutional Neural Network,CNN)。卷积神经网络有可解释性不强、池化层容易丢失目标对象位置信息的缺点。为了避免这些缺点,该文提出使用卷积稀疏编码模型用于音频信号处理问题。卷积稀疏编码专注于构建信号的稀疏和移位不变表示,可解释性更强,而且模型参数数量更少。首先,提出了用于音频分类问题的多层迭代软阈值网络(Multi-layer Iterative Soft Thresholding Network,ML-ISTA-NET)。为了捕获音频事件的时间上下文信息,在ML-ISTA-NET基础上加入了双向门控循环单元(Bidirectional Gate Recurrent Unit,Bi-GRU),提出了MLISTA-GRU网络。为了关注音频事件中重要的帧,在MLISTA-GRU网络基础上进一步加入了注意力机制(Attention mechanism),提出了MLISTA-GRU-Att网络。实验结果表明,ML-ISTA-NET网络、MLISTA-GRU网络和MLISTA-GRU-Att网络的音频分类性能均优于基线系统。其次,为了解决声音事件检测任务中的弱监督学习问题,提出了基于多层局部块坐标下降网络(Multi-layer Local Block Coordinate Descent,ML-LoBCoD-NET)的MRNN-Att网络;为了充分利用CNN和ML-LoBCoD-NET网络提取的特征,进而提出了MCRNN-Att网络用于声音事件检测任务。为了解决声音事件检测任务中的半监督学习问题,提出了基于MRNN-Att网络和MCRNN-Att网络的平均教师模型。实验结果表明,提出的四种方法的声音事件检测性能都要优于基线系统。最后,提出了用于Log＿Mel频谱图去噪的CSCNet-LFISTA网络。CSCNet-LFISTA网络是基于可学习快速迭代软阈值算法(Learned Fast Iterative Soft Thresholding Algorithm,LFISTA)展开的网络。为了提高训练和测试样本之间的数据拟合差异问题,提出了基于LFISTAm算法的CSCNet-LFISTAm网络。实验结果表明,CSCNet-FISTA和CSCNet-FISTAm网络的去噪性能均优于BM3D模型,而且与CSCNet网络相比收敛速度更快,其中CSCNet-LFISTAm网络具有最快的收敛速度。
融合深度卷积神经网络与压缩感知的图像恢复研究
这是一篇关于压缩感知,深度卷积神经网络,卷积测量,图像恢复,卷积稀疏编码的论文, 主要内容为随着信息产业和技术的蓬勃发展,我们每天都要处理海量的图片和视频数据。如何在有限的硬件资源上实现对这些海量的高维数据进行传输、储存和计算等成为目前亟需解决的问题。压缩感知(Compressed Sensing,CS)作为一种新型的数据采样技术,能够以远低于奈奎斯特采样频率的测量来重建出高质量的原始图像。CS理论在图像恢复的应用中,测量矩阵的设计和重构算法性能的提升是两个主要的挑战。具体地,1.当图像尺寸增大时,对应的测量矩阵维度大幅增加,在实际应用中不得不采用分块测量的方法,这样会导致恢复图像中存在块伪影。2.基于深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的恢复算法不断在压缩感知重建阶段中被提出并取得了较好的恢复成果。然而这种基于数据驱动的设计没有考虑自然图像的先验知识。本文基于压缩感知理论框架研究了如何通过改进测量矩阵去除重建图像中的块伪影,并且在恢复阶段设计卷积神经网络的结构时考虑了图像的稀疏先验。主要内容如下:1.对深度卷积神经网络和压缩感知的基础理论进行了阐述,叙述了稀疏表示模型中多层卷积稀疏编码(Multi-Layered Convolutional Sparse Coding,ML-CSC)与深度卷积神经网络的联系。2.提出了全新的卷积测量(Convolutional Measurement,CM)方法,CM方法不仅降低了测量矩阵的计算和存储成本,而且利用硬件实现。解决了现有的测量矩阵由于图像尺寸增大时,分块测量导致恢复图像中存在难以消除的块伪影这一问题。此外,我们还给出了卷积测量的分解过程,并证明了其展开到托普利茨型矩阵时是满足有限等距性质(Restricted Isometry Property,RIP条件)的,给出了CM方法的理论保证。3.以多层阈值投影算法重构图像的原理设计了恢复阶段DCNN的结构,实现了算法和深度学习的融合,克服了以往基于卷积神经网络的恢复设计缺乏理论支持的不足。将该恢复算法与卷积测量方法结合,提出了基于卷积测量和卷积神经网络的压缩感知框架(Convolutional Measurement Compressed Sensing using deep convolution neural network,CMCS-net)。通过所提方法与多种优秀的压缩感知方法在不同测量率下的对比实验表明,所提方法不仅在速度上有所提升,在不同的质量评价指标下都有很大的提升,在低测量率下也可以消除块伪影。具体地,相比于最近提出的基于深度学习的DR2-Net模型,CMCS-net重建图像的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural SIMilarity,SSIM)指标在不同测量率下均实现了11.20%–17.09%(2–3d B)和10.57%–34.81%(0.0891–0.1958)的提升。此外,CMCS-net的平均重建时间相较于DR2-Net缩短了4倍。4.提出了基于学习的卷积测量,即完全基于卷积神经网络的压缩感知框架(Compressed Sensing using Fully deep Convolutional Neural Network,FCNN-CS)。使得测量矩阵不再是独立于数据的设计,采用数据自适应的测量方法能够在相同测量率下保留更多的信息,提高了重构图像质量。在训练阶段,将卷积测量过程和基于卷积神经网络的恢复过程联合优化。在应用阶段,测量网络作为编码器产生CS测量值,重建网络作为解码器进行图像重建。随后用大量的数值实验对比结果验证了我们所提完全基于卷积神经网络的压缩感知模型的有效性和先进性。具体地,相比于最近提出的完全基于深度学习的CSNet模型,FCNN-CS重建图像的PSNR和SSIM指标在不同测量率下均实现了1.06%–3.17%和1.06%–7.08%的提升。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设导航 ，原文地址：https://m.bishedaima.com/lunwen/54426.html
