基于Transformer的高分辨率遥感影像变化检测研究
这是一篇关于遥感影像,变化检测,深度学习,Transformer,自注意力机制的论文, 主要内容为遥感影像变化检测是指利用同一地表观测区域的不同时期已配准的遥感数据,结合检测实体的特性以及遥感成像机理,采用图像处理技术,分析检测区域中地物的位置、范围、类别等变化状态。多年以来,变化检测受到科研人员的广泛关注,一直是遥感领域重要的研究课题之一。目前,变化检测已广泛应用于自然资源调查、城市扩展监测、农业生产、环境评估等领域。传统变化检测方法需要较多人工干预,且检测效果不佳,无法应对遥感大数据。如何准确、高效且自动地进行变化检测成为目前研究的重点。近年来,由于具有强大特征表达能力和非线性建模能力,深度学习技术为从事遥感影像变化检测研究工作的专业人员提供了新思路。本文利用深度学习技术开展变化检测方法的研究,具体内容如下:(1)由于卷积操作无法建立特征空间中远距离依赖关系,导致卷积神经网络感受野受限。为此,本文提出了一种基于多尺度Transformer的变化检测网络MSTrans Net。Transformer结构中的多头自注意力机制具有全局感受野,能对特征空间中远距离信息建立联系。为有效顾及不同尺度的检测实体以及不规则几何结构,进一步引入多尺度模块以弥补网络缺失的多尺度信息。同时,为增强局部信息表达能力,在前馈神经网络中引入深度可分离卷积。实验结果表明,设计的MSTrans Net在定量定性的表现均优于对比模型,其中LEVIR-CD数据集的定量结果达到了92.13%(Precision)、89.72%(Recall)、90.91%(F1-score)、83.34%(Io U)和99.09%(OA),CDD数据集的定量结果达到了96.71%(Precision)、96.27%(Recall)、96.49%(F1-score)、93.21%(Io U)和99.17%(OA)。通过消融实验验证了各模块的有效性。然而,大量多尺度Transformer模块的堆叠造成MSTrans Net运算效率较低。(2)为保持高精度变化检测的同时提高网络的运算效率,结合卷积神经网络和Transformer结构,提出了一种基于金字塔语义Token的Transformer变化检测网络PTTrans Net。该网络采用无最大池化层的Res Net18提取分层特征以保留高分辨率特征中的边缘等细粒度信息,并且该网络将特征由一些语义Token表示,以缩短序列长度,提高Transformer结构的运算效率。为使语义Token具有多尺度表示,采用空间金字塔池化生成多尺度特征,通过矩阵展平和拼接操作生成金字塔语义Token。同时,引入卷积注意力模块和深度监督策略以增强语义Token的特征表示能力。为了使语义Token学习到多层次语义信息以增强对易混淆信息的抗干扰能力,将四个层次的语义Token拼接形成超序列,在Transformer编码器中进行多层语义信息交互,利用具有丰富信息的语义Token计算原始特征空间的远距离依赖。最后通过逐层上采样和逐元素相加集成多层次特征,并生成最终的变化检测结果。实验结果表明,PT-Trans Net在公共数据集的表现均优于对比模型,并且相关网络结构均有效提升了网络的检测效果。其中,LEVIR-CD数据集的定量结果达到了92.48%(Precision)、91.06%(Recall)、91.76%(F1-score)、84.78%(Io U)和99.17%(OA),WHU-CD数据集的定量结果达到了94.38%(Precision)、93.05%(Recall)、93.71%(F1-score)、88.17%(Io U)和99.52%(OA)。通过模型精度,参数量和运算效率分析可知,PT-Trans Net较好地实现了精度和运算效率的平衡。
基于Transformer的高分辨率遥感影像变化检测研究
这是一篇关于遥感影像,变化检测,深度学习,Transformer,自注意力机制的论文, 主要内容为遥感影像变化检测是指利用同一地表观测区域的不同时期已配准的遥感数据,结合检测实体的特性以及遥感成像机理,采用图像处理技术,分析检测区域中地物的位置、范围、类别等变化状态。多年以来,变化检测受到科研人员的广泛关注,一直是遥感领域重要的研究课题之一。目前,变化检测已广泛应用于自然资源调查、城市扩展监测、农业生产、环境评估等领域。传统变化检测方法需要较多人工干预,且检测效果不佳,无法应对遥感大数据。如何准确、高效且自动地进行变化检测成为目前研究的重点。近年来,由于具有强大特征表达能力和非线性建模能力,深度学习技术为从事遥感影像变化检测研究工作的专业人员提供了新思路。本文利用深度学习技术开展变化检测方法的研究,具体内容如下:(1)由于卷积操作无法建立特征空间中远距离依赖关系,导致卷积神经网络感受野受限。为此,本文提出了一种基于多尺度Transformer的变化检测网络MSTrans Net。Transformer结构中的多头自注意力机制具有全局感受野,能对特征空间中远距离信息建立联系。为有效顾及不同尺度的检测实体以及不规则几何结构,进一步引入多尺度模块以弥补网络缺失的多尺度信息。同时,为增强局部信息表达能力,在前馈神经网络中引入深度可分离卷积。实验结果表明,设计的MSTrans Net在定量定性的表现均优于对比模型,其中LEVIR-CD数据集的定量结果达到了92.13%(Precision)、89.72%(Recall)、90.91%(F1-score)、83.34%(Io U)和99.09%(OA),CDD数据集的定量结果达到了96.71%(Precision)、96.27%(Recall)、96.49%(F1-score)、93.21%(Io U)和99.17%(OA)。通过消融实验验证了各模块的有效性。然而,大量多尺度Transformer模块的堆叠造成MSTrans Net运算效率较低。(2)为保持高精度变化检测的同时提高网络的运算效率,结合卷积神经网络和Transformer结构,提出了一种基于金字塔语义Token的Transformer变化检测网络PTTrans Net。该网络采用无最大池化层的Res Net18提取分层特征以保留高分辨率特征中的边缘等细粒度信息,并且该网络将特征由一些语义Token表示,以缩短序列长度,提高Transformer结构的运算效率。为使语义Token具有多尺度表示,采用空间金字塔池化生成多尺度特征,通过矩阵展平和拼接操作生成金字塔语义Token。同时,引入卷积注意力模块和深度监督策略以增强语义Token的特征表示能力。为了使语义Token学习到多层次语义信息以增强对易混淆信息的抗干扰能力,将四个层次的语义Token拼接形成超序列,在Transformer编码器中进行多层语义信息交互,利用具有丰富信息的语义Token计算原始特征空间的远距离依赖。最后通过逐层上采样和逐元素相加集成多层次特征,并生成最终的变化检测结果。实验结果表明,PT-Trans Net在公共数据集的表现均优于对比模型,并且相关网络结构均有效提升了网络的检测效果。其中,LEVIR-CD数据集的定量结果达到了92.48%(Precision)、91.06%(Recall)、91.76%(F1-score)、84.78%(Io U)和99.17%(OA),WHU-CD数据集的定量结果达到了94.38%(Precision)、93.05%(Recall)、93.71%(F1-score)、88.17%(Io U)和99.52%(OA)。通过模型精度,参数量和运算效率分析可知,PT-Trans Net较好地实现了精度和运算效率的平衡。
基于孪生网络的高分辨率遥感影像建筑物变化检测研究
这是一篇关于孪生网络,变化检测,高分辨率遥感影像,多尺度特征提取,Transformer的论文, 主要内容为随着航空航天遥感技术的持续发展,遥感影像的空间分辨率在不断提高的同时影像数据的获取也变得更加容易,高分辨率遥感影像由于其具有丰富的地物纹理信息、更复杂的形状信息,逐渐成为了遥感研究的首选数据源。建筑物是衡量一个地区城市化发展的主要标志,快速准确地识别建筑物变化对城市违章建筑物管理、城市化扩张和灾害分析起到至关重要的作用。利用高分辨率遥感影像对建筑物变化区域进行识别是当前遥感影像变化检测研究的重要分支之一。与其他类型的变化检测不同,建筑物拥有不同的形状、高度、材质和颜色,当使用传统的变化检测方法对高分辨率影像中的建筑物进行识别时容易出现“椒盐噪声”现象。同时由于太阳高度角、光照、云层遮挡、大气以及传感器自身因素会导致影像出现伪变化给传统的方法带来了一定的挑战。近年来,计算机软硬件在不断更新换代,以深度学习为代表的人工智能技术兴起,在遥感影像处理领域大放光彩,因此,本文使用深度学习技术研究高分辨率遥感影像建筑物变化检测问题。具体研究如下:(1)基于卷积神经网络的建筑物变化检测方法。本文构建了一种基于卷积运算的孪生神经网络用于高分辨率遥感影像建筑物变化检测,通过孪生子网络分别提取前后双时相影像的深层特征,在提取特征的过程中使用短路连接加深浅层与深层之间的联系,避免梯度消失现象,在解码器深层使用空洞卷积组成的多尺度特征提取机制提取深层特征不同尺度下的特征并融合,解码过程中使用一种学习型上采样方法来恢复影像特征,在输出的过程中使用深度监督策略融合不同层之间的输出。(2)基于Transformer的建筑物变化检测方法。考虑到卷积运算无法顾及影像周边像元之间的关系、无法建立长距离建模,本文构建一种基于Transformer的孪生网络。孪生子网络通过Transformer的多头注意力来提取影像特征,考虑到多头注意力的运算虽然能在全局方面提取影像特征,但是在局部细粒度特征提取方面存在不足,因此,在Transformer结构之后会使用空洞卷积组成的卷积操作进行局部特征增强,Transformer和卷积操作互补,可以获取影像的全局和局部特征,在解码过程中,会使用跳跃连接机制同时连接Transformer和卷积所提取的特征。(3)使用LEVIR-CD数据集和WHU建筑物数据集分别进行对比实验和消融实验,将本文所提网络与FC-EF、Seg Net、FC-Siam-Diff、FC-Siam-Conv、UNet++＿MSOF、IFN、SNUNet和BIT等先进的模型进行实验。结果表明本文的网络相比同类型的网络在建筑物变化检测任务中有良好的性能。孪生卷积网络在两个数据集上的F1分数均值达到了87.85%,孪生Transformer网络在两个数据集上的F1分数达到了91.05%,两个网络均高于对比实验网络,同时可视化结果中错检和漏检区域也最少。
基于注意力机制与孪生结构的高分辨率遥感影像变化检测
这是一篇关于变化检测,深度学习,高分辨率遥感影像,孪生神经网络,注意力机制的论文, 主要内容为遥感影像变化检测在很多领域具有极高的应用价值,如土地覆盖变化、城市发展变化研究、环境监测以及灾害评估等。随着近年来人工智能(Artificial Intelligence,AI)领域相关理论技术的不断进步,有关深度学习的方法逐渐应用到变化检测中。深度学习技术具有卓越的特征提取和表达能力,能够充分挖掘遥感影像的深层特征信息,相对于受到人为设计特征限制的传统变化检测方法而言,利用深度学习算法,可以更好地表达图像中复杂的地表情况,从而得到更准确的变化检测结果。但是,随着高空间分辨率影像的发展,面对空间特征信息丰富、地物目标多样化尺度特征和大量的遥感影像数据量时,目前的深度学习方法又存在一定的不足。本文分析了现有深度学习模型方法中的不足,研究了网络模型优化手段,从地物多尺度特征方面入手,构建了两种以注意力机制和孪生结构为基础的变化检测模型。本文的主要研究内容与结论如下:(1)高分辨率遥感影像数据集制作。本文利用云南滇中地区昆明市和曲靖市内部分区域高分二号遥感影像数据进行数据集的制作,主要内容包括数据获取以及预处理、影像融合、配准、样本裁剪和变化信息标注,在这个过程中,变化信息的标注通常只关注地物的出现和消失,而忽略了其他因素(例如季节变化、光照变化等)造成的变化。(2)基于多尺度融合注意力机制的变化检测模型。提出了一种结合多尺度注意力机制和孪生网络的高分辨率遥感影像变化检测模型(Multi-scale Attention Siamese Network,MASNet),它可以解决遥感影像变化检测中不同尺度地物漏检和区域检测不完整等问题。该模型以孪生结构的Res Net-50网络提取不同时相图像的特征,然后将注意力模块作用于不同尺度的特征图,以生成多尺度的特征表示,并通过改进的对比损失函数加强变化特征的学习,改善不变样本与变化样本间类别不均衡问题,提高了变化检测精度,在自制数据集上取得了较好的效果。与对比实验中的六个公开模型结果相比,MASNet在自制数据集上F1分数和召回率R上相比于其他变化检测模型分别至少提高了2.92%和4.52%。(3)基于多尺度特征Transformer的变化检测模型。针对深度学习网络语义信息提取不充分,高阶多尺度特征细节丢失以及影像差异信息不突出等问题,在MASNet模型框架基础上,考虑深度学习模型参数冗余、数据量大、增强模型鲁棒性等问题,将特征提取模块由Res Net-50更换为Res Net-18,在保证特征提取效果的同时大大减少了特征提取阶段模型的参数量;将注意力模块中的位置-通道注意力更换为以Transformer为基础的注意力模块,提出了一种基于孪生结构和多尺度特征Transformer的高分辨率遥感影像变化检测模型(Multi-scale Feature Transformer Siamese Network,MFTSNet)。该模型设计了语义Transformer模块捕获不同层级特征图的语义信息,同时引入Grounding Transformer模块和Rendering Transformer模块加强低层和高层语义信息的获取,补充高阶多尺度特征细节信息以及不同空间位置和通道间的全局上下文关系,进一步提升变化检测精度和优化检测结果的地物完整性、区域内部以及边缘细节。实验分析阶段利用MASNet与其他先进的变化检测模型在四个公开数据集上与MFTSNet进行对比,并通过大量的对比实验、消融实验、参数分析等手段验证了MFTSNet的有效性。实验结果表明,与对比实验中的七个公开模型结果相比,MFTSNet在四个公开数据集上F1指标和交并比Io U上相比于其他变化检测模型分别提高了至少2.55%、0.113%、0.369%、4.216%和3.164%、0.188%、0.494%、6.202%。
基于语义分割网络的葡萄种植区分割与变化检测方法研究
这是一篇关于深度学习,语义分割,变化检测,多光谱影像,葡萄种植区的论文, 主要内容为精准获取葡萄种植区空间分布信息和时间变化信息对其精细化规划管理与优质基地建设具有重要意义。通常大区域种植区分割和变化检测主要基于遥感影像完成,但葡萄种植区空间位置的分散性和背景环境的复杂性,使得分割和变化检测方法的精度不高。随着深度学习的发展,构建能够自动提取图像特征的语义分割网络,为实现葡萄种植区的高精度分割和变化检测目标提供了有效途径。近年来,在图像处理领域提出了许多分割和变化检测模型,然而这些针对自然图像的方法对遥感影像多波段和地物类型尺度大小不一的特征关注较少。鉴于此,本文全面探究了葡萄种植区的特点,并构建了波段信息增强的葡萄种植区分割模型和多尺度信息融合的葡萄种植区变化检测模型,提高对葡萄种植区空间分布信息和时间变化信息的检测精度。最后开发了面向葡萄种植区的分割与变化检测系统以促进相关领域的研究。论文的主要工作如下:(1)基于波段信息增强的葡萄种植区分割方法。针对遥感图像中地物类型比较复杂,且部分地物与葡萄种植区纹理较为相似,造成分割精度低的问题。本研究基于Deep Labv3+网络改进输入通道数使其能够接受更多的光谱信息,同时通过构建波段信息增强模块,利用各波段特征图之间的相关性生成综合特征,提出了波段信息增强的葡萄种植区分割方法(BIE-Deep Labv3+)。在2016和2019年高分二号影像葡萄种植区数据集上训练网络,在2020年影像上测试其性能,结果表明,改进模型输出结果的平均像素精度、平均交并比和频权交并比分别为98.58%、90.27%和97.34%,在深度学习Deep Labv3+模型的基础上分别提高了0.38、2.01和0.63个百分点。BIE-Deep Labv3+模型在拥有更大的感受野和捕获多尺度信息特征的同时放大了地物间的差异,能够解决影像中葡萄种植区存在类间纹理相似性、背景和环境复杂等问题,在减少模型参数的同时预测出的葡萄种植区更加完整,且边缘识别效果良好,为较大区域内背景复杂的遥感图像葡萄种植区分割提供了有效方法。(2)基于多尺度信息融合的葡萄种植区变化检测方法。针对分类后变化检测会造成误差积累,以及深度学习模型的高层特征图中对于小尺寸地物的表征能力下降的问题。本研究将Resne Xt作为编码器,将Deep Lab V3+作为解码器,构建孪生神经网络变化检测模型。在组合网络的基础上,编码器使用空洞卷积进行下采样,减少池化操作导致的图像特征损失,并将其最后一层普通卷积更换为空洞卷积以增加模型的感受野。通过在特征图进入解码器Deep Lab V3+前添加注意力机制,克服空间和通道两个方向上信息融合时的异质性问题,同时融合网络中的高低层信息以充分考虑不同尺度的特征信息。在2016、2019和2020年高分二号影像葡萄种植区变化检测数据集上的评估结果表明,本研究所构建的ADM-Resne Xt-Deep Lab V3+对葡萄种植区变化检测结果的平均像素精度、平均交并比和频权交并比分别为98.89%、83.99%和97.93%,比基础模型分别提高0.13、2.07和0.26个百分点。此外,模型识别出的变化区域边缘和内部都较为完整,有效改善了错检和漏检问题,模型具有一定的泛化性能,为分布分散、面积不一的葡萄种植区变化检测方法提供了良好思路。(3)面向葡萄种植区的分割与变化检测系统。结合葡萄种植区分割和变化检测在相关研究中的应用需求,采用客户端免维护的B/S系统架构,基于Spring Boot和Vue框架编码实现了系统的Server和Web端。系统能够为用户提供分割和变化检测模型相关信息,实现上传影像中葡萄种植区的分割和变化检测功能,经过系统测试,其满足既定的业务需求,能为用户提供了高效灵活的交互体验。基于上述内容,得到了能够获取葡萄种植区空间位置信息和时间变化信息的方案。并实现了分割与变化检测系统,为背景复杂影像中葡萄种植区信息提取提供方法支撑。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://m.bishedaima.com/lunwen/47802.html
