基于可见光与红外遥感图像联合的目标与地物提取方法研究

这是一篇关于可见光与红外遥感图像,深度学习,舰船检测,地物分类,特征提取的论文, 主要内容为目标与地物提取是光学遥感图像解译的重要任务,在民用与军事领域发挥巨大作用。随着天基光学遥感技术的不断发展,光学成像谱段从可见光向红外不断拓展,可见光与红外复合成像技术已成为天基光学遥感重要发展方向,极大方便了可见光与红外遥感图像的同时获取。可见光与红外遥感图像具有很强的互补性,联合应用两种图像进行目标与地物提取已成为遥感图像解译重要研究方向。对于目标提取而言,舰船目标是重点关注的一类目标,现有深度学习舰船目标检测算法主要基于可见光遥感图像开展研究,在云雾干扰等复杂场景下会出现大量错检、漏检;对于地物提取而言,建筑物、道路、水体和植被是重点关注的几类地物要素,由于不同种类地物要素之间的空间外观差异较小,现有基于可见光遥感图像的深度学习地物分类算法精度不高。针对以上问题,本文提出了基于可见光与红外遥感图像联合的舰船目标检测VI-YOLO算法和地物分类VI-YOLO-seg算法,在构建的可见光与红外遥感图像联合舰船目标检测数据集上,VI-YOLO算法平均精度达0.976,有效缓解了复杂场景下出现的错检和漏检;在构建的可见光与红外遥感图像联合地物分类数据集上,VI-YOLO-seg算法平均交并比达0.612,性能优于经典地物分类算法,验证了可见光与红外遥感图像的互补性以及算法的有效性。本文的主要研究工作概括如下:第一,针对现有公开数据集难以满足可见光与红外遥感图像联合应用研究的问题,构建了可见光与红外遥感图像联合的舰船目标数据集和地物分类数据集。对Sentinel-2卫星的光学遥感数据进行通道提取、图像切片和目标标注,制作舰船目标数据集,用于目标检测算法的训练和测试;对公开多光谱遥感图像地物分类数据集进行归类筛选和通道提取,制作地物分类数据集,用于地物分类算法的训练和测试。第二,针对现有基于可见光遥感图像的舰船目标检测算法在复杂背景下性能下降的问题,设计了舰船目标检测VI-YOLO算法。首先,在网络输入端构建可见光与红外图像双通道输入网络,实现可见光与红外遥感图像的联合;然后,采用CSPDarknet-53作为骨干网络同时提取空间特征和谱段特征;最后,引入快速空间金字塔池化模块和SIo U损失函数加快网络收敛,提高网络精度。实验结果表明,该方法有效缓解了舰船目标在云雾遮挡和海岸干扰下出现的错检和漏检,性能优于经典目标检测算法。第三,针对现有基于可见光遥感图像的地物分类算法对地物目标特征差异不敏感导致算法精度不高的问题,设计了地物分类VI-YOLO-seg算法。首先,在输入端采用可见光与红外图像双通道输入网络,实现可见光与红外遥感图像的像素级融合;然后,采用多尺度特征融合提取网络同时提取不同尺度的目标特征,缓解由样本尺度差异引起的算法精度下降;最后,引入Proto Net作为网络的分割头,缓解类别不均衡导致的算法性能下降。实验结果表明,该方法有效提高了地物分类的准确性,性能优于经典地物分类算法。

基于可见光与红外遥感图像联合的目标与地物提取方法研究

这是一篇关于可见光与红外遥感图像,深度学习,舰船检测,地物分类,特征提取的论文, 主要内容为目标与地物提取是光学遥感图像解译的重要任务,在民用与军事领域发挥巨大作用。随着天基光学遥感技术的不断发展,光学成像谱段从可见光向红外不断拓展,可见光与红外复合成像技术已成为天基光学遥感重要发展方向,极大方便了可见光与红外遥感图像的同时获取。可见光与红外遥感图像具有很强的互补性,联合应用两种图像进行目标与地物提取已成为遥感图像解译重要研究方向。对于目标提取而言,舰船目标是重点关注的一类目标,现有深度学习舰船目标检测算法主要基于可见光遥感图像开展研究,在云雾干扰等复杂场景下会出现大量错检、漏检;对于地物提取而言,建筑物、道路、水体和植被是重点关注的几类地物要素,由于不同种类地物要素之间的空间外观差异较小,现有基于可见光遥感图像的深度学习地物分类算法精度不高。针对以上问题,本文提出了基于可见光与红外遥感图像联合的舰船目标检测VI-YOLO算法和地物分类VI-YOLO-seg算法,在构建的可见光与红外遥感图像联合舰船目标检测数据集上,VI-YOLO算法平均精度达0.976,有效缓解了复杂场景下出现的错检和漏检;在构建的可见光与红外遥感图像联合地物分类数据集上,VI-YOLO-seg算法平均交并比达0.612,性能优于经典地物分类算法,验证了可见光与红外遥感图像的互补性以及算法的有效性。本文的主要研究工作概括如下:第一,针对现有公开数据集难以满足可见光与红外遥感图像联合应用研究的问题,构建了可见光与红外遥感图像联合的舰船目标数据集和地物分类数据集。对Sentinel-2卫星的光学遥感数据进行通道提取、图像切片和目标标注,制作舰船目标数据集,用于目标检测算法的训练和测试;对公开多光谱遥感图像地物分类数据集进行归类筛选和通道提取,制作地物分类数据集,用于地物分类算法的训练和测试。第二,针对现有基于可见光遥感图像的舰船目标检测算法在复杂背景下性能下降的问题,设计了舰船目标检测VI-YOLO算法。首先,在网络输入端构建可见光与红外图像双通道输入网络,实现可见光与红外遥感图像的联合;然后,采用CSPDarknet-53作为骨干网络同时提取空间特征和谱段特征;最后,引入快速空间金字塔池化模块和SIo U损失函数加快网络收敛,提高网络精度。实验结果表明,该方法有效缓解了舰船目标在云雾遮挡和海岸干扰下出现的错检和漏检,性能优于经典目标检测算法。第三,针对现有基于可见光遥感图像的地物分类算法对地物目标特征差异不敏感导致算法精度不高的问题,设计了地物分类VI-YOLO-seg算法。首先,在输入端采用可见光与红外图像双通道输入网络,实现可见光与红外遥感图像的像素级融合;然后,采用多尺度特征融合提取网络同时提取不同尺度的目标特征,缓解由样本尺度差异引起的算法精度下降;最后,引入Proto Net作为网络的分割头,缓解类别不均衡导致的算法性能下降。实验结果表明,该方法有效提高了地物分类的准确性,性能优于经典地物分类算法。

基于多尺度特征融合的合成孔径雷达图像舰船检测算法研究

这是一篇关于合成孔径雷达,深度学习,舰船检测,特征金字塔,无锚框检测,多尺度舰船目标的论文, 主要内容为合成孔径雷达(Synthetic Aperture Radar,SAR)是一种安装在飞机、卫星、航天器和其他飞行平台上的主动式地球观测系统,用于全天候对地观测。随着Terra SARX、RADARSAT-2、Sentinel-1、高分3号和其他在轨合成孔径雷达卫星的成功运行,SAR图像已广泛用于军事侦察、灾害监测、环境调查和海事管理等应用场景。随着雷达技术的飞速发展,SAR图像的分辨率越来越高,这使得利用SAR图像高精度地检测和识别海洋目标成为可能。近年来,随着以深度学习为代表的人工智能技术得到了飞速发展。深度学习是一种构造深度网络以学习样本数据的内在规律和表示层次的算法。深度学习的蓬勃发展为SAR舰船目标检测提供了新的思路和方法。然而,由于微波成像机制的复杂性,SAR舰船目标检测当前仍然是一项具有挑战性的任务。本文利用深度学习技术在SAR舰船目标检测任务上进行了深入的研究,分析了目前SAR舰船目标检测任务中存在的难点及挑战,总结了现有方法的不足,针对仍存在的一些问题进行了改进。本文主要研究内容如下:(1)在SAR舰船图像中,近岸场景中的大部分区域都包含散射斑点和噪声,这些散射斑点和噪声极大地干扰了舰船目标的检测。此外,SAR舰船图像中包含不同大小的舰船目标,尤其是分布密集的小型舰船。小型舰船的显著特征较少,难以被发现。针对上述问题,提出了一种基于特征增强金字塔和浅层特征重建的SAR舰船检测方法。该方法设计了一个特征增强金字塔,它包括一个空间增强模块来增强空间位置信息并抑制背景噪声,以及一个特征对齐模块来解决特征融合过程中的特征错位问题。此外,为了解决SAR舰船图像中小型舰船检测难的问题,本文设计了一种浅层特征重建模块来获取小型舰船的语义信息。在两个公开可用的数据集SAR ship detection Dataset(SSDD)和High-Resolution SAR Images Dataset(HRSID)上的实验证明了所提出方法的有效性。实验结果表明,所提出的方法可以有效的提高SAR舰船检测任务中舰船检测精度。(2)目前,大多数SAR舰船检测方法需要预先设置锚框来作为先验知识。然而,SAR图像中舰船的稀疏分布意味着大多数的锚框是冗余的,严重降低了检测方法的检测效率。锚框的设置直接影响会检测方法的性能和泛化能力。此外,舰船尺度的差异和近岸背景的噪声干扰对SAR舰船检测方法的性能带来了重大挑战。为了解决上述问题,提出了一种基于无锚框的SAR舰船检测方法。该方法采用基于无锚框的检测策略来检测舰船目标,避免了基于锚框的检测方法的低效率。此外,设计了一种全局上下文引导的特征平衡金字塔,它通过平衡多层次语义信息和学习全局上下文信息来增强舰船特征的表达。考虑到大量散射噪声的干扰,设计了一种联合注意模块来增强舰船特征并抑制散射噪声。在SSDD和HRSID数据集上的实验结果表明,相比其他方法,所提方法实现了更优异的性能。

基于视频卫星的海上舰船目标跟踪方法研究

这是一篇关于视频卫星,舰船检测,目标跟踪,深度学习的论文, 主要内容为我国领海面积广阔,拥有丰富的海洋资源,随着海上活动的日益频繁和国际形势的不断变化,海上资源管理和领海安全面临严峻挑战。舰船作为海上主要的交通工具,在民用领域和军事领域具有重要的战略意义,对其进行准确快速地检测和跟踪成为了海上目标监管,保障海上权益的重要手段。随着遥感技术的快速发展,具有更长拍摄时间和更高分辨率的视频卫星出现,使海上舰船目标实时跟踪成为可能。本文基于深度学习强大的特征学习能力,开展基于视频卫星的海上舰船目标跟踪方法研究,寻找适用于海上舰船目标跟踪的方法,为视频卫星舰船目标跟踪提供新的解决思路。本文主要主要内容和结论为:(1)构建了舰船目标检测和舰船目标跟踪数据集。深度学习需要经过不断的训练来提高网络精度,因此需要大量的训练样本。由于目前公开的基于遥感图像的舰船数据集较少,无法满足实验需要,因此本文获取了光学遥感影像以及公开遥感目标检测数据集中的舰船图像,构建舰船目标检测数据集,基于“吉林一号”视频卫星数据,构建了舰船目标跟踪数据集。(2)针对SSD(Single Shot Multibox Detector)算法在舰船目标检测中精度不高的问题,发展了一种基于Res Net(Residual Network)与最佳先验框大小的R＿SSD舰船目标检测算法,该算法利用Res Net作为特征提取网络,并针对本文构建的舰船目标检测数据集对先验框大小进行改进,最后在舰船目标检测数据集中进行测试,结果显示,改进后的R＿SSD算法检测精度提高了7.2%,验证了本文算法的有效性。(3)针对SORT(Simple Online And Realtime Tracking)目标跟踪算法无法找回跟踪丢失的目标且跟踪精度较低的问题,发展了一种基于R＿SSD的Deep SORT舰船目标跟踪算法,该算法以R＿SSD检测算法为基础,在SORT跟踪算法的基础上引入目标的深度表观特征,采用级联匹配与IOU(Intersection Over Union)匹配结合的方式实现舰船目标跟踪。最后在本文构建的舰船目标跟踪数据集上进行验证,结果显示,改进后的Deep SORT跟踪算法相比改进前的算法,漏检数量和误检数量都有所减少,MOTA提高了7.6%,MOTP提高了0.7%,并且对于跟踪过程中丢失的目标,在后续帧中也能够重新找回,证明了本文方法在舰船目标跟踪中的有效性。

基于深度学习的舰船目标光学遥感检测与识别算法研究

这是一篇关于光学影像,舰船检测,舰船识别,深度学习,注意力机制的论文, 主要内容为舰船作为海上贸易运输的载体和重要的军事对象,其自动检测与识别现实意义深远。随着遥感成像技术的进步,基于光学遥感影像的舰船目标检测方法被广泛应用。然而,传统的光学遥感处理方法无法对舰船特性准确描述﹐受云雾、波浪、杂波等因素的影响,存在检测鲁棒性差、虚警率高等问题。深度学习方法可以从复杂背景中获取舰船高维特征,提取出更加丰富的细节信息,具有更高准确度,能够满足实时需求。本文构建了丰富的舰船数据集,基于主流深度学习算法开展了舰船检测与识别研究,并改进了YOLOv4算法。论文所做主要工作如下:(1)为解决舰船数据集缺乏问题,本文构建了3893张影像的舰船检测数据集,包含不同场景下各种尺寸的舰船8098艘,影像分辨率在0.3米与1米之间。进一步构建了舰船类型识别数据集,包含军事舰船、散装货船、集装箱船、液货船、客船等5类舰船,并对舰船特性进行统计分析。(2)开展了基于深度学习算法的舰船检测与识别研究。YOLOv4算法的舰船检测性能最优,AP值达到了92.30%;Faster RCNN与YOLOv3 AP值接近;Faster RCNN能检测出较多舰船但误检偏多,对于小型舰船的检测鲁棒性偏差;SSD AP值较低,对于小型舰船以及复杂背景下舰船的整体检测效果偏差。YOLOv4的舰船识别精度最高,m AP值为96.76%,对于散装货船、集装箱船、客船、液货船的识别与Faster RCNN、SSD、YOLOv3等精度较为相当,但军事舰船识别的AP值达到93.16%,而Faster RCNN、SSD、YOLOv3军事舰船识别AP值在85%左右。(3)针对复杂背景下小型及并排舰船检测与识别难问题,构建了基于注意力机制Fca Net的YOLOv4算法。将Fca Net模型嵌入到网络中,选取低频的16个频率分量,并测试了不同结合位置在所构建的舰船数据集上检测与识别结果。实验表明,嵌入到骨干网络输出的三条支路效果最优,检测AP值达到93.04%,提升了0.74%,能检测到更多舰船,对小型舰船和并排舰船的检测能力均有所提升。在多类别舰船识别数据集的测试中m AP达到97.37%,其中较难识别的军事舰船AP值达到95.59%,相对于原算法提高了2.43%。

基于深度学习的舰船目标光学遥感检测与识别算法研究

这是一篇关于光学影像,舰船检测,舰船识别,深度学习,注意力机制的论文, 主要内容为舰船作为海上贸易运输的载体和重要的军事对象,其自动检测与识别现实意义深远。随着遥感成像技术的进步,基于光学遥感影像的舰船目标检测方法被广泛应用。然而,传统的光学遥感处理方法无法对舰船特性准确描述﹐受云雾、波浪、杂波等因素的影响,存在检测鲁棒性差、虚警率高等问题。深度学习方法可以从复杂背景中获取舰船高维特征,提取出更加丰富的细节信息,具有更高准确度,能够满足实时需求。本文构建了丰富的舰船数据集,基于主流深度学习算法开展了舰船检测与识别研究,并改进了YOLOv4算法。论文所做主要工作如下:(1)为解决舰船数据集缺乏问题,本文构建了3893张影像的舰船检测数据集,包含不同场景下各种尺寸的舰船8098艘,影像分辨率在0.3米与1米之间。进一步构建了舰船类型识别数据集,包含军事舰船、散装货船、集装箱船、液货船、客船等5类舰船,并对舰船特性进行统计分析。(2)开展了基于深度学习算法的舰船检测与识别研究。YOLOv4算法的舰船检测性能最优,AP值达到了92.30%;Faster RCNN与YOLOv3 AP值接近;Faster RCNN能检测出较多舰船但误检偏多,对于小型舰船的检测鲁棒性偏差;SSD AP值较低,对于小型舰船以及复杂背景下舰船的整体检测效果偏差。YOLOv4的舰船识别精度最高,m AP值为96.76%,对于散装货船、集装箱船、客船、液货船的识别与Faster RCNN、SSD、YOLOv3等精度较为相当,但军事舰船识别的AP值达到93.16%,而Faster RCNN、SSD、YOLOv3军事舰船识别AP值在85%左右。(3)针对复杂背景下小型及并排舰船检测与识别难问题,构建了基于注意力机制Fca Net的YOLOv4算法。将Fca Net模型嵌入到网络中,选取低频的16个频率分量,并测试了不同结合位置在所构建的舰船数据集上检测与识别结果。实验表明,嵌入到骨干网络输出的三条支路效果最优,检测AP值达到93.04%,提升了0.74%,能检测到更多舰船,对小型舰船和并排舰船的检测能力均有所提升。在多类别舰船识别数据集的测试中m AP达到97.37%,其中较难识别的军事舰船AP值达到95.59%,相对于原算法提高了2.43%。

基于可见光与红外遥感图像联合的目标与地物提取方法研究

这是一篇关于可见光与红外遥感图像,深度学习,舰船检测,地物分类,特征提取的论文, 主要内容为目标与地物提取是光学遥感图像解译的重要任务,在民用与军事领域发挥巨大作用。随着天基光学遥感技术的不断发展,光学成像谱段从可见光向红外不断拓展,可见光与红外复合成像技术已成为天基光学遥感重要发展方向,极大方便了可见光与红外遥感图像的同时获取。可见光与红外遥感图像具有很强的互补性,联合应用两种图像进行目标与地物提取已成为遥感图像解译重要研究方向。对于目标提取而言,舰船目标是重点关注的一类目标,现有深度学习舰船目标检测算法主要基于可见光遥感图像开展研究,在云雾干扰等复杂场景下会出现大量错检、漏检;对于地物提取而言,建筑物、道路、水体和植被是重点关注的几类地物要素,由于不同种类地物要素之间的空间外观差异较小,现有基于可见光遥感图像的深度学习地物分类算法精度不高。针对以上问题,本文提出了基于可见光与红外遥感图像联合的舰船目标检测VI-YOLO算法和地物分类VI-YOLO-seg算法,在构建的可见光与红外遥感图像联合舰船目标检测数据集上,VI-YOLO算法平均精度达0.976,有效缓解了复杂场景下出现的错检和漏检;在构建的可见光与红外遥感图像联合地物分类数据集上,VI-YOLO-seg算法平均交并比达0.612,性能优于经典地物分类算法,验证了可见光与红外遥感图像的互补性以及算法的有效性。本文的主要研究工作概括如下:第一,针对现有公开数据集难以满足可见光与红外遥感图像联合应用研究的问题,构建了可见光与红外遥感图像联合的舰船目标数据集和地物分类数据集。对Sentinel-2卫星的光学遥感数据进行通道提取、图像切片和目标标注,制作舰船目标数据集,用于目标检测算法的训练和测试;对公开多光谱遥感图像地物分类数据集进行归类筛选和通道提取,制作地物分类数据集,用于地物分类算法的训练和测试。第二,针对现有基于可见光遥感图像的舰船目标检测算法在复杂背景下性能下降的问题,设计了舰船目标检测VI-YOLO算法。首先,在网络输入端构建可见光与红外图像双通道输入网络,实现可见光与红外遥感图像的联合;然后,采用CSPDarknet-53作为骨干网络同时提取空间特征和谱段特征;最后,引入快速空间金字塔池化模块和SIo U损失函数加快网络收敛,提高网络精度。实验结果表明,该方法有效缓解了舰船目标在云雾遮挡和海岸干扰下出现的错检和漏检,性能优于经典目标检测算法。第三,针对现有基于可见光遥感图像的地物分类算法对地物目标特征差异不敏感导致算法精度不高的问题,设计了地物分类VI-YOLO-seg算法。首先,在输入端采用可见光与红外图像双通道输入网络,实现可见光与红外遥感图像的像素级融合;然后,采用多尺度特征融合提取网络同时提取不同尺度的目标特征,缓解由样本尺度差异引起的算法精度下降;最后,引入Proto Net作为网络的分割头,缓解类别不均衡导致的算法性能下降。实验结果表明,该方法有效提高了地物分类的准确性,性能优于经典地物分类算法。

基于多尺度特征融合的合成孔径雷达图像舰船检测算法研究

这是一篇关于合成孔径雷达,深度学习,舰船检测,特征金字塔,无锚框检测,多尺度舰船目标的论文, 主要内容为合成孔径雷达(Synthetic Aperture Radar,SAR)是一种安装在飞机、卫星、航天器和其他飞行平台上的主动式地球观测系统,用于全天候对地观测。随着Terra SARX、RADARSAT-2、Sentinel-1、高分3号和其他在轨合成孔径雷达卫星的成功运行,SAR图像已广泛用于军事侦察、灾害监测、环境调查和海事管理等应用场景。随着雷达技术的飞速发展,SAR图像的分辨率越来越高,这使得利用SAR图像高精度地检测和识别海洋目标成为可能。近年来,随着以深度学习为代表的人工智能技术得到了飞速发展。深度学习是一种构造深度网络以学习样本数据的内在规律和表示层次的算法。深度学习的蓬勃发展为SAR舰船目标检测提供了新的思路和方法。然而,由于微波成像机制的复杂性,SAR舰船目标检测当前仍然是一项具有挑战性的任务。本文利用深度学习技术在SAR舰船目标检测任务上进行了深入的研究,分析了目前SAR舰船目标检测任务中存在的难点及挑战,总结了现有方法的不足,针对仍存在的一些问题进行了改进。本文主要研究内容如下:(1)在SAR舰船图像中,近岸场景中的大部分区域都包含散射斑点和噪声,这些散射斑点和噪声极大地干扰了舰船目标的检测。此外,SAR舰船图像中包含不同大小的舰船目标,尤其是分布密集的小型舰船。小型舰船的显著特征较少,难以被发现。针对上述问题,提出了一种基于特征增强金字塔和浅层特征重建的SAR舰船检测方法。该方法设计了一个特征增强金字塔,它包括一个空间增强模块来增强空间位置信息并抑制背景噪声,以及一个特征对齐模块来解决特征融合过程中的特征错位问题。此外,为了解决SAR舰船图像中小型舰船检测难的问题,本文设计了一种浅层特征重建模块来获取小型舰船的语义信息。在两个公开可用的数据集SAR ship detection Dataset(SSDD)和High-Resolution SAR Images Dataset(HRSID)上的实验证明了所提出方法的有效性。实验结果表明,所提出的方法可以有效的提高SAR舰船检测任务中舰船检测精度。(2)目前,大多数SAR舰船检测方法需要预先设置锚框来作为先验知识。然而,SAR图像中舰船的稀疏分布意味着大多数的锚框是冗余的,严重降低了检测方法的检测效率。锚框的设置直接影响会检测方法的性能和泛化能力。此外,舰船尺度的差异和近岸背景的噪声干扰对SAR舰船检测方法的性能带来了重大挑战。为了解决上述问题,提出了一种基于无锚框的SAR舰船检测方法。该方法采用基于无锚框的检测策略来检测舰船目标,避免了基于锚框的检测方法的低效率。此外,设计了一种全局上下文引导的特征平衡金字塔,它通过平衡多层次语义信息和学习全局上下文信息来增强舰船特征的表达。考虑到大量散射噪声的干扰,设计了一种联合注意模块来增强舰船特征并抑制散射噪声。在SSDD和HRSID数据集上的实验结果表明,相比其他方法,所提方法实现了更优异的性能。