基于多视觉特征的航拍场景分类

这是一篇关于场景分类,颜色特征,纹理特征,深度学习,注意力机制的论文, 主要内容为通过不同遥感平台获取的多源遥感影像为对地观测提供了丰富的数据源,通过影像解译可获取大量的地理数据和空间信息,在农业、林业、生态环境等领域中发挥着重要作用。“场景分类”作为理解遥感影像的重要方式之一,成为遥感影像分类研究中的热点。随着航空遥感技术日渐成熟,其成像方式灵活、空间分辨率高等优势,为场景分类提供了丰富的数据源,但也面临数据量大、运行时间长、分类精度不高等挑战。本文采用基于低级和高级视觉特征的分类方法,并在UC-Merced和AID两个主流的航拍影像场景数据集上测试,对比分析两类方法的表现。主要研究内容如下:(1)采用一种结合颜色与纹理特征的场景分类方法。首先利用基于HSV空间中的颜色直方图(HSV-CH)、局部二值模型(LBP)和梯度-灰度共生矩阵(GLGCM)三种特征描述符解译图像的颜色和纹理信息,然后将提取的特征堆叠成新的特征向量,最后将标准化后的新特征向量输入到四种常见的分类器(SVM、KNN、RF和LR)中进行训练,得出整体精度,比较几种分类器模型的结果,选出最佳的组合模型。在UC-Merced和AID两个航空场景分类数据集上对该最佳组合模型进行了验证。在随机选取数据集中80%的样本量作为训练集的情况下,UC-Merced数据集的最高总体精度OA达到了86.48%,而AID数据集在训练集为50%样本量的情况下,最高总体精度OA也有75.34%。两个数据集的实验结果都表明,本方法较SIFT、Color-HLS、LBP等基于低级视觉特征的方法相比有一定程度上的提高,甚至好于Bo VW、IFK等依赖中级视觉表征的方法。因此,本分类方法有效提高了仅基于低级视觉特征的航拍场景分类性能。(2)采用一种基于AlexNet-CBAM网络的航拍场景分类方法。在经典网络AlexNet的原模型上进行改进,将原模型中的局部响应归一化(LRN)层和Re LU激活函数使用批归一化(BN)层和h-Swish激活函数进行替换,并加入卷积块注意力模块(CBAM),使网络模型在通道和空间两个维度上关注重点信息。新的深度学习模型AlexNet-CBAM的具体结构通过在WHU-RS19数据集上的实验确定,并将最终确定的AlexNet-CBAM模型在UC-Merced和AID两个数据集上进行实验验证。数据集在进行实验前会进行一些简单的预处理工作来增加样本量。之后,再和两个经典的CNN网络:AlexNet和VGG-16,进行对比论证。实验结果表明,AlexNet-CBAM模型解译场景影像的有效性相较于其他两种经典网络有所提高。在UC-Merced数据集上,AlexNetCBAM模型的测试准确率达到了98.64%(测试与训练的样本比例为2:8),比AlexNet高出4.24%,比VGG-16也要高出1.89%。该模型在AID数据集上的实验结果也达到了94.08%(测试与训练的样本比例为5:5),相较于AlexNet和VGG-16两个经典模型的准确率分别高出7.26%和4.84%。综上所述,基于低级视觉特征分类方法与基于高级视觉信息分类方法在相同数据集上的表现有所差异。对于UC-Merced数据集,第一种方法的总体精度为86.48%,第二种方法分类精度达到了98.64%,比第一种高出12.16%。同样在AID数据集上,前者的分类精度要低于后者,分别达到75.34%和94.08%。虽然基于低级视觉特征分类方法的有效性与基于高级视觉信息相比较差,但前者在某些方面也占有一定优势,例如时效性强以及对硬件的要求低。CNN模型中有数以千万计的参数参与训练,其训练花费的时间是机器学习的几十倍。且CNN性能的优劣在一定程度上依赖数据样本的规模以及模型的复杂程度,而数据样本规模越大、网络模型越复杂,对于运行实验的硬件要求就越高。

基于纹理特征融合的煤岩图像分类方法研究

这是一篇关于煤,煤岩图像,破坏类型,纹理特征,决策融合,双线性神经网络,智慧矿山的论文, 主要内容为煤体破坏类型是复杂矿区煤岩动力灾害防治和瓦斯突出危险性评估的关键因素,但在井下实际中,其识别方法仍以人工物理观察辨别为主。在智能化、高效化和无人化的智慧矿山建设需求下,将煤体破坏类型作为分类标准,根据不同煤体破坏类型具有显著纹理视觉差异的特点,将通道注意力和差异性纹理特征作为切入点开展了基于深度学习的煤岩图像分类方法研究。针对现有基于深度学习的图像分类方法普遍缺少纹理特征的针对性,存在分类精度较低、难以同时适用于简单纹理和复杂纹理分类的问题。首先提出了改进的双线性神经网络模型B-SE-Res Net,该模型在有益于纹理特征提取的双线性结构基础上,采用SE-Res Net作为特征提取子网络,在避免过拟合的基础上能够给予各特征通道不同程度的注意力,从而提高纹理图像的分类准确率。然后,基于B-Res Net18模型构造能够融合图像差异性纹理特征的并行双线性网络结构,采用自适应决策融合方法,对该网络的通道特征进行权重赋予,获取分类标签,得到了能够满足复杂纹理图像分类需求的B-FT-Res Net模型。以加权平均精确率、召回率和F1-Socre等作为综合评价指标,在与纹理相关的公共数据集KTH-TIPS,KTH-TIPS-2b,UIUC上进行实验,结果表明所提出模型具有较强的纹理图像分类能力,相较于经典方法和近年先进算法中的最优结果,平均提升了3.06%和2.43%。最后,为获得适用于井下煤岩破坏类型图像的分类模型,使用高清防爆相机,在孟村煤矿、神东煤矿、阜生煤矿等矿区井下采集五种破坏类型的煤岩图像,构建了破坏煤岩图像数据集Tectonic Coal,所提出的B-FT-Res Net模型在该数据集上达到了99.52%的平均分类准确率。该论文有图29幅,表9个,参考文献75篇。

复杂背景下基于ZYNQ的运动目标检测方法研究与实现

这是一篇关于运动目标检测,ZYNQ,纹理特征,边缘计算,硬件加速的论文, 主要内容为运动目标检测是智能视频监控中的关键组成部分,在实际场景中的各种复杂干扰因素给运动目标检测带来挑战,设计更具鲁邦性的运动目标检测算法仍然具有重要研究意义。随着科学技术的发展,视频监控越来越向高分辨率、高帧率发展,将激增的视频数据传输到遥远的云服务器处理,再作出反馈的方法已经不能满足日益增长的视频业务需求。将复杂的计算从云端下沉到边缘端,对视频数据进行实时处理和分析,可以减轻网络的负载、云端的数据存储压力和运算的负荷。目前很多运动目标检测算法已经能够实现较好的检测结果,但算法的复杂度较高,边缘端设备不能满足实时处理的要求。因此基于FPGA能够实现高速并行计算的特点,在边缘端结合FPGA对运动目标检测算法进行硬件电路设计成为一种趋势。基于上述背景,本文提出一种融合纹理特征的改进算法EA-Vi Be,并对该算法在ZYNQ平台上做硬件电路设计。此外,本文还搭建了基于ZYNQ(Zynq 7020)的运动目标检测系统,并利用该系统对EA-Vi Be算法的硬件电路设计进行了板级验证。本文的主要研究内容如下:(1)运动目标检测算法的研究。本文在研究多种运动目标检测算法和纹理特征后,提出一种新的纹理特征,被称为加强邻近尺度不变局部二元相似模式(EASILBSP),然后结合Vi Be算法框架,提出了融合纹理特征的改进算法EA-Vi Be。使用C++和Open CV对该算法进行了仿真实验,实验结果表明,本文算法对多种动态干扰因素具有一定的抑制作用,整体检测效果得到一定的提升。(2)EA-Vi Be算法在ZYNQ上的硬件电路设计。本文通过软硬件协同设计的方法,对EA-Vi Be算法进行了优化和基于FPGA的电路设计。根据算法流程,整个设计方案被分为图像预处理部分、EA-Vi Be算法部分和图像后处理部分。最后详细描述了每一部分的硬件电路设计方法。(3)基于ZYNQ的运动目标检测系统实现。本文使用ZYNQ作为运动目标检测硬件平台,并利用该系统对本文提出的算法进行了板级验证。本文不仅完成了PL(Programmable Logic)端硬件电路的搭建,还完成PS(Processing System)端软件驱动的设计。经测试该系统出图稳定,能够实时检测出运动目标,在复杂背景下检测效果良好,并且体积小、功耗低,满足边缘设备运行的要求,具有一定的实用意义。

基于深度学习的假币图像识别

这是一篇关于人民币鉴伪,人民币手机图像,图像预处理,纹理特征,D-S证据理论,深度学习的论文, 主要内容为基于手机图像的人民币真伪鉴别是实现手机拍照鉴别人民币真伪的关键技术,是实现人民币真伪鉴别手机终端化的重要环节。本文以人民币手机图像为研究对象,重点研究了基于丰富纹理的图像去噪、图像校正、基于传统纹理特征的真伪鉴别和基于深度卷积特征的真伪鉴别等工作。具体内容如下:(1)建立了一个真伪人民币数据集。其中真币样本1000张,假币样本137张。在多方协助下,采集了假币原始样本137张,其中全假币50张,左真右假变造币41张,左假右真变造币45张,左真右真变造币1张。(2)设计并实现了一种基于人民币纹理分析的组合中值滤波。针对人民币纹理细节丰富的特点,将人民币图像划分为小块,对每块进行纹理分析,设计了一个量化纹理的纹理复杂因子,当图像块中纹理复杂因子较小时采用大尺寸方形中值滤波,反之则采用小尺寸线性中值滤波。实验结果表明,相比单一的传统中值滤波不仅具有较好的视觉效果,而且在PSNR和SSIM标准下也具有更优的表现。设计了基于理想直线的误差惩罚加权函数,改进了加权最小二乘直线拟合法,对比试验表明该方法能够有效地降低异常点对边缘直线拟合结果的影响。(3)设计并实现了在D-S证据理论框架下融合GLCM纹理特征和Gabor纹理特征的人民币真伪鉴别法。经对比研究选定了人民币图像的防伪区域,利用基于GLCM纹理特征提取法和基于Gabor纹理特征提取法分别对选定区域进行特征提取,然后利用LIBSVM中带RBF核的SVM进行分类,实验结果表明,基于单特征的真伪识别效果欠佳。利用D-S证据理论融合这两种特征,对人民币进行真伪鉴别,对比实验表明,基于D-S多特征融合鉴别法可以有效提升基于单特征鉴别法的识别率,降低其误识率和拒识率。(4)设计并实现了基于VGG-19卷积神经网络的人民币真伪鉴别。使用VGG-19卷积神经网络对人民币特征区域进行特征提取,设计了两个1 X 1卷积层取代全连接层对提取的特征进行融合降维,最后使用LIBSVM中带RBF核的SVM进行分类,实现人民币真伪鉴别。实验对比基于传统特征的真伪鉴别方法,基于卷积神经网络的真伪识别方法不仅具有更高的准确率,而且对于特征区域发生平移等具有更好的容错能力,具有更佳的泛化能力。

基于高分辨率卫星影像的耕地分割技术研究

这是一篇关于卫星影像,耕地分割,纹理特征,边缘特征,WebGIS的论文, 主要内容为耕地是人类赖以生存的重要资源之一,耕地是保证粮食和农产品供应的基础,为国家经济发展和粮食安全提供了必不可少的支撑。党的二十大指出:全方位夯实粮食安全根基,牢牢守住十八亿亩耕地红线,确保中国人的饭碗牢牢端在自己手中。高分辨率卫星影像具有分辨率高、观测范围大、数据客观、实时性强等特点,在卫星影像处理中,节省了大量人力物力,因此卫星影像在语义分割、目标检测、变化检测等领域取得了巨大成就,其研究成果被广泛应用于农业领域,特别是在耕地保护上,高分辨率卫星影像可以辅助地块界定、土地资源管理、农业现代化建设以及制定耕地保护政策等方面均具有广泛的应用前景。目前,基于深度学习的分割算法在卫星影像处理中存在目标实例识别不准确、复杂纹理难处理、泛化能力不强等问题,同时大部分卫星影像数据集存在样本实例不均衡、规模小、样本类别细化不够以及样本标注不准确等问题。针对以上问题,本论文综合利用卫星影像、基于深度学习的语义分割算法以及地理信息系统等相关知识,结合实际应用场景,基于国产高分辨率卫星影像,首先构建了卫星影像数据集,然后针对卫星影像纹理特征与边缘特征提出了耕地分割算法,最后开发了基于WebGIS的耕地分割技术应用系统,论文主要研究内容如下:(1)基于高分辨率卫星影像构建耕地数据集。本文通过高分二号多光谱和全色卫星影像预处理,将多光谱影像与全色影像相融合,融合的影像具有0.8米分辨率,选取感兴趣区域进行分割截取,从而构建了一个高分辨率卫星影像UJN-Land耕地数据集,该数据集包括小麦、道路、裸土、水体以及其他背景共五种类型,共有70万个样本影像,是国内外耕地场景下的用于耕地分割的最大的数据集。(2)基于纹理特征的耕地分割算法研究。本文提出了一种基于Gabor滤波器嵌入的纹理特征提取网络。该网络依托U-Net网络为基础,将Gabor滤波器作为特征提取的基本单元,在卷积层中使用多组不同方向和尺度的Gabor滤波器来提取图像的纹理特征。在送入U-Net网络前,先通过对原始影像进行基于Gabor滤波器的纹理特征提取,纹理特征提取后变为单通道,然后将纹理特征提取的单通道影像与原始三通道影像一同送入网络。在上采样前,加入SE Block,在网络的层数和结构设计方面,使用自适应结构优化和残差连接的方法,以提高网络的特征提取能力和鲁棒性。(3)基于边缘特征的耕地分割算法研究。基于SegNet提出了拉普拉斯滤波器嵌入注意网络,通过添加拉普拉斯滤波器和卷积块注意力模块,该网络在卫星影像耕地分割中可以进一步提取图像特征,同时聚合Seg Net编码器的基础上不同地区的上下文信息。经实验验证在提出的数据集上取得了良好的效果。(4)基于WebGIS的耕地分割技术应用系统,该系统利用遥感技术、图像分割算法和Web GIS技术相结合,可以实现对卫星影像进行分割,提取出其中的耕地信息,并通过Web GIS技术进行可视化展示,实现用户管理、类别管理、影响查询、影像下载、数据集展示、耕地分割以及下载日志等功能为有关单位提供卫星影像和相关应用支撑。

复杂背景下基于ZYNQ的运动目标检测方法研究与实现

这是一篇关于运动目标检测,ZYNQ,纹理特征,边缘计算,硬件加速的论文, 主要内容为运动目标检测是智能视频监控中的关键组成部分,在实际场景中的各种复杂干扰因素给运动目标检测带来挑战,设计更具鲁邦性的运动目标检测算法仍然具有重要研究意义。随着科学技术的发展,视频监控越来越向高分辨率、高帧率发展,将激增的视频数据传输到遥远的云服务器处理,再作出反馈的方法已经不能满足日益增长的视频业务需求。将复杂的计算从云端下沉到边缘端,对视频数据进行实时处理和分析,可以减轻网络的负载、云端的数据存储压力和运算的负荷。目前很多运动目标检测算法已经能够实现较好的检测结果,但算法的复杂度较高,边缘端设备不能满足实时处理的要求。因此基于FPGA能够实现高速并行计算的特点,在边缘端结合FPGA对运动目标检测算法进行硬件电路设计成为一种趋势。基于上述背景,本文提出一种融合纹理特征的改进算法EA-Vi Be,并对该算法在ZYNQ平台上做硬件电路设计。此外,本文还搭建了基于ZYNQ(Zynq 7020)的运动目标检测系统,并利用该系统对EA-Vi Be算法的硬件电路设计进行了板级验证。本文的主要研究内容如下:(1)运动目标检测算法的研究。本文在研究多种运动目标检测算法和纹理特征后,提出一种新的纹理特征,被称为加强邻近尺度不变局部二元相似模式(EASILBSP),然后结合Vi Be算法框架,提出了融合纹理特征的改进算法EA-Vi Be。使用C++和Open CV对该算法进行了仿真实验,实验结果表明,本文算法对多种动态干扰因素具有一定的抑制作用,整体检测效果得到一定的提升。(2)EA-Vi Be算法在ZYNQ上的硬件电路设计。本文通过软硬件协同设计的方法,对EA-Vi Be算法进行了优化和基于FPGA的电路设计。根据算法流程,整个设计方案被分为图像预处理部分、EA-Vi Be算法部分和图像后处理部分。最后详细描述了每一部分的硬件电路设计方法。(3)基于ZYNQ的运动目标检测系统实现。本文使用ZYNQ作为运动目标检测硬件平台,并利用该系统对本文提出的算法进行了板级验证。本文不仅完成了PL(Programmable Logic)端硬件电路的搭建,还完成PS(Processing System)端软件驱动的设计。经测试该系统出图稳定,能够实时检测出运动目标,在复杂背景下检测效果良好,并且体积小、功耗低,满足边缘设备运行的要求,具有一定的实用意义。

基于量子张量网络机器学习的乳腺癌图像分类模型研究

这是一篇关于乳腺癌组织病理学图像,量子张量网络,卷积神经网络,类激活图,纹理特征的论文, 主要内容为2022年全球癌症流行病学数据表明,乳腺癌已成功超过肺癌,成为世界发病率第一的癌症。然而,乳腺癌的早期发现和及时治疗将大大降低患者的死亡率。目前用于乳腺癌检查的方法包括乳房X线检查、超声检查、核磁共振成像和CT检查等等,但这些方法不仅费用昂贵还容易产生误诊。乳房活检的组织病理学图像诊断的出现给乳腺癌高危发病群体带来福音。这种通过活检组织的显微技术获得的医学图像,在帮助专家准确辨别乳腺癌亚类型的同时也能够在细胞的基础上观察组织特征,进而精确的定位病变的区域。因此组织病理学图像诊断也通常被视为乳腺癌检测的“金标准”。目前医学图像分析的难点在于需要有经验的组织病理学医生,但对于这些人才的培养需要大量的时间和资源。更糟糕的是,图像诊断结果很容易被医生误判。随着图像处理技术的提高以及机器学习的飞速进展,人们也不断尝试利用计算机技术来提高诊断的准确率和效率。目前,多种深度学习算法运用于乳腺癌组织病理学图像进行分类识别,但这些方法不仅参数量巨大,同时不能很好的获取全局特征,导致模型学习过程中丢失大量的有效信息。张量是向量和矩阵的数学形式的高阶泛化,可以当作数据存储器,当用于图像分类时可以在保持图像像素之间的空间相关性的同时降低数据存储的成本。张量网络是由几个张量按照特定规则收缩而成的一类网络,可以将高阶张量分解为相互关联的低阶核心张量来减少参数。相较于传统的张量网络,起源于多体量子物理的量子张量网络将输入数据映射到希尔伯特空间中,这样能够很好地保持高维空间数据的内在结构信息,解决了传统二维矩阵难以描述数据之间关系的问题,因此量子张量网络模型可能成为乳腺癌医学图像分类的一个突破口。本文完成的主要工作如下:(1)提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)和量子张量网络(Quantum Tensor Network,QTN)的量子张量增强卷积表示融合模型(Quantum Tensor-augmented Convolutional Representations Network,ConTenNet)来对乳腺癌组织病理学图像二分类。将QTN应用于乳腺癌组织病理学图像分类,通过QTN对参数压缩的特性,将模型参数量降低;通过QTN对相邻区域的数据提取和层与层之间的信息传递实现相邻区域之间的信息连接,获得更深入的全局特征。同时,也为QTN与经典模型的进一步结合奠定了基础。为了保证训练数据集的平衡使用数据增强方法对良性图像进行增强和减少颜色对实验的干扰对原始图像进行颜色归一化。本文从图像级和患者级两个角度对不同放大倍率的图像进行对比实验,实验证明本模型可以在原始图像的图像级别的40x下达到99.06%左右的准确率,患者级别的40x下达到92.98%左右的准确率;在颜色归一化图像的图像级别的40x下达到97.56%左右的准确率,患者级别的40x下达到91.89%左右的准确率。最后,使用Grad-CAM方法证明了虽然颜色归一化后准确率有所下降,但该方法具有重要性和必要性,而且使二分类融合模型具有可靠性和可解释性。(2)提出了基于ConTenNet和纹理特征提取的融合模型来对乳腺癌组织病理学图像进行多分类。将ConTenNet模型参数压缩和特征提取的特性迁移过来,同时针对乳腺癌组织病理学图像多分类的复杂性,引入传统的纹理特征提取方式,即灰度共生矩阵、局部二值模式和Gabor滤波方式,并将灰度共生矩阵方法分别和局部二值模式、Gabor滤波方式进行融合,从而获得乳腺癌组织病理学图像在空间上以及不同尺度和方向上局部的细胞形状特征。最后,通过特征融合,将数据输入到全连接层中进行分类。实验结果表明,融合后的模型在原始图像的图像级别的100x下达到97.20%左右的准确率,患者级别的100x下达到97.07%左右的准确率;在颜色归一化图像的图像级别的40x下达到95.67%左右的准确率,患者级别的40x下达到95.34%左右的准确率,都优于目前常见的对比模型。最后,对实验结果进行混淆矩阵分析,表明本模型对八种类别进行了较好的分类,展现了本模型较强的分辨能力,同时具有较好的性能。