基于深度卷积神经网络的焊缝缺陷分类研究

这是一篇关于射线无损检测,焊缝缺陷分类,生成对抗网络,深度卷积神经网络,通道注意力机制的论文, 主要内容为焊接技术在压力容器的生产中起着关键作用,但如果不及时发现焊接的缺陷可能会导致灾难。X射线检测作为一种实用的无损检测(Non-Destructive Testing,NDT)方法,在工业情况下的焊缝缺陷检测中得到了广泛的应用。基于X射线图像的缺陷识别技术也随着人工智能的发展取得了飞速进步。然而,目前的研究主要集中在焊缝缺陷特征识别上,很少有研究考虑从行业标准出发分类焊缝缺陷。并且在焊缝缺陷识别的过程中,也很少有学者研究焊缝位置定位的问题。基于这些问题,本文的具体研究内容如下:(1)本文首先提出了一种基于Hough直线检测和K-means聚类的焊缝位置定位方法,从原始X射线胶片图像中定位焊缝区域。以便于之后数据集的裁剪工作和最后整条焊缝图片的识别工作。(2)本文将焊缝图片内的缺陷裁剪成像素小块作为之后深度学习的样本,并根据焊缝质量评价的行业标准和焊缝缺陷的形状特征将焊缝缺陷分为四类。随后基于某一种焊缝缺陷图像不能使用旋转方法进行数据增强的问题,本文提出了一种基于残差网络(Res Net)改进的生成对抗网络(Generative Adversarial Network,GAN)进行单一缺陷的数据增强,其相比基础GAN模型有着更优的数据生成能力。由此本文构建了新的焊缝缺陷数据集。(3)本文通过一种包含卷积层、批量归一化层和Re LU激活函数层的卷积块搭建了两种深度卷积神经网络(Deep Convolution Neural Network,DCNN)模型,并对其分别采用全连接层降维和全局最大池化层降维。并且基于传统分类模型的评价指标提出了一种针对焊缝缺陷分类的评价指标,名为焊缝缺陷误检比率。本文采用五折交叉验证对比了两种模型的泛化能力,并通过这两种模型验证了新的焊缝缺陷数据集在准确率提升上的有效性。(4)在新数据集的基础上,本文根据两个模型中较优模型最后采用保留每个特征通道特征信息的全局最大池化层降维的思路,采用通道注意力机制对较优模型的前端网络进行特征提取的增强,并由此获得了本文对焊缝缺陷分类的最佳模型。最佳模型在五折交叉验证中,平均准确率中可以达到92.27%,相比于传统的Alex Net分类模型和VGG分类模型,分别高了3.16%和3.73%。同时,最优模型焊缝缺陷误检比率也取得了最优的效果。(5)最后本文采用最优模型通过多个不同大小的滑动窗口遍历整张焊缝底片图的方法获得了整张焊缝底片缺陷的识别效果图,同时对比了原始焊缝图片的识别结果和只保留焊缝区域的焊缝图的识别结果,侧面证明了焊缝位置定位算法提出的必要性。

基于深度卷积神经网络的焊缝缺陷分类研究

这是一篇关于射线无损检测,焊缝缺陷分类,生成对抗网络,深度卷积神经网络,通道注意力机制的论文, 主要内容为焊接技术在压力容器的生产中起着关键作用,但如果不及时发现焊接的缺陷可能会导致灾难。X射线检测作为一种实用的无损检测(Non-Destructive Testing,NDT)方法,在工业情况下的焊缝缺陷检测中得到了广泛的应用。基于X射线图像的缺陷识别技术也随着人工智能的发展取得了飞速进步。然而,目前的研究主要集中在焊缝缺陷特征识别上,很少有研究考虑从行业标准出发分类焊缝缺陷。并且在焊缝缺陷识别的过程中,也很少有学者研究焊缝位置定位的问题。基于这些问题,本文的具体研究内容如下:(1)本文首先提出了一种基于Hough直线检测和K-means聚类的焊缝位置定位方法,从原始X射线胶片图像中定位焊缝区域。以便于之后数据集的裁剪工作和最后整条焊缝图片的识别工作。(2)本文将焊缝图片内的缺陷裁剪成像素小块作为之后深度学习的样本,并根据焊缝质量评价的行业标准和焊缝缺陷的形状特征将焊缝缺陷分为四类。随后基于某一种焊缝缺陷图像不能使用旋转方法进行数据增强的问题,本文提出了一种基于残差网络(Res Net)改进的生成对抗网络(Generative Adversarial Network,GAN)进行单一缺陷的数据增强,其相比基础GAN模型有着更优的数据生成能力。由此本文构建了新的焊缝缺陷数据集。(3)本文通过一种包含卷积层、批量归一化层和Re LU激活函数层的卷积块搭建了两种深度卷积神经网络(Deep Convolution Neural Network,DCNN)模型,并对其分别采用全连接层降维和全局最大池化层降维。并且基于传统分类模型的评价指标提出了一种针对焊缝缺陷分类的评价指标,名为焊缝缺陷误检比率。本文采用五折交叉验证对比了两种模型的泛化能力,并通过这两种模型验证了新的焊缝缺陷数据集在准确率提升上的有效性。(4)在新数据集的基础上,本文根据两个模型中较优模型最后采用保留每个特征通道特征信息的全局最大池化层降维的思路,采用通道注意力机制对较优模型的前端网络进行特征提取的增强,并由此获得了本文对焊缝缺陷分类的最佳模型。最佳模型在五折交叉验证中,平均准确率中可以达到92.27%,相比于传统的Alex Net分类模型和VGG分类模型,分别高了3.16%和3.73%。同时,最优模型焊缝缺陷误检比率也取得了最优的效果。(5)最后本文采用最优模型通过多个不同大小的滑动窗口遍历整张焊缝底片图的方法获得了整张焊缝底片缺陷的识别效果图,同时对比了原始焊缝图片的识别结果和只保留焊缝区域的焊缝图的识别结果,侧面证明了焊缝位置定位算法提出的必要性。

基于U-Net网络的储层岩性识别方法研究

这是一篇关于储层岩性识别,深度学习,通道注意力机制,数据处理,网络融合的论文, 主要内容为充分挖掘储层岩性的信息,在地质勘探开发中发挥着至关重要的作用。我国正处在非常规油气资源开发的重要阶段,对储层岩性识别的要求更为精细化,测井数据是挖掘储层岩性信息的重要数据来源之一,测井数据种类众多且处理测井数据的方式越来越多样化,从最初的人工到现在的智能化识别测井数据,岩性信息的深度挖掘技术在不断进步。本文针对测井数据特征提取问题,深入研究了深度学习网络模型与储层岩性特征的关系,提出了一种适用于储层岩性识别的深度学习网络模型特征注意力融合网络模型,主要工作从以下三个方面展开:首先,针对实地矿场测井数据的问题,对测井数据进行预处理。主要对原始测井数据进行深度校正和平滑滤波处理,经过预处理的测井数据更加准确、平滑,而且消除了原始数据问题带来的误差,进行测井数据敏感性分析实验,对选取的测井数据进行敏感性验证分析,分析发现不同的测井数据对不同的岩石具有不同的敏感性,可通过多条测井数据对储层岩性进行综合识别。其次,研究对比了VGG16、Goog Le Net和U-Net三种经典的深度学习网络模型在储层岩性识别中的效果,通过对比三种网络模型的模型训练产生的准确率、召回率以及混淆矩阵,U-Net的准确率范围为71%～78%,平均准确率为74.86%,召回率范围为73%～76%,平均召回率为74.81%,分析得出U-Net模型在储层岩性识别时准确率和召回率更高且波动范围更小,其整体的识别能力更佳。最后,提出一种基于U-Net模型的储层岩性识别模型—FAF-Unet模型。模型选用U-Net为基础网络,主要针对U-Net模型缺陷进行改进:在下采样过程中添加残差块来减少“退化”现象,提高了网络模型对关键信息的提取,将特征提取的高级通道信息与低级特征结合,增加部分低级特征通道的权重,由此提出特征注意力融合模块(Feature Attention Fusion Block)。FAF-Unet是一种融合残差块和通道注意力机制的网络模型,能够充分挖掘岩石沉积序列和特征通道之间的信息,能够有效提高储层岩性分类性能。

基于U-Net网络的储层岩性识别方法研究

这是一篇关于储层岩性识别,深度学习,通道注意力机制,数据处理,网络融合的论文, 主要内容为充分挖掘储层岩性的信息,在地质勘探开发中发挥着至关重要的作用。我国正处在非常规油气资源开发的重要阶段,对储层岩性识别的要求更为精细化,测井数据是挖掘储层岩性信息的重要数据来源之一,测井数据种类众多且处理测井数据的方式越来越多样化,从最初的人工到现在的智能化识别测井数据,岩性信息的深度挖掘技术在不断进步。本文针对测井数据特征提取问题,深入研究了深度学习网络模型与储层岩性特征的关系,提出了一种适用于储层岩性识别的深度学习网络模型特征注意力融合网络模型,主要工作从以下三个方面展开:首先,针对实地矿场测井数据的问题,对测井数据进行预处理。主要对原始测井数据进行深度校正和平滑滤波处理,经过预处理的测井数据更加准确、平滑,而且消除了原始数据问题带来的误差,进行测井数据敏感性分析实验,对选取的测井数据进行敏感性验证分析,分析发现不同的测井数据对不同的岩石具有不同的敏感性,可通过多条测井数据对储层岩性进行综合识别。其次,研究对比了VGG16、Goog Le Net和U-Net三种经典的深度学习网络模型在储层岩性识别中的效果,通过对比三种网络模型的模型训练产生的准确率、召回率以及混淆矩阵,U-Net的准确率范围为71%～78%,平均准确率为74.86%,召回率范围为73%～76%,平均召回率为74.81%,分析得出U-Net模型在储层岩性识别时准确率和召回率更高且波动范围更小,其整体的识别能力更佳。最后,提出一种基于U-Net模型的储层岩性识别模型—FAF-Unet模型。模型选用U-Net为基础网络,主要针对U-Net模型缺陷进行改进:在下采样过程中添加残差块来减少“退化”现象,提高了网络模型对关键信息的提取,将特征提取的高级通道信息与低级特征结合,增加部分低级特征通道的权重,由此提出特征注意力融合模块(Feature Attention Fusion Block)。FAF-Unet是一种融合残差块和通道注意力机制的网络模型,能够充分挖掘岩石沉积序列和特征通道之间的信息,能够有效提高储层岩性分类性能。

基于深度高分辨率网络的人体姿态估计方法研究

这是一篇关于人体姿态估计,深度学习,高分辨率网络,通道注意力机制,特征融合的论文, 主要内容为在计算机视觉领域,人体姿态估计可以帮助人们更好地理解人体的姿态和行为,还可以为行为识别和行为检测提供有力支持。相关研究表明,基于深度学习的人体姿态估计方法表现出了较为优异的效果,使人体姿态估计逐渐成为计算机科学等领域的热点研究问题。随着深度学习技术的广泛应用,基于深度学习的人体姿态估计方法使人体姿态估计模型的效果得到了显著改善。然而,由于各种场景、人体运动、服装等因素的影响,人体图像存在关节点特征提取不全、关节点位置数据不够的问题。同时,由于不同关节点相互之间的特征差异性较大,使得输出其精确位置变得更加困难。为进一步提高人体姿态估计模型的精度和能力,本文将从关节点估计和特征融合两个方面展开研究,具体工作如下。(1)构建基于残差下采样和通道注意力机制的高分辨率网络RDSCANet。针对高分辨率网络下采样方法信息损失的问题,设计残差下采样模块向特征图传递上下文信息,实现特征重用并保持特征图的高分辨率,减少下采样过程中关节点信息的损失。同时针对增加的上下文信息对网络学习造成的影响,引入通道注意力机制关注全局通道维度的特征信息,增强有效的特征信息。在COCO2017数据集上的实验结果显示,将通道注意力机制与残差下采样模块相结合的方式有助于提高人体姿态估计的准确性。(2)提出基于多尺度密集特征融合的高分辨率网络MSDFFNet。针对RDSCANet网络对图像特征的提取能力不够的问题,设计密集特征采样模块。该模块采用不同大小的卷积核对输入图像进行密集特征采样,获取人体关节点更多的有效特征信息,从而提升模型的鲁棒性,优化了人体姿态估计中不同场景或遮挡下的检测结果。同时为了避免融合不同尺度特征时出现的信息损失问题,引入多尺度特征融合模块,该模块基于Soft Pooling设计快速金字塔池化结构。在COCO2017数据集上的实验结果显示,MSDFFNet网络模型能够充分地利用特征图中的有效信息,提升人体姿态估计的准确性。

面向茶叶病虫害领域的实体关系抽取研究

这是一篇关于茶叶病虫害,远程监督,实体关系抽取,通道注意力机制,门控模块的论文, 主要内容为茶叶病虫害是制约茶叶产业发展的重要因素,一直备受茶农关注。目前随着网络的发展,出现了大量和茶叶病虫害相关的无结构化或半结构化的文本,传统的搜索方法无法高效精准的获取茶叶病虫害领域的相关信息,由于知识图谱能实现实体的语义搜索、实体间的关系搜索,所以构建关于茶叶病虫害领域的知识图谱势在必行。关系抽取作为构建茶叶病虫害知识图谱的核心步骤,主要是提取两实体间的语义关系。本文采用了深度神经网络和远程监督学习实现了面向茶叶病虫害领域的实体关系抽取,为构建茶叶病虫害知识图谱奠定了基础。本文主要工作集中在以下三个方面:(1)使用远程监督的方法构建了茶叶病虫害领域的语料。首先利用领域知识采用三元组的形式构建茶叶病虫害领域一个小型知识库;接着利用实体尽可能爬取出训练的文本语料,解决训练语料数量过少的问题;其次,对语料文本进行过滤清洗、分词等处理,接着利用所构建的知识库与处理后的文本自动对齐,完成语料的标注工作;最后对语料文本进行了无监督训练,获取了语料文本相关的词向量,更好的提取文本特征。(2)提出了一种基于通道注意力机制的茶叶病虫害实体关系抽取研究方法。在远程监督关系抽取任务上PCNN模型常被用作于提取句子语义特征,在其提取过程中,以两个实体为界限将句子划分为三段,进行最大池化,存在的问题是无法区分哪一段对于最后句子的分类任务具有较大的贡献。针对于此问题,我们借鉴于图像领域里面所使用的通道注意力机制,给经过卷积后的每一个句子分段分配一个不同的权重,使得对于最后的关系分类任务具有重要作用的关键句子分段的权重变大,突出PCNN中关键分段的影响,有效的挖掘出句子特征,以此来提高模型的准确率。(3)提出了一种基于门控模块的茶叶病虫害关系抽取研究方法。针对语料中出现包中所含句子全是噪声句子的情况,前人提出在包的基础上构造“超包”,再次使用注意力机制,效果依然不佳的问题。基于此,本章节提出了基于门控模块的关系抽取解决方法,该方法旨在通过包间注意力机制分配权重之前,通过该模块对包的语义特征向量先行进行过滤,使得部分噪声包完全被过滤掉。以此来降低噪声句子对模型的干扰,进一步提高模型的准确率。实验结果表明,相比于传统关系抽取方法,模型在采取通道注意力机制和门控模块等两种改进方案后,准确率、f1等指标都有明显提升。

基于深度卷积神经网络的焊缝缺陷分类研究

这是一篇关于射线无损检测,焊缝缺陷分类,生成对抗网络,深度卷积神经网络,通道注意力机制的论文, 主要内容为焊接技术在压力容器的生产中起着关键作用,但如果不及时发现焊接的缺陷可能会导致灾难。X射线检测作为一种实用的无损检测(Non-Destructive Testing,NDT)方法,在工业情况下的焊缝缺陷检测中得到了广泛的应用。基于X射线图像的缺陷识别技术也随着人工智能的发展取得了飞速进步。然而,目前的研究主要集中在焊缝缺陷特征识别上,很少有研究考虑从行业标准出发分类焊缝缺陷。并且在焊缝缺陷识别的过程中,也很少有学者研究焊缝位置定位的问题。基于这些问题,本文的具体研究内容如下:(1)本文首先提出了一种基于Hough直线检测和K-means聚类的焊缝位置定位方法,从原始X射线胶片图像中定位焊缝区域。以便于之后数据集的裁剪工作和最后整条焊缝图片的识别工作。(2)本文将焊缝图片内的缺陷裁剪成像素小块作为之后深度学习的样本,并根据焊缝质量评价的行业标准和焊缝缺陷的形状特征将焊缝缺陷分为四类。随后基于某一种焊缝缺陷图像不能使用旋转方法进行数据增强的问题,本文提出了一种基于残差网络(Res Net)改进的生成对抗网络(Generative Adversarial Network,GAN)进行单一缺陷的数据增强,其相比基础GAN模型有着更优的数据生成能力。由此本文构建了新的焊缝缺陷数据集。(3)本文通过一种包含卷积层、批量归一化层和Re LU激活函数层的卷积块搭建了两种深度卷积神经网络(Deep Convolution Neural Network,DCNN)模型,并对其分别采用全连接层降维和全局最大池化层降维。并且基于传统分类模型的评价指标提出了一种针对焊缝缺陷分类的评价指标,名为焊缝缺陷误检比率。本文采用五折交叉验证对比了两种模型的泛化能力,并通过这两种模型验证了新的焊缝缺陷数据集在准确率提升上的有效性。(4)在新数据集的基础上,本文根据两个模型中较优模型最后采用保留每个特征通道特征信息的全局最大池化层降维的思路,采用通道注意力机制对较优模型的前端网络进行特征提取的增强,并由此获得了本文对焊缝缺陷分类的最佳模型。最佳模型在五折交叉验证中,平均准确率中可以达到92.27%,相比于传统的Alex Net分类模型和VGG分类模型,分别高了3.16%和3.73%。同时,最优模型焊缝缺陷误检比率也取得了最优的效果。(5)最后本文采用最优模型通过多个不同大小的滑动窗口遍历整张焊缝底片图的方法获得了整张焊缝底片缺陷的识别效果图,同时对比了原始焊缝图片的识别结果和只保留焊缝区域的焊缝图的识别结果,侧面证明了焊缝位置定位算法提出的必要性。

基于深度学习的RGBD图像增强方法研究

这是一篇关于RGBD图像,深度图超分辨率重建,深度学习,通道注意力机制,多尺度残差块的论文, 主要内容为深度信息是增强现实、三维重建、无人驾驶等众多应用场景中不可或缺的信息之一。RGBD相机不仅可以获取到场景的深度图像,还可以获取到同一场景下的彩色图像/RGB图像,然而受采集设备的限制,其获取得到的深度图分辨率远低于其对应的RGB图像的分辨率,很难满足实际应用的需求。针对这一问题,研究了在高分辨率RGB图像作为引导图像的条件下,对深度图像进行超分辨率重建的方法,充分利用RGB图像的细节信息来重建出高分辨率深度图,从而得到高分辨率高质量的深度图。主要研究工作如下:(1)提出基于改进U-Net网络的深度图超分辨率重建方法。为了充分利用深度图的高频特征和引导图像的层次特征,通过改进U-Net网络构建出深度图超分辨率重建网络(UDepth SR),该网络通过残差学习的方式,利用低分辨率(LR)深度图和高分辨率(HR)RGB图像,重建出HR深度图。UDepth SR在U-Net网络的Encoder-Decoder基础上增加多层次引导分支(MGB),该分支用来从彩色图像中提取多层次强度特征来引导深度残差图的重建;同时在跳跃连接中引入通道注意力机制模块(CAB),该模块用来突出那些包含丰富细节的通道信息来提取深度图的高频特征,从而为Decoder的上采样过程补充更精细的特征。Decoder提取的特征、MGB提取的分层特征和CAB提取的高频特征进行融合,通过残差学习得到HR深度图。在公开数据集上的实验结果表明,UDepth SR的结果优于一些传统方法和现有方法,验证了所提网络模型的有效性。(2)提出基于多尺度残差块的深度图超分辨率重建方法。为了充分利用深度图的多尺度特征和引导图像的高频特征,提出基于多尺度残差块的深度图超分辨率重建网络(MSRNet),该网络利用从RGB图像提取的高频特征来逐渐引导深度图的超分辨率重建过程。网络包含两个分支:高频引导分支(HFGB)和多尺度重建分支(MSRB)。HFGB中的高频层(High Frequency Layer,HFL)采用Octave卷积把RGB图像特征分解为高频特征和低频特征,只使用高频特征作为引导,用来提供有用的高频细节;对低频特征进行抑制以减少参数,保持重建效果的同时提高效率。MSRB中包含一种多尺度残差块(MSRM),这个模块在残差结构的基础上通过使用大小不同的卷积核来提取不同尺度下的深度特征,同时在不同尺度特征之间采用跳跃连接,实现特征的共享和复用,使深度特征在重建过程中得到充分的利用。HFL提取的高频特征和MSRM提取的多尺度特征进行特征融合重建出残差图,最后通过残差学习生成HR深度图。实验结果表明,MSRNet的实验结果优于一些传统方法和深度学习方法,具有一定的实际应用价值。

基于深度学习的RGBD图像增强方法研究

这是一篇关于RGBD图像,深度图超分辨率重建,深度学习,通道注意力机制,多尺度残差块的论文, 主要内容为深度信息是增强现实、三维重建、无人驾驶等众多应用场景中不可或缺的信息之一。RGBD相机不仅可以获取到场景的深度图像,还可以获取到同一场景下的彩色图像/RGB图像,然而受采集设备的限制,其获取得到的深度图分辨率远低于其对应的RGB图像的分辨率,很难满足实际应用的需求。针对这一问题,研究了在高分辨率RGB图像作为引导图像的条件下,对深度图像进行超分辨率重建的方法,充分利用RGB图像的细节信息来重建出高分辨率深度图,从而得到高分辨率高质量的深度图。主要研究工作如下:(1)提出基于改进U-Net网络的深度图超分辨率重建方法。为了充分利用深度图的高频特征和引导图像的层次特征,通过改进U-Net网络构建出深度图超分辨率重建网络(UDepth SR),该网络通过残差学习的方式,利用低分辨率(LR)深度图和高分辨率(HR)RGB图像,重建出HR深度图。UDepth SR在U-Net网络的Encoder-Decoder基础上增加多层次引导分支(MGB),该分支用来从彩色图像中提取多层次强度特征来引导深度残差图的重建;同时在跳跃连接中引入通道注意力机制模块(CAB),该模块用来突出那些包含丰富细节的通道信息来提取深度图的高频特征,从而为Decoder的上采样过程补充更精细的特征。Decoder提取的特征、MGB提取的分层特征和CAB提取的高频特征进行融合,通过残差学习得到HR深度图。在公开数据集上的实验结果表明,UDepth SR的结果优于一些传统方法和现有方法,验证了所提网络模型的有效性。(2)提出基于多尺度残差块的深度图超分辨率重建方法。为了充分利用深度图的多尺度特征和引导图像的高频特征,提出基于多尺度残差块的深度图超分辨率重建网络(MSRNet),该网络利用从RGB图像提取的高频特征来逐渐引导深度图的超分辨率重建过程。网络包含两个分支:高频引导分支(HFGB)和多尺度重建分支(MSRB)。HFGB中的高频层(High Frequency Layer,HFL)采用Octave卷积把RGB图像特征分解为高频特征和低频特征,只使用高频特征作为引导,用来提供有用的高频细节;对低频特征进行抑制以减少参数,保持重建效果的同时提高效率。MSRB中包含一种多尺度残差块(MSRM),这个模块在残差结构的基础上通过使用大小不同的卷积核来提取不同尺度下的深度特征,同时在不同尺度特征之间采用跳跃连接,实现特征的共享和复用,使深度特征在重建过程中得到充分的利用。HFL提取的高频特征和MSRM提取的多尺度特征进行特征融合重建出残差图,最后通过残差学习生成HR深度图。实验结果表明,MSRNet的实验结果优于一些传统方法和深度学习方法,具有一定的实际应用价值。

基于TCF与ESABiNet的推荐系统研究与设计

这是一篇关于时间因子,协同过滤,特征重要性,通道注意力机制,推荐系统的论文, 主要内容为随着各行各业的飞速发展,特别是互联网行业在近二十多年间的快速发展和壮大,许多主流互联网应用产生海量数据,然而如何利用这些数据为用户提供更优质的服务却困扰了许多互联网应用厂商,推荐系统在此背景下出现。比较流行的推荐策略是使用协同过滤算法作为召回层和基于深度学习的推荐模型作为排序层。然而传统的召回模型往往会带来较大稀疏度的用户评分矩阵,且传统的排序模型主要关注如何学习低阶和高阶特征,导致推荐效果降低。为了解决上述问题,本文在传统的协同过滤算法的基础上进行改进以及构建ESABiNet排序模型。具体研究工作如下:(1)以往的基于用户的协同过滤的做法是首先构建用户-物品评分矩阵,之后通过比较一些常用的相似度算法计算用户相似度并填充用户-物品评分矩阵,但这种方式往往导致矩阵稀疏度很大。而本文通过构造物品-物品特征矩阵,之后根据用户-物品评分矩阵和物品-物品特征矩阵得到用户-物品特征评分矩阵,然后使用这个矩阵计算相似度,在一定程度上缓解了矩阵的稀疏度。其次,我们通过改进修正的余弦相似度并融合时间因子,较大程度上提高了用户推荐准确度。(2)传统的排序模型主要关注如何学习低阶和高阶特征,然而它们忽略了通过注意力机制学习输入特征的重要性。对于提出的ESABiNet模型,本文先是通过Embedding层得到嵌入向量,然后利用通道注意力机制(EPSANET)动态学习特征的重要性,其次通过Cross Network层和Bi-Interaction层进行低阶特征交互,可以学习更加丰富的低阶特征,之后通过DNN层学习高阶特征,最后输出模型推荐结果。(3)本文使用基于时间因子的协同过滤算法作为召回层,ESABiNet模型作为排序层,并使用离线推荐和实时推荐并行策略,选择合适的冷启动方案,最终构建出推荐系统。本文的推荐系统在Windows 11系统下开发完成,并经过充分的测试,可以随着用户的深入使用,较为有效的提高推荐的准确度以及用户的满意度。

基于深度学习的RGBD图像增强方法研究

这是一篇关于RGBD图像,深度图超分辨率重建,深度学习,通道注意力机制,多尺度残差块的论文, 主要内容为深度信息是增强现实、三维重建、无人驾驶等众多应用场景中不可或缺的信息之一。RGBD相机不仅可以获取到场景的深度图像,还可以获取到同一场景下的彩色图像/RGB图像,然而受采集设备的限制,其获取得到的深度图分辨率远低于其对应的RGB图像的分辨率,很难满足实际应用的需求。针对这一问题,研究了在高分辨率RGB图像作为引导图像的条件下,对深度图像进行超分辨率重建的方法,充分利用RGB图像的细节信息来重建出高分辨率深度图,从而得到高分辨率高质量的深度图。主要研究工作如下:(1)提出基于改进U-Net网络的深度图超分辨率重建方法。为了充分利用深度图的高频特征和引导图像的层次特征,通过改进U-Net网络构建出深度图超分辨率重建网络(UDepth SR),该网络通过残差学习的方式,利用低分辨率(LR)深度图和高分辨率(HR)RGB图像,重建出HR深度图。UDepth SR在U-Net网络的Encoder-Decoder基础上增加多层次引导分支(MGB),该分支用来从彩色图像中提取多层次强度特征来引导深度残差图的重建;同时在跳跃连接中引入通道注意力机制模块(CAB),该模块用来突出那些包含丰富细节的通道信息来提取深度图的高频特征,从而为Decoder的上采样过程补充更精细的特征。Decoder提取的特征、MGB提取的分层特征和CAB提取的高频特征进行融合,通过残差学习得到HR深度图。在公开数据集上的实验结果表明,UDepth SR的结果优于一些传统方法和现有方法,验证了所提网络模型的有效性。(2)提出基于多尺度残差块的深度图超分辨率重建方法。为了充分利用深度图的多尺度特征和引导图像的高频特征,提出基于多尺度残差块的深度图超分辨率重建网络(MSRNet),该网络利用从RGB图像提取的高频特征来逐渐引导深度图的超分辨率重建过程。网络包含两个分支:高频引导分支(HFGB)和多尺度重建分支(MSRB)。HFGB中的高频层(High Frequency Layer,HFL)采用Octave卷积把RGB图像特征分解为高频特征和低频特征,只使用高频特征作为引导,用来提供有用的高频细节;对低频特征进行抑制以减少参数,保持重建效果的同时提高效率。MSRB中包含一种多尺度残差块(MSRM),这个模块在残差结构的基础上通过使用大小不同的卷积核来提取不同尺度下的深度特征,同时在不同尺度特征之间采用跳跃连接,实现特征的共享和复用,使深度特征在重建过程中得到充分的利用。HFL提取的高频特征和MSRM提取的多尺度特征进行特征融合重建出残差图,最后通过残差学习生成HR深度图。实验结果表明,MSRNet的实验结果优于一些传统方法和深度学习方法,具有一定的实际应用价值。