基于迁移学习和增量学习的船舶电力变换模块故障诊断
这是一篇关于船舶电力变换模块,迁移学习,增量学习,故障诊断的论文, 主要内容为船舶综合电力系统正朝着复杂化、自动化、智能化方向发展。电力变换模块作为船舶电力系统重要的电能变换器件和电机驱动器件,其安全稳定运行对整个系统的可靠性至关重要。由于船舶电力系统中装配了许多对电能质量十分敏感的电力变换装置,且船舶电力变换模块长期工作于高温、高湿和高盐雾的海上环境中,使船舶电力变换模块的故障发生率大大增加。故障发生后,如果不能及时诊断出故障位置和故障原因,将会对整个船舶电力系统造成巨大威胁。因此,为了保障船舶电力变换模块安全稳定的运行,对其进行故障诊断意义重大。本文以船舶电力变换模块为研究对象,开展基于迁移学习和增量学习的故障诊断方法研究,主要研究内容如下:一、针对船舶电力变换模块故障诊断中传统卷积神经网络易陷入局部最优、梯度消失和爆炸等问题,研究了一种改进卷积神经网络的故障诊断方法。该方法首先将原始输入信号作为模型的输入,然后通过首层宽卷积核的连续卷积层和全局最大池化层自动学习和提取输入域的特征,学习故障数据的高级特征表示,并对模型进行微调,最后用Softmax分类器进行故障识别。通过仿真实验验证,该方法能显著提高噪声状态下的故障诊断准确率。二、针对船舶电力变换模块变工况故障诊断问题,研究了一种基于最大均值差异残差域自适应的迁移学习故障诊断方法。该方法能高精度地诊断变工况故障数据,其中引入最大均值差异衡量源域数据与目标域数据之间的分布差异,以最小化分类损失和分布差异为优化目标,训练迁移学习模型并调整模型参数,最终建立变工况下的船舶电力变换模块的故障诊断模型。仿真实验结果表明该方法在变工况故障诊断中具有更优越的性能。三、针对实际船舶电力变换模块故障诊断中突发新故障问题,研究了一种基于深度残差网络和宽度学习系统的增量学习故障诊断方法。该方法能高效精准地诊断历史故障和新故障,首先应用残差网络得到原始数据的深层特征表示,然后用得到的特征和对应标签对宽度学习系统进行更新和识别。对于新收集的数据,通过残差网络的自动特征提取和宽度学习系统的节点扩展来识别新的故障模式,实现故障模式的增量学习。仿真实验验证了所提方法的有效性。
基于深度学习的通信干扰信号开集识别
这是一篇关于通信干扰信号识别,深度学习,开集识别,无监督聚类,对比学习,增量学习的论文, 主要内容为随着电磁环境的日益越复杂,通信系统面临的干扰将越来越多。根据识别出的干扰信号采取相应的抗干扰措施,可以有效地提高通信质量。因此,通信干扰信号识别将成为未来智能抗干扰通信的关键技术之一,并引起了众多研究人员的关注,本文主要研究基于深度学习的通信干扰信号开集识别。现有的基于深度学习的通信干扰信号识别需要大量有标签的样本数据,针对无标签通信干扰信号识别,本文提出了基于对比学习的无监督通信干扰信号识别方法——双阶段双重对比聚类(Double Phases and Double Dimensions Contrastive Clustering,DDCC)。在第一阶段,对通信干扰信号使用了数据增强策略生成正负样本对,并进行基于数据增强的对比学习。在第二阶段,使用第一阶段对比学习获得的预训练网络获得原始数据集的k-最近邻样本集,并构建正负样本对,然后进行基于k-最邻近样本的双重对比学习,其中,特征维对比学习提升网络特征提取能力,聚类维对比学习完成聚类。此外,还提出了一种动态熵参数训练策略。对9种通信干扰信号的仿真实验表明,DDCC的性能优于其他五种深度聚类算法,并接近于监督学习算法。针对现有的基于深度学习通信干扰信号开集识别方法的拒绝未知类通信干扰信号鲁棒性较差的问题,本文提出了一种空心卷积原型学习(Hollow Convolutional Prototype Learning,HCPL)。利用基于内积的交叉熵损失将原型更新到特征空间的外围,从而为未知类样本留下内部空间;利用中心损失提升各类样本特征的类内紧致性,并将已知类样本特征分配到对应原型周围;利用半径损失以减少原型范数对未知类拒绝率的影响。设计了适用于通信干扰信号的混合注意力和特征重用网络(Hybrid Attention and Feature Reuse Net,HAFRNet),该网络包含特征重用结构和混合域注意力模块(Hybrid Domain Attention Module,HDAM),HDAM可以通过自动构建全局注意力矩阵来校正时间域和通道域特征响应并整合全局信息。对9种通信干扰信号的仿真实验表明,该方法在保持高的已知类分类准确率的同时,得到了高的未知类拒绝率,性能优于现有方法,并且所需的存储资源较少。现有通信干扰信号闭集识别和开集识别都属于静态识别,不具备增量识别能力。为此,本文提出特定于任务的深度开集类增量学习算法(Task-specific Deep Open-set Class Incremental Learning,TOCIL),以解决开集通信干扰信号增量识别问题。首先,设计了TOCIL网络结构,将类增量学习解构为任务内和任务间的分类问题,为每个子任务分配独立的投影头以得到不同的嵌入空间,并利用空心卷积原型学习方法对任务内通信干扰信号分类的同时使网络具备一定的开集识别能力。其次,在损失函数中添加开集损失约束,解决任务间分类问题。然后,利用训练集中样本特征距离对应原型最近的一部分样本构造记忆集并参与后续增量训练,进一步提升开集通信干扰信号增量识别性能。最后,对30种通信干扰信号的仿真实验表明,在不同的增量场景和干噪比(Jamming-Noise-Ratio,JNR)环境下,TOCIL不仅表现出优于四种不保留全部样本的增量学习方法的通信干扰信号类增量能力,而且通信干扰信号开集识别性能优于五种对比方法。
融合社交网络特征的增量推荐方法研究与实现
这是一篇关于推荐系统,深度学习,增量学习,生成对抗网络,注意力机制的论文, 主要内容为伴随着互联网的蓬勃发展,我们早已处于“信息过载”时代,从海量数据中快速获取有效信息变得愈发重要。因此,推荐系统作为解决“信息过载”难题的有效方式,具有重要的研究意义。随着深度学习技术在推荐系统中的广泛应用,以及学者们逐渐开始将社交信息作为推荐系统输入特征之一,在一定程度上解决了传统推荐方法的泛化能力弱和数据稀疏问题。但二者还存在一些局限性,一方面,现有的基于社交特征的推荐方法大多通过挖掘用户的历史社交行为来为不同用户之间的影响值赋予固定的权重,却忽略了用户之间的影响值在用户与不同项目的交互过程中会发生变化。另一方面,现有的深度学习推荐模型大多是基于离线模式构建的,这种模型无法在连续学习新任务的同时保存大部分以前已经学习到的知识,即不具备增量学习的能力。针对上述问题,本文首先在深度神经网络中引入了协同注意力机制充分学习用户社交特征,保障推荐结果的准确性。其次,将生成对抗网络与改进后的弹性权重巩固算法相结合,提升推荐模型在学习连续任务时的性能。本文主要工作如下:(1)针对现有社交推荐方法未考虑到的用户间影响值在用户与不同项目交互过程中会发生变化的问题,设计了一种融合社交网络特征和协同注意力机制的推荐方法。首先,利用Deep Walk技术学习隐藏在社交网络中的用户社交特征高维表示并作为一种新的特征输入推荐模型;其次,设计了基于协同注意力机制的深度神经网络推荐模型(co-Attention Deep Neural Network Recommendation Model,c A-DNRM),其中的协同注意力模块能够处理多个输入序列并协同学习不同输入序列之间的内在关系,创新性地实现了动态学习不同项目中用户与朋友间的影响权重;最后,在Douban和Epinions数据集上的实验结果表明,与传统社交推荐方法以及基于深度学习的推荐方法相比,HR和NDCG指标均有提升,说明c A-DNRM模型能够更加充分地利用社交网络信息,有效提高了推荐结果的准确性。(2)为了使得推荐模型具备增量学习能力,设计了基于生成对抗网络和改进弹性权重的增量学习方法。首先,利用基于生成对抗网络的回放生成框架模拟符合真实特征分布的旧任务数据,在为后续增量学习算法提供回放数据支持的同时,解决了传统方法需要存储旧任务样本导致内存空间较大的问题;其次,针对传统正则化增量学习方法在神经网络模型长期学习时共享参数子空间的交集越来越小,参数约束误差积累较大的问题,设计了基于参数剪枝的重叠子空间扩展策略对弹性权重巩固算法进行了改进,依据参数对于当前任务的重要程度决定是否剪枝从而扩展共享参数重叠子空间;最后,在split MNIST和permuted MNIST数据集上的实验结果表明,本文方法增强了推荐模型的增量学习能力,且ACC指标优于基线方法。
基于动态知识图谱的推荐算法研究
这是一篇关于知识图谱,推荐算法,注意力网络,邻域聚合,增量学习的论文, 主要内容为推荐系统是基于用户行为日志和兴趣等信息,并利用数据分析技术为用户提供服务的系统,已经得到了广泛应用。目前,利用知识图谱的优势来提高推荐的性能已成为了一个热门方向。其中,图神经网络(GNN)被广泛用于推荐算法中以更好地处理图数据,但目前基于GNN的推荐模型仍存在一些问题。首先,现有模型未能更细粒度地传播和聚合用户偏好和项目的邻域信息,也忽略了用户与未交互项目之间的潜在联系,难以获得更为准确的用户偏好与项目的特征向量表示,这将导致模型推荐效果不佳。其次,在动态推荐场景下,现有方法仅将新知识简单地嵌入知识图谱中,并将嵌入新知识后的知识图谱中的节点向量进行全量更新,导致模型的训练时间过长。针对以上问题,本文分别提出了新的知识图谱推荐模型与新的动态更新模型。全文主要工作如下:(1)现有方法存在未对用户偏好与项目进行更细粒度地建模以及忽略用户与未交互项目间潜在联系的问题。因此,本文提出了融合用户偏好与项目邻域信息的注意力推荐模型(PNGAT)以解决该问题。首先,该模型使用注意力网络对用户偏好进行独立传播及聚合,得到其向量表示。然后,通过计算未交互项目与用户偏好的相关程度,找出目标项目作为用户的潜在兴趣对象,同样对目标项目的邻域信息进行独立传播及聚合,得到其向量表示。最后,通过多跳及融合得到用户偏好和目标项目的特征向量,并输入深度神经网络得出预测评分。(2)现有方法存在将新知识简单地嵌入图谱以及对其进行全量更新所导致的动态更新效率不佳的问题。因此,本文提出了基于增量学习的动态知识图谱推荐模型(ILDGR)以解决该问题。首先,该模型根据重要性原则对知识图谱的局部旧知识进行采样回放,以解决增量更新过程中产生的遗忘问题。然后,将局部旧知识与新知识节点的嵌入向量进行初始化,并利用中心节点传播的方式更新局部节点的嵌入向量。最后,将更新后的嵌入向量输入PNGAT模型得到预测评分。(3)本文利用公开数据集进行实验分析,验证了所提模型的有效性。
融合社交网络特征的增量推荐方法研究与实现
这是一篇关于推荐系统,深度学习,增量学习,生成对抗网络,注意力机制的论文, 主要内容为伴随着互联网的蓬勃发展,我们早已处于“信息过载”时代,从海量数据中快速获取有效信息变得愈发重要。因此,推荐系统作为解决“信息过载”难题的有效方式,具有重要的研究意义。随着深度学习技术在推荐系统中的广泛应用,以及学者们逐渐开始将社交信息作为推荐系统输入特征之一,在一定程度上解决了传统推荐方法的泛化能力弱和数据稀疏问题。但二者还存在一些局限性,一方面,现有的基于社交特征的推荐方法大多通过挖掘用户的历史社交行为来为不同用户之间的影响值赋予固定的权重,却忽略了用户之间的影响值在用户与不同项目的交互过程中会发生变化。另一方面,现有的深度学习推荐模型大多是基于离线模式构建的,这种模型无法在连续学习新任务的同时保存大部分以前已经学习到的知识,即不具备增量学习的能力。针对上述问题,本文首先在深度神经网络中引入了协同注意力机制充分学习用户社交特征,保障推荐结果的准确性。其次,将生成对抗网络与改进后的弹性权重巩固算法相结合,提升推荐模型在学习连续任务时的性能。本文主要工作如下:(1)针对现有社交推荐方法未考虑到的用户间影响值在用户与不同项目交互过程中会发生变化的问题,设计了一种融合社交网络特征和协同注意力机制的推荐方法。首先,利用Deep Walk技术学习隐藏在社交网络中的用户社交特征高维表示并作为一种新的特征输入推荐模型;其次,设计了基于协同注意力机制的深度神经网络推荐模型(co-Attention Deep Neural Network Recommendation Model,c A-DNRM),其中的协同注意力模块能够处理多个输入序列并协同学习不同输入序列之间的内在关系,创新性地实现了动态学习不同项目中用户与朋友间的影响权重;最后,在Douban和Epinions数据集上的实验结果表明,与传统社交推荐方法以及基于深度学习的推荐方法相比,HR和NDCG指标均有提升,说明c A-DNRM模型能够更加充分地利用社交网络信息,有效提高了推荐结果的准确性。(2)为了使得推荐模型具备增量学习能力,设计了基于生成对抗网络和改进弹性权重的增量学习方法。首先,利用基于生成对抗网络的回放生成框架模拟符合真实特征分布的旧任务数据,在为后续增量学习算法提供回放数据支持的同时,解决了传统方法需要存储旧任务样本导致内存空间较大的问题;其次,针对传统正则化增量学习方法在神经网络模型长期学习时共享参数子空间的交集越来越小,参数约束误差积累较大的问题,设计了基于参数剪枝的重叠子空间扩展策略对弹性权重巩固算法进行了改进,依据参数对于当前任务的重要程度决定是否剪枝从而扩展共享参数重叠子空间;最后,在split MNIST和permuted MNIST数据集上的实验结果表明,本文方法增强了推荐模型的增量学习能力,且ACC指标优于基线方法。
基于深度学习的肺结节检测与增量学习方法研究
这是一篇关于肺结节检测,深度学习,无锚检测头,自注意力,增量学习,特征蒸馏的论文, 主要内容为近年来,由于抽烟、空气污染以及遗传等多种因素,肺癌的发病率和死亡率都在趋于高位,肺部肿瘤严重危害人们的健康。肺结节作为肺癌的早期症状,及早发现肺结节并按时监测对于降低肺癌发病率和死亡率具有重要意义。随着深度学习的发展,计算机辅助肺结节检测已经取得了很大的进展。使用深度学习方法进行肺结节检测可以获得更高的准确度和敏感度,这对于早期诊断和治疗非常重要。深度学习检测模型可以自动地在大量的CT图像中检测肺结节,大大减轻了医生的工作负担。并且可以在短时间内处理大量的数据,提高了检测速度和效率。相比于传统方法手工制作特征,深度学习模型可以自动地学习结节特征,能够有效提高模型的准确度。基于深度学习在肺结节检测中的各项优势,本文的主要研究内容如下:(1)现有的三维检测方法需要更多的计算资源和训练时间,二维检测方法效率高但精度不佳,如何平衡计算资源和检测精度是肺结节临床辅助诊断所面临的问题。针对这一问题,提出了一种多维多尺度特征融合的无锚肺结节检测方法,该检测方法的特征提取阶段分为二维特征提取和多视图特征提取,首先利用二维卷积网络提取多尺度语义特征。其次,基于自注意力与三维卷积具有相似性,为了降低计算量,采用Transformer编码器替代三维卷积提取多视图特征。最后将提取的多尺度语义特征与多视图特征通过多维特征融合模块融合,得到多分辨率、语义特征丰富、位置信息精确的融合特征图。检测阶段设计了面向生物视觉的无锚检测头,在检测头中使用圆形卷积核以获得更适应结节形态特征的圆形感受野,并设计了更符合医生标注的中心点分支加半径分支。在LUNA16数据集上进行实验验证,结果表明该方法竞争性能指标(CPM)达到了0.850,高于目前主流二维检测方法。FLOPs值低至9.7G,单样本序列检测时间为1.59s,计算资源消耗均低于主流三维检测方法,达到了计算资源和检测精度的有效平衡。(2)针对卷积神经网络在肺结节检测中仅有局部感受野,检测假阳性率高的现象,提出了两种卷积与自注意力融合模块。首先将三维卷积引入Transformer,作为全局C-T模块捕获肺结节全局上下文联系。其中卷积用于建模局部空间位置信息,自注意力用于整理全局信息以提高网络对假阳性结节鉴别能力。然后将自注意力引入残差模块,作为局部C-T模块以提高网络泛化能力。针对三维特征信息丰富计算困难的特点,提出一种空间注意力,采用提出的TM计算方式对Q、K、V矩阵进行计算。为了保持三维特征中结节位置信息不变,不再进行展平操作,而是直接在三维矩阵上计算。在LUNA16数据集上进行交叉验证实验,结果表明该方法FROC曲线整体高于主流方法,竞争性能指标(CPM)达到了0.877,具有较高的敏感度,为临床辅助医生检测提供了有效参考信息。(3)当有新样本到来时,现有的模型增量更新方法存在灾难性遗忘、更新时空成本过高等问题。为了克服上述问题,提出了一种基于弹性权重整合(EWC)和特征蒸馏的肺结节检测增量学习方法。首先对CT图像进行肺实质分割;其次基于弹性权重整合方法优化原始模型,将费舍尔信息矩阵简化为参数权重矩阵以减少计算量,然后基于参数权重矩阵在更新过程中将正则化惩罚项引入损失函数,限制重要参数的变化得到增量更新后的优化模型;最后将原始模型作为教师网络,优化模型作为学生网络计算特征蒸馏损失以提高优化模型性能,在不遗忘已学习知识的条件下实现对新样本的充分拟合。该方法在LUNA16数据集上进行了交叉验证,结果显示该方法提高了模型增量学习能力,在敏感度、准确度上取得了较好的效果,并且实现了低假阳性,具有较低的时空开销。(4)基于本文创新方法,设计了一种肺结节辅助检测系统,该系统以Vue作为前端框架,Flask服务器作为模型服务器,Orthanc服务器用于存储切片数据。该系统实现了对肺结节的检测与识别。综上所述,本文针对基于深度学习的肺结节检测中存在的一些问题,提出了两种肺结节检测方法以及一种肺结节检测增量学习方法,通过大量实验验证了方法的有效性。并且在多维多尺度特征融合的无锚肺结节检测方法的基础上设计了一种肺结节辅助检测系统,能够提高医生工作效率。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://m.bishedaima.com/lunwen/47796.html
