面向城市公共安全数据长尾分布的实体关系抽取技术研究
这是一篇关于城市公共安全,知识图谱,关系抽取,少样本学习,原型网络,长尾分布的论文, 主要内容为城市公共安全数据量繁杂庞大,通过人力无法从这些数据中高效精准地抽取信息。知识图谱通过将城市中的事物嵌入为实体,并提取各实体间的关系,能更高效、精准地进行城市公共安全管理。实体关系抽取是构建知识图谱的核心环节,而城市公共安全数据长尾分布中尾部类实例相对匮乏,少样本问题造成实体关系抽取准确率不理想,因此如何提高少样本实体关系抽取的准确率成为当下急需解决的重要课题。根据实体关系抽取在数据长尾分布中的特点,本课题分为垂直领域实体关系抽取研究和跨领域实体关系抽取研究。在垂直领域场景中,本课题提出双向匹配聚合模型,利用双向训练提升模型对尾部实例关系抽取的准确率;在跨领域场景中,本课题提出双向全局转换模型,通过双向全局转换提升模型在关系混淆中识别关系类型的能力,从而提升了模型对尾部实例关系抽取的准确率。本课题的主要工作如下:(1)提出基于少样本学习的双向匹配聚合网络模型BMAN,该模型利用数据的对称性学习更多关系原型的特征。模型首先利用原型网络预测查询实例的关系,再利用获取的关系计算出查询实例的关系原型,以验证得到关系的准确性并纠正模型预测的偏差。(2)设计出数据增强方法,该方法针对不同的任务场景使用不同的映射方法,确保每一个查询实例都参与逆向关系原型的计算,取得正向与逆向训练之间的联系,同时在实例关系类型的范围内扩大实例样本的数量,避免双向匹配中的过度拟合。(3)提出基于少样本学习的双向全局转换网络模型BGTN,该模型使用全局转换学习候选类间的判别信息,用于在跨领域任务场景中传递更多的知识,同时利用球坐标嵌入空间的表示学习,在嵌入空间中聚合类内的实例嵌入表示并分离类间的实例嵌入表示。
基于跨模态原型生成的阿尔茨海默病预测方法研究
这是一篇关于阿尔茨海默病,少样本学习,原型网络,跨模态,域适应的论文, 主要内容为阿尔茨海默病(Alzheimer’s disease,AD)是老年人痴呆疾病中的典型。该病的临床症状表现较为复杂,如记忆力衰退、行为异常以及认知功能的障碍,目前没有有效的治疗方案可以阻止或逆转AD的进展。AD的早期诊断和准确识别具有一定的挑战性,这通常会导致治疗的延误。医学上将阿尔茨海默病的发展分为三个阶段:正常人(normal control,NC)、轻度认知障碍(mild cognitive impairment,MCI)、AD。目前,磁共振成像(magnetic resonance imaging,MRI)已经被广泛用作以上三个阶段的分类,因此将MRI作为一种早期诊断AD的影像数据并基于此对AD进行分类,对疾病的准确诊断、早期干预有重大研究意义。本文以结构磁共振成像(structural magnetic resonance imaging,s MRI)为主要模态数据,基于跨模态原型对AD分类展开研究。首先对于AD分类中的误分情况,结合多模态知识,提出自适应的跨模态原型,并在数据集来源不同的情况下,设计了域适应网络,有效应对数据来源不同导致的分类模型效果不理想的情况。本文的主要研究内容和工作有:1)在单一MRI模态的情况下,使用传统方法会导致AD分类任务中大量的MCI误分现象。本文基于度量学习的思想,利用其他模态数据以生成跨模态原型,从调整分类边界的角度来降低MRI误分率。此外,本文提出了自适应机制,动态调整多模态数据的比重,让有价值的模态特征发挥尽可能大的作用,从而提升框架的可用性。2)根据ADNI数据集训练出的模型,其被用来在另一个数据分布不同的数据集上时,分类效果很不理想。针对这类AD数据集来源不同导致模型无法共用的问题,本文基于域对抗网络的思想,在第三章模型的原型生成阶段作干预,加入域判别器和标签分类器,二者协同工作,构成跨域原型生成网络,让原型的特征表达兼顾数据来源与分类效果。3)为辅助医生对疑难影像的诊断,本文结合以上模型,使用Spring Boot结合MVC作为主要框架,My SQL和Redis作为数据存储的组件,开发了基于跨模态原型生成的AD辅助诊断系统。
基于关系融合与联合损失优化的小样本关系分类研究
这是一篇关于小样本学习,关系分类,原型网络,监督对比学习,关系信息的论文, 主要内容为随着全球互联网技术不断发展,海量非结构化数据呈现出爆炸式增长,需要使用信息抽取技术将其转换为结构化知识。其中,关系分类作为信息抽取的关键环节,旨在从上下文中识别给定实体之间的关系,对于文本语义理解以及知识图谱构建具有重要作用。然而,当前基于有监督学习的关系分类模型严重依赖于大规模标注数据,而现实中大规模高质量的人工标注数据难以获取。面对上述挑战,小样本学习成为一种有前景的解决方案,它可以在少量标注数据的情况下快速识别新任务。因此,本文旨在探讨小样本场景下的关系分类任务,围绕增强类原型表示和样本特征表示判别性等方面展开理论及实验研究。首先,为了进一步提升模型分类准确率,从如何增强类原型表示判别性的角度,提出基于关系信息自适应融合的类原型增强方法(PE-AFRI)。该方法首先使用样本级别注意力模块对查询样本和支持集样本进行交互,从而获得初步增强的类原型QEProto;然后,根据当前查询样本和分类场景将QEProto和关系信息进行自适应融合,获得融合关系信息的类原型FRProto,以期使得各关系类别之间更易区分。其次,为使模型学得更具判别性的样本表示以提升模型分类性能,在分析交叉熵损失函数不足的基础上,提出基于联合损失优化的特征表示增强方法。该方法将监督对比学习引入小样本关系分类任务,并联合交叉熵损失和监督对比损失对模型进行训练。其中,交叉熵损失函数用于计算模型预测结果的分类损失,监督对比损失函数用于学习样本的特征表示。通过共享模型参数,监督对比学习所学得的判别性特征表示可对关系分类任务的特征进行补充和加强,从而有利于使嵌入空间中不同关系类别之间更为分散,同一关系类别内部更为紧凑。最后,在上述研究基础上,构建基于PE-AFRI和联合损失优化的小样本关系分类模型ARF-JLO-PN,并在Few Rel数据集上开展多种实验,验证了ARF-JLO-PN模型相较于其他模型的性能优越性,以及基于关系信息自适应融合的类原型增强方法、基于联合损失优化的特征表示增强方法对ARF-JLO-PN模型性能提升的有效性。
面向城市公共安全数据长尾分布的实体关系抽取技术研究
这是一篇关于城市公共安全,知识图谱,关系抽取,少样本学习,原型网络,长尾分布的论文, 主要内容为城市公共安全数据量繁杂庞大,通过人力无法从这些数据中高效精准地抽取信息。知识图谱通过将城市中的事物嵌入为实体,并提取各实体间的关系,能更高效、精准地进行城市公共安全管理。实体关系抽取是构建知识图谱的核心环节,而城市公共安全数据长尾分布中尾部类实例相对匮乏,少样本问题造成实体关系抽取准确率不理想,因此如何提高少样本实体关系抽取的准确率成为当下急需解决的重要课题。根据实体关系抽取在数据长尾分布中的特点,本课题分为垂直领域实体关系抽取研究和跨领域实体关系抽取研究。在垂直领域场景中,本课题提出双向匹配聚合模型,利用双向训练提升模型对尾部实例关系抽取的准确率;在跨领域场景中,本课题提出双向全局转换模型,通过双向全局转换提升模型在关系混淆中识别关系类型的能力,从而提升了模型对尾部实例关系抽取的准确率。本课题的主要工作如下:(1)提出基于少样本学习的双向匹配聚合网络模型BMAN,该模型利用数据的对称性学习更多关系原型的特征。模型首先利用原型网络预测查询实例的关系,再利用获取的关系计算出查询实例的关系原型,以验证得到关系的准确性并纠正模型预测的偏差。(2)设计出数据增强方法,该方法针对不同的任务场景使用不同的映射方法,确保每一个查询实例都参与逆向关系原型的计算,取得正向与逆向训练之间的联系,同时在实例关系类型的范围内扩大实例样本的数量,避免双向匹配中的过度拟合。(3)提出基于少样本学习的双向全局转换网络模型BGTN,该模型使用全局转换学习候选类间的判别信息,用于在跨领域任务场景中传递更多的知识,同时利用球坐标嵌入空间的表示学习,在嵌入空间中聚合类内的实例嵌入表示并分离类间的实例嵌入表示。
面向城市公共安全数据长尾分布的实体关系抽取技术研究
这是一篇关于城市公共安全,知识图谱,关系抽取,少样本学习,原型网络,长尾分布的论文, 主要内容为城市公共安全数据量繁杂庞大,通过人力无法从这些数据中高效精准地抽取信息。知识图谱通过将城市中的事物嵌入为实体,并提取各实体间的关系,能更高效、精准地进行城市公共安全管理。实体关系抽取是构建知识图谱的核心环节,而城市公共安全数据长尾分布中尾部类实例相对匮乏,少样本问题造成实体关系抽取准确率不理想,因此如何提高少样本实体关系抽取的准确率成为当下急需解决的重要课题。根据实体关系抽取在数据长尾分布中的特点,本课题分为垂直领域实体关系抽取研究和跨领域实体关系抽取研究。在垂直领域场景中,本课题提出双向匹配聚合模型,利用双向训练提升模型对尾部实例关系抽取的准确率;在跨领域场景中,本课题提出双向全局转换模型,通过双向全局转换提升模型在关系混淆中识别关系类型的能力,从而提升了模型对尾部实例关系抽取的准确率。本课题的主要工作如下:(1)提出基于少样本学习的双向匹配聚合网络模型BMAN,该模型利用数据的对称性学习更多关系原型的特征。模型首先利用原型网络预测查询实例的关系,再利用获取的关系计算出查询实例的关系原型,以验证得到关系的准确性并纠正模型预测的偏差。(2)设计出数据增强方法,该方法针对不同的任务场景使用不同的映射方法,确保每一个查询实例都参与逆向关系原型的计算,取得正向与逆向训练之间的联系,同时在实例关系类型的范围内扩大实例样本的数量,避免双向匹配中的过度拟合。(3)提出基于少样本学习的双向全局转换网络模型BGTN,该模型使用全局转换学习候选类间的判别信息,用于在跨领域任务场景中传递更多的知识,同时利用球坐标嵌入空间的表示学习,在嵌入空间中聚合类内的实例嵌入表示并分离类间的实例嵌入表示。
基于表示学习的关系抽取和知识图谱补全方法的研究
这是一篇关于表示学习,关系抽取,知识图谱补全,原型网络,实体卷积的论文, 主要内容为知识图谱的本质是一个具有有向图结构的知识库,是利用事实三元组的形式从非结构化文本中抽取信息。被广泛应用到信息检索、推荐系统等领域。在知识图谱构建过程中,关系抽取和知识图谱补全是其中两个关键子任务,鉴于表示学习可以充分使用知识图谱中实体和关系的表征信息,本文从表示学习的角度对关系抽取任务和知识图谱补全任务展开研究。首先,关系抽取是在给定文本中抽取头实体和尾实体之间关系,进而更好的构建知识图谱中的关系信息。当前深度学习技术在关系抽取领域取得较好成绩,但是深度学习模型严重依赖大规模标注语料,且头尾实体信息的作用没有被充分的挖掘。针对以上问题,本文提出一种基于实体卷积的原型网络关系抽取方法,将经过BERT编码的头实体和尾实体向量转变成多个卷积核,在原句子上进行卷积操作,抽取句子中与实体相关的特征,使得抽取的特征能够更多的表征头尾实体信息,然后利用原型网络对抽取到的特征进行分类。该方法解决稀疏标注下模型性能受限,句子中的实体信息没有被充分利用的问题。最后,在Few Rel 1.0和Few Rel 2.0数据集上对本文提出的基于实体卷积的原型网络关系抽取模型进行实验对比分析,验证本文所提方法的有效性和优越性。其次,知识图谱补全根据知识图谱中已有的实体和关系挖掘潜在的三元组,进而完善知识图谱。当前基于神经网络实现的知识图谱补全模型取得较好成绩,但仍对实体和关系的表征信息利用不够充分。因此,本文提出一种基于2D卷积的知识图谱补全方法,对实体嵌入和关系嵌入在元素级上融合生成2D矩阵,该矩阵能够融合更多头实体和关系的表征信息,利用2D卷积操作抽取矩阵中的特征从而更好的拟合尾实体。最后,在WN18RR、FB15k-237、KINSHIP和UMLS数据集上对本文提出的基于2D卷积的知识图谱补全模型进行实验对比分析,验证本文所提方法的有效性和优越性。
基于深度学习的小样本图像分类研究
这是一篇关于小样本学习,图像分类,深度学习,原型网络,转导传播网络的论文, 主要内容为以大量数据为支撑,基于深度学习的图像分类发展迅速。然而,很多领域数据天然稀缺或者由于安全、隐私等原因难以收集到足量的训练数据。基于深度学习的小样本图像分类在很多标注数据较少的领域展现出了极其广阔的应用前景,因而具有重要的研究意义与应用价值。本文研究内容如下:(1)针对转导传播网络(Transductive Propagation Networks,TPN)对复杂度较高的小样本数据集样本提取的特征向量相似、质量不高的问题和面对类别不均衡的小样本数据集分类性能不佳的问题,提出了一种基于TPN的小样本图像分类模型——CF-TPN。具体方法是:1)在特征嵌入模块添加卷积块注意力模块CBAM,增强其对样本特征的提取能力;2)将原本的交叉熵损失函数替换为Focal Loss损失函数,缓解模型在面对类别不均衡的小样本数据集时分类准确率会降低的问题。在mini Image Net和tiered Image Net这两个小样本公用数据集上分别进行对比实验,实验结果表明在小样本图像分类任务中CF-TPN模型的分类准确率有明显提升。(2)针对原型网络(Prototypical Network,PN)对样本特征提取不充分的问题、特征表示偏差问题和度量方法复杂度较高的问题,提出了一种基于PN的小样本图像分类模型——BR-MDPN。具体方法是:1)采用Res Net12替换原来的主干网络,增强对样本特征的提取能力;2)采用伪标签策略,将置信度高的伪标签样本添加到支持集中以减小类原型表示偏差,通过添加平衡项的方式来减小查询样本特征表示偏差,从而对特征表示偏差进行修正;3)采用曼哈顿距离度量代替原来的欧氏距离度量。在mini Image Net和CUB-200-2011这两个小样本公用数据集上分别进行对比实验,实验结果表明在小样本图像分类任务中BR-MDPN模型的分类准确率有显著提升。
基于深度学习的小样本滚动轴承故障诊断研究
这是一篇关于滚动轴承,故障诊断,小样本,条件变分生成对抗网络,原型网络,注意力机制的论文, 主要内容为滚动轴承的故障诊断研究对于工业生产系统的可靠性和稳定性具有重大意义。由于出色的性能,基于深度学习的方法在滚动轴承故障诊断领域取得了广泛的应用。然而,将深度学习方法应用于滚动轴承的故障诊断时仍存在着如下问题:深度学习模型的训练需要依赖大量样本,而实际工业过程中滚动轴承经常面临样本不足的情形;此外,深度学习模型中不恰当的特征提取也有可能会造成信息丢失。针对上述这些问题,本文提出了两种基于深度学习的少量和极少量样本下滚动轴承的故障诊断方法,并设计开发了一个轴系系统智能故障诊断实验平台。本文的具体研究内容归纳如下:针对少量样本情形下的滚动轴承故障诊断问题,本文采用基于数据增强的方法扩充样本,并使用深度学习的方法对扩充后的样本进行诊断。首先,提出了一种基于多尺度条件变分生成对抗网络(Multi-scale CVAE-GAN,MS-CVAE-GAN)的数据增强方法。MS-CVAE-GAN采用多尺度卷积和梯度惩罚项,能够改善特征提取能力并增加模型稳定性。在此基础上,使用MS-CVAE-GAN学习样本特征并生成故障样本。此外,提出一种基于多注意力机制的并行CNN-GRU(multi-attention parallel CNNGRU,MAPCG)故障诊断方法以并验证MS-CVAE-GAN所生成样本的质量。通过并行的网络结构和注意力机制,MAPCG能够避免信息丢失并获取到更具代表性的特征。最后,在两个数据集上对MS-CVAE-GAN和MAPCG的有效性进行了验证。针对极少量样本情形下的滚动轴承故障诊断问题,本文提出了一种基于原型网络的多任务故障诊断模型(Prototypical Networks-based multi-task model,PNBMTM)。首先,基于原型网络搭建卷积自编码器结构并使用注意力模块过滤特征,从而改善学习到的特征质量。引入相对距离损失使网络考虑多种原型的影响,以得到更具全局性的嵌入特征。在此基础上,设计了一个多任务损失函数用于指导网络训练。通过实验证明了PNBMTM在极少量样本下能够取得较好的诊断效果。针对轴系系统设计并开发了一个智能故障诊断实验平台。首先,基于轴系故障模拟实验台和服务器等搭建了硬件系统。然后,基于Python语言开发了一套智能故障诊断算法软件,实现了数据采集、数据预处理、模型训练和实时诊断等功能。最后,将本文所提方法在实验平台上进行了验证。结果表明,所设计的平台针对轴系系统的故障能够达到接近100%的诊断率,且功能齐全、操作简单,具有一定的工业应用潜力。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计工坊 ，原文地址：https://m.bishedaima.com/lunwen/48696.html
