基于关系拆分的实体关系联合抽取模型的设计与实现
这是一篇关于实体关系抽取,关系拆分,序列到序列,自注意力,知识图谱的论文, 主要内容为随着互联网的发展,海量的数据随之诞生。文本数据作为人们接触最多的信息形式之一,其中包含着很多有价值的信息,如何从复杂冗余的文本数据中获取有价值的关键信息非常重要。实体关系抽取作为信息抽取的基础任务之一,具有非常重要的意义。在此背景下,本文提出了一种基于关系拆分的实体关系联合抽取模型。随着深度学习技术的发展,实体关系联合抽取技术取得了很大进展。目前,主流的实体关系联合抽取大多采用序列标注的思路,但现有标注策略存在标注次数过多或标签重叠等不足之处。针对该问题,本文提出了一种基于关系拆分的标注策略,在减少标签重叠问题的同时降低复杂度,在此基础上提出了基于关系拆分的实体关系联合抽取模型,在模型的编码器层应用多头自注意力机制进行文本表示,以提高模型的信息提取能力,在解码器层应用标签嵌入技术将不同的关系映射到连续的向量空间中,从而使模型能够同时在不同关系上进行序列标注,在模型的损失函数上应用标签平滑和代价敏感学习技术,从而优化模型收敛过程、减少关系拆分带来的标签类别不平衡问题。为了验证模型性能,本文选择了两个公开数据集设计了四组实验,证明了模型的准确性。最后,本文将所提出模型应用于电网故障领域,自行构建了电网故障领域数据集,通过实验验证模型在电网故障领域文本上的有效性,通过知识的抽取、加工、存储和可视化等步骤,完成电网故障领域知识图谱的构建。
基于深度神经网络的实体和关系联合抽取关键技术研究
这是一篇关于实体和关系联合抽取,序列到序列,复制机制,条件随机场,BERT的论文, 主要内容为随着互联网技术的发展,当今世界正朝着大数据时代迈进,如何准确高效的从海量文本数据中抽取有用的信息显得越发重要。关系抽取作为信息抽取的主要任务,旨在从非结构化的文本中抽取出实体间存在的语义关系,其在构建知识图谱、信息检索和自动问答等领域具有重要的应用价值。传统的方法一般将关系抽取视为一个独立任务,采用串联的方式处理,即在命名实体识别任务的基础上再对关系进行分类。其主要缺点是忽略了命名实体识别和关系抽取这两个任务间存在的关联性,并造成误差的传播,从而影响最终的效果。因此,实体和关系联合抽取技术开始受到学术界和企业界的广泛关注,逐渐成为热门的研究课题。联合的方法虽然能从文本中直接抽取出实体和实体间蕴含的语义关系,但也引入更为复杂的模型结构,且目前研究才刚刚起步,还存在很多亟待解决的问题。本文主要针对基于序列到序列方法的实体和关系联合抽取展开了深入的研究,通过分析目前存在的问题并提出改进。本文主要的研究工作概括如下:一、通过对序列到序列方法的复制机制进行分析,发现其评分函数的缺陷将会导致实体复制时存在不稳定的问题。针对该问题,本文提出一种基于改进复制机制的实体和关系联合抽取模型。通过新设计的评分函数,模型的解码器可以解决在复制前后两个实体时因概率分布相同而导致softmax函数不适用的问题,避免模型对于掩码的高度依赖,从而提升模型的抽取性能。实验结果表明,与基线相比,该模型在实体和关系联合抽取任务上性能有显著提升。二、通过对序列到序列方法输出的结果进行分析,发现对于由多单词构成的实体,其只能抽取实体的最后一个单词作为结果输出。针对上述实体完整性问题,本文提出一种基于多任务学习的实体和关系联合抽取模型。该模型在编码器的输出端构建一个附加的条件随机场CRF层用于序列标注任务。该附加层能对输入句子中的实体进行标注,以此来辅助模型抽取完整的实体。模型通过多任务学习的目标函数对编码器和解码器同时进行训练。实验结果表明,该模型有效解决了实体的完整性问题,并取得了性能的提升。三、针对传统的静态词向量Word2vec无法表示自然语言中广泛存在的一词多义的问题,本文提出一种基于BERT的实体和关系联合抽取模型。通过引入基于上下文语境的BERT动态词嵌入表示作为模型的输入,为模型提供更精准的语义特征信息。实验结果证明,BERT词向量表示能显著提升联合抽取模型的性能。
基于序列到序列的知识图谱问答系统的设计与实现
这是一篇关于问答系统,知识图谱,序列到序列,关系检测的论文, 主要内容为问答系统作为高级的信息检索系统,可以高效地给用户返回精简的答案,增强用户搜索质量。近年来,知识图谱以结构化的形式来展示实体之间的关系成为各学科研究的重点,根据数据源的特点,将知识图谱与问答系统融合的知识图谱问答可以将自然语言问题映射为知识图谱查询语句,从而在知识图谱中查询并得到答案。此外,深度学习蓬勃发展,基于神经网络的序列到序列框架的模型被广泛应用到自然语言处理等相关领域上。本文主要提出了 一种基于序列到序列的知识图谱问答方法,该方法基于深度注意力机制模型(Deep Attention Matching Network,DAM)并在此基础上设计和实现了一个两阶段知识图谱问答系统,两阶段分别为实体链接和关系检测,本文通过知识图谱构建方法中生成的实体-关系注意力值,将约束检测和关系检测合并为一个阶段对问题进行推理,优化了之前基于DAM模型的三阶段KBQA存在的梯度截断问题,从而提高问答系统的推断效率和问答质量。此外,本文还利用DeLighT核心思想扩张缩小方法对关系检测中应用的DAM模型的transformer模块进行轻量级优化,改善transformer模块参数多等缺点提高模型运行效率。最后本文还设计实验将提出的问答系统方法同两个在各自的数据集中表现最优的问答方法进行对比,实验结果表明,本文提出的方法更优势,且系统问答推断时间短、系统效率高。本文在提出的问答方法的基础上从功能和性能两方面对系统进行设计,实现了一个完整知识图谱问答系统,并为用户提供的Web页面进行交互,系统总共分为六个模块分别包括Web展示模块、问题处理推断模块、查询语句生成模块、知识图谱存储模块、答案生成模块和日志存储模块,共同实现完整的系统问答功能,用户可以在系统中实现注册和登录功能、可以在系统中输入问题,并收到系统在合理的响应时间内返回的精简答案,同时系统允许用户查看历史问答记录,提高了检索效率,增强用户检索体验,系统还可以根据历史问答记录来提高系统问答效率。最后本文对实现后的系统进行功能和性能测试,测试结果均符合预期,测试结果表明,本文实现的问答系统具有良好的实践意义和研究意义。
基于关系拆分的实体关系联合抽取模型的设计与实现
这是一篇关于实体关系抽取,关系拆分,序列到序列,自注意力,知识图谱的论文, 主要内容为随着互联网的发展,海量的数据随之诞生。文本数据作为人们接触最多的信息形式之一,其中包含着很多有价值的信息,如何从复杂冗余的文本数据中获取有价值的关键信息非常重要。实体关系抽取作为信息抽取的基础任务之一,具有非常重要的意义。在此背景下,本文提出了一种基于关系拆分的实体关系联合抽取模型。随着深度学习技术的发展,实体关系联合抽取技术取得了很大进展。目前,主流的实体关系联合抽取大多采用序列标注的思路,但现有标注策略存在标注次数过多或标签重叠等不足之处。针对该问题,本文提出了一种基于关系拆分的标注策略,在减少标签重叠问题的同时降低复杂度,在此基础上提出了基于关系拆分的实体关系联合抽取模型,在模型的编码器层应用多头自注意力机制进行文本表示,以提高模型的信息提取能力,在解码器层应用标签嵌入技术将不同的关系映射到连续的向量空间中,从而使模型能够同时在不同关系上进行序列标注,在模型的损失函数上应用标签平滑和代价敏感学习技术,从而优化模型收敛过程、减少关系拆分带来的标签类别不平衡问题。为了验证模型性能,本文选择了两个公开数据集设计了四组实验,证明了模型的准确性。最后,本文将所提出模型应用于电网故障领域,自行构建了电网故障领域数据集,通过实验验证模型在电网故障领域文本上的有效性,通过知识的抽取、加工、存储和可视化等步骤,完成电网故障领域知识图谱的构建。
基于序列到序列的知识图谱问答系统的设计与实现
这是一篇关于问答系统,知识图谱,序列到序列,关系检测的论文, 主要内容为问答系统作为高级的信息检索系统,可以高效地给用户返回精简的答案,增强用户搜索质量。近年来,知识图谱以结构化的形式来展示实体之间的关系成为各学科研究的重点,根据数据源的特点,将知识图谱与问答系统融合的知识图谱问答可以将自然语言问题映射为知识图谱查询语句,从而在知识图谱中查询并得到答案。此外,深度学习蓬勃发展,基于神经网络的序列到序列框架的模型被广泛应用到自然语言处理等相关领域上。本文主要提出了 一种基于序列到序列的知识图谱问答方法,该方法基于深度注意力机制模型(Deep Attention Matching Network,DAM)并在此基础上设计和实现了一个两阶段知识图谱问答系统,两阶段分别为实体链接和关系检测,本文通过知识图谱构建方法中生成的实体-关系注意力值,将约束检测和关系检测合并为一个阶段对问题进行推理,优化了之前基于DAM模型的三阶段KBQA存在的梯度截断问题,从而提高问答系统的推断效率和问答质量。此外,本文还利用DeLighT核心思想扩张缩小方法对关系检测中应用的DAM模型的transformer模块进行轻量级优化,改善transformer模块参数多等缺点提高模型运行效率。最后本文还设计实验将提出的问答系统方法同两个在各自的数据集中表现最优的问答方法进行对比,实验结果表明,本文提出的方法更优势,且系统问答推断时间短、系统效率高。本文在提出的问答方法的基础上从功能和性能两方面对系统进行设计,实现了一个完整知识图谱问答系统,并为用户提供的Web页面进行交互,系统总共分为六个模块分别包括Web展示模块、问题处理推断模块、查询语句生成模块、知识图谱存储模块、答案生成模块和日志存储模块,共同实现完整的系统问答功能,用户可以在系统中实现注册和登录功能、可以在系统中输入问题,并收到系统在合理的响应时间内返回的精简答案,同时系统允许用户查看历史问答记录,提高了检索效率,增强用户检索体验,系统还可以根据历史问答记录来提高系统问答效率。最后本文对实现后的系统进行功能和性能测试,测试结果均符合预期,测试结果表明,本文实现的问答系统具有良好的实践意义和研究意义。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://m.bishedaima.com/lunwen/56051.html
