基于改进语义假设的远程监督深度实体关系提取方法的研究
这是一篇关于神经网络实体关系提取,深度学习,双向GRU,改进语义假设的论文, 主要内容为实体关系提取是信息抽取领域的重要技术之一,它旨在以三元组的形式抽取句子中已标注的实体对之间的关系,有助于后续构建知识图谱等任务。同时,实体关系提取在篇章理解和机器翻译等方面都有重要的应用。然而,传统有监督实体关系提取方法需要大量的人工标注数据集以使模型得到充分的训练,而人工标注工作不仅费时费力,还需要标注人员具有一定的专业领域知识,使得标注工作进展十分困难。传统远程监督方法虽然能自动地扩张数据集,但是数据集往往充满噪音,影响模型的训练。深度学习技术的兴起与成熟为自然语言处理领域的发展带来了新的可能。当前,词嵌入和神经网络等深度学习方法在本文的特征抽取上有显著的效果,许多学者开始从深度学习的角度对实体关系提取任务进行建模。如何使用深度学习解决远程监督方法中的噪音问题是一个亟待解决的研究难点。本文对原始远程监督方法中的假设予以改进,并设计了相关深度学习框架进行实体关系提取。具体地,本文工作主要分文以下三个部分:首先,本文针对传统远程监督实体关系中假设可能带来的问题,提出了基于语义的改进假设,从句子语义信息的角度来考虑关系标签的生成,减少了原始假设可能引入扩充数据集的错误标注和漏标注问题。其次,本文根据改进语义假设提出了基于聚类的远程监督实体关系提取方法ClusteredDS(ClusteredDistant Supervision),对句子的语义信息进行聚类并重新标注句子的关系标签,旨在提高数据集的整体质量。最后,本文从神经网络的角度来实现改进语义假设的机理,提出了 Bi-GRU+Clustered DS(Bi-directional Gated Recurrent Unit + Clustered Distant Supervision)远程监督方法。该方法使用Bi-GRU网络提取句子的语义信息,通过句子的语义靠近,使用数据集的语义中心来影响每个句子的最终语义编码。在通过Freebase知识库与纽约时报数据集对齐而产生的数据集上的实验结果表明,本文提出的Clustered DS方法有效地提高了数据集的质量,能够缓解实体关系提取方法在噪音忍耐度上的压力。进一步实验也表明本文提出的Bi-GRU+ClusteredDS方法有效地避免了传统非神经网络方法中的误差,从深度学习的角度构建了基于改进假设的实体关系提取方法,在准确率和召回率上表现优异。
基于改进语义假设的远程监督深度实体关系提取方法的研究
这是一篇关于神经网络实体关系提取,深度学习,双向GRU,改进语义假设的论文, 主要内容为实体关系提取是信息抽取领域的重要技术之一,它旨在以三元组的形式抽取句子中已标注的实体对之间的关系,有助于后续构建知识图谱等任务。同时,实体关系提取在篇章理解和机器翻译等方面都有重要的应用。然而,传统有监督实体关系提取方法需要大量的人工标注数据集以使模型得到充分的训练,而人工标注工作不仅费时费力,还需要标注人员具有一定的专业领域知识,使得标注工作进展十分困难。传统远程监督方法虽然能自动地扩张数据集,但是数据集往往充满噪音,影响模型的训练。深度学习技术的兴起与成熟为自然语言处理领域的发展带来了新的可能。当前,词嵌入和神经网络等深度学习方法在本文的特征抽取上有显著的效果,许多学者开始从深度学习的角度对实体关系提取任务进行建模。如何使用深度学习解决远程监督方法中的噪音问题是一个亟待解决的研究难点。本文对原始远程监督方法中的假设予以改进,并设计了相关深度学习框架进行实体关系提取。具体地,本文工作主要分文以下三个部分:首先,本文针对传统远程监督实体关系中假设可能带来的问题,提出了基于语义的改进假设,从句子语义信息的角度来考虑关系标签的生成,减少了原始假设可能引入扩充数据集的错误标注和漏标注问题。其次,本文根据改进语义假设提出了基于聚类的远程监督实体关系提取方法ClusteredDS(ClusteredDistant Supervision),对句子的语义信息进行聚类并重新标注句子的关系标签,旨在提高数据集的整体质量。最后,本文从神经网络的角度来实现改进语义假设的机理,提出了 Bi-GRU+Clustered DS(Bi-directional Gated Recurrent Unit + Clustered Distant Supervision)远程监督方法。该方法使用Bi-GRU网络提取句子的语义信息,通过句子的语义靠近,使用数据集的语义中心来影响每个句子的最终语义编码。在通过Freebase知识库与纽约时报数据集对齐而产生的数据集上的实验结果表明,本文提出的Clustered DS方法有效地提高了数据集的质量,能够缓解实体关系提取方法在噪音忍耐度上的压力。进一步实验也表明本文提出的Bi-GRU+ClusteredDS方法有效地避免了传统非神经网络方法中的误差,从深度学习的角度构建了基于改进假设的实体关系提取方法,在准确率和召回率上表现优异。
面向百科数据的军事事件抽取
这是一篇关于事件抽取,注意力机制,双向GRU的论文, 主要内容为知识图谱构建已经成为自然语言处理的一个重要发展方向,也是信息抽取领域一个重要的目标。本文从百科文本中标注军事图谱,并负责其中的事件抽取部分。事件抽取作为信息抽取的关键技术,在信息检索、自动问答等领域被广泛应用。本文爬取军事相关百科文本,根据文本内容,标注军事图谱数据集,定义了四个事件触发词和七个事件元素实体标签,和实体之间的关系标签和事件之间的关系标签,以及实体、触发词和元素角色之间的约束关系。事件元素实体抽取和事件触发词抽取是本文事件抽取的关键部分。本文观察数据集中事件元素实体的特征,发现与军事专业相关的实体的后缀取词范围很小,根据这一点设计出了相应的后缀特征,并通过对比实验验证两处输入位置后缀特征重复几次对于模型效果提升最高。在军事事件中,军事专业的事件元素实体和军事事件触发词语义相关,于是本文基于此设计基于事件元素实体的注意力机制,以提高事件触发词的抽取效果。最终经过实验证明,本文的模型与其他经典事件抽取模型的相比取得了较高的效果。接下来是元素角色抽取。元素角色是指事件触发词和事件元素之间的关系。本文使用双仿射深度文法依赖树算法的关系分类器作为基础,使用词的最后一个字的向量代表整个词,通过掩盖矩阵输入了实体、触发词和元素角色之间的约束关系,提高元素角色抽取效果。最终,通过对比实验得知,掩盖矩阵对模型效果有较大提升。通过对比实验得知,本文的模型与其他经典模型相比取得了优越的效果。最终本文使用上述的三个模型进行事件抽取,使用模板匹配的方式进行关系抽取,设计了一套事件关系抽取系统。系统通过本文已经验证的神经网络模型进行事件抽取。事件关系抽取模板通过关系连词和正则表达式构建。系统在句子输入之后通过关系连词对句子进行过滤,减少神经网络模型计算量。最后本文列举了系统抽取的部分结果。
基于深度神经网络的对话情感生成及情感识别研究
这是一篇关于情感对话生成,对话情感识别,常识知识,神经网络,双向GRU,LSTM,CNN的论文, 主要内容为一直以来,建立一个能够和人类正常交流的对话系统是研究者们追求的终极目标,情感对话生成任务和对话中的情感识别任务都是达成这一目标的重要研究方向。目前情感对话生成模型已经能够生成包含情感的语句,但是语句的情感表达强度不够,在指定情感的情况下,生成语句的情感准确率还是无法满足现实需求。目前对话中的情感识别任务处于起步阶段,在近几年才开始受到重视,情感识别的准确率也处于一个较低的水平,准确识别对话中的情感变化,对于情感对话生成任务也有着重要意义。针对这两个研究任务,本文主要完成了以下工作:1.提出一种基于情感嵌入和情感强化机制的情感对话生成模型,利用Seq2Seq模型作为基础对话生成模型,在编码过程中,将指定的情感类别进行编码,然后嵌入到编码器的LSTM神经网络中,使得输出的隐藏状态和单元状态拥有情感因素;然后在解码过程中,使用同样的方法将情感因素嵌入到解码器的LSTM神经网络中,除此之外,还提出一个情感强化机制,在LSTM神经网络隐藏状态的维度上对情感进行加强。在NLPCC2017、XHJ和Opensubtitles数据集上进行实验,结果表明提出的模型对比其他模型在情感准确率上得到了明显的提升,并且在极大提高情感准确率的情况下,生成语句的质量也有较好的结果。2.提出一个基于常识知识以及门控机制的对话情感识别模型。将对话中的常识知识融入到对话的情感识别中,利用双向GRU神经网络对常识知识的信息进行建模。为了进一步去除常识知识中不重要的信息,再使用CNN门控机制对噪音进行过滤。通过一个单独的双向GRU神经网络,对过滤后的信息、对话语句以及情感信息进行建模,最后使用softmax利用这些信息完成对话中的情感分类任务。在IEMOCAP、Daily Dialog、MELD和EmoryNLP数据集上进行实验,结果表明提出的模型对比其他模型有着最好的效果。3.设计并实现情感对话原型系统,本系统使用Pytorch进行系统模型的搭建,使用VUE和JAVA分别搭建系统页面和后台。
面向百科数据的军事事件抽取
这是一篇关于事件抽取,注意力机制,双向GRU的论文, 主要内容为知识图谱构建已经成为自然语言处理的一个重要发展方向,也是信息抽取领域一个重要的目标。本文从百科文本中标注军事图谱,并负责其中的事件抽取部分。事件抽取作为信息抽取的关键技术,在信息检索、自动问答等领域被广泛应用。本文爬取军事相关百科文本,根据文本内容,标注军事图谱数据集,定义了四个事件触发词和七个事件元素实体标签,和实体之间的关系标签和事件之间的关系标签,以及实体、触发词和元素角色之间的约束关系。事件元素实体抽取和事件触发词抽取是本文事件抽取的关键部分。本文观察数据集中事件元素实体的特征,发现与军事专业相关的实体的后缀取词范围很小,根据这一点设计出了相应的后缀特征,并通过对比实验验证两处输入位置后缀特征重复几次对于模型效果提升最高。在军事事件中,军事专业的事件元素实体和军事事件触发词语义相关,于是本文基于此设计基于事件元素实体的注意力机制,以提高事件触发词的抽取效果。最终经过实验证明,本文的模型与其他经典事件抽取模型的相比取得了较高的效果。接下来是元素角色抽取。元素角色是指事件触发词和事件元素之间的关系。本文使用双仿射深度文法依赖树算法的关系分类器作为基础,使用词的最后一个字的向量代表整个词,通过掩盖矩阵输入了实体、触发词和元素角色之间的约束关系,提高元素角色抽取效果。最终,通过对比实验得知,掩盖矩阵对模型效果有较大提升。通过对比实验得知,本文的模型与其他经典模型相比取得了优越的效果。最终本文使用上述的三个模型进行事件抽取,使用模板匹配的方式进行关系抽取,设计了一套事件关系抽取系统。系统通过本文已经验证的神经网络模型进行事件抽取。事件关系抽取模板通过关系连词和正则表达式构建。系统在句子输入之后通过关系连词对句子进行过滤,减少神经网络模型计算量。最后本文列举了系统抽取的部分结果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://m.bishedaima.com/lunwen/52581.html
