知识库自然语言问答中的谓词映射方法研究
这是一篇关于知识库问答,谓词映射,语法结构,问句模板的论文, 主要内容为谓词映射作为知识图谱问答的一个关键环节,决定了知识图谱搜索空间和回答正确与否。许多通用领域的知识图谱问答系统及其谓词映射模块并不重视现实场景中常见的嵌套问题和反向问答,使得知识库问答系统在生产环境中并不友好可靠。此外,由于自然语言语义丰富且表达方式多样,谓词的语义感知和句式表达成为谓词映射的主要挑战。基于以上问题,语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型被设计用于知识库问答系统的谓词映射模块。语法增强的谓词映射模型利用长短期记忆单元和所设计的多输入长短期记忆单元动态构建问句的依存句法结构网络,抽取问句的语义特征并映射到知识图谱谓词路径,进而完成谓词映射。基于问句模板的逆向谓词映射模型则是通过序列到序列模型融合TransE训练的知识图谱的全局信息将知识图谱三元组转换为双向问句模板,将自然问句映射到问句模板上,逆向完成谓词映射。基于问句模板的逆向谓词映射模型通过构造问句模板解决嵌套问题和反向问答。同时,为了验证语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型的有效性,知识库问答系统PM2KBQA将其作为谓词映射模块,并构建了面向通用领域的知识库问答系统。除此之外,PM2KBQA被应用到制造领域中,构建了制造业知识图谱问答系统MIKBQA,以验证知识问答系统的可用性。语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型以及知识库问答系统PM2KBQA在SimpleQuestion和NLPCC ICCPOL 2016 KBQA两种中英文问答集进行测试。实验结果证明语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型在大多数情况下超越了目前最好的模型。更为重要的是,语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型帮助PM2KBQA模型在大多数情况下击败了目前最好的知识库问答系统。此外,MIKBQA在制造领域知识图谱问答中取得了良好的测试结果。
基于知识库的对话问答系统研究
这是一篇关于意图识别,知识库问答,神经网络,混合模型,语言模型的论文, 主要内容为基于知识库的对话问答是人机交互的重要途径,随着人机对话的不断发展,使计算机能准确的理解用户查询意图对整个人机对话领域都有着重要意义。本文对现有的知识库对话问答任务中最主要的两部分意图识别和基于知识库的问句表达进行了研究。意图识别的主要目标是在人机对话的过程中判断用户的意图,提升人机对话系统的准确度与自然度,本文针对用户输入问句文本特点进行研究并提出一种混合模型有效提升了系统性能。在英文数据集上研究了抽象语义建模对知识库问答的影响,通过引人抽象语义表示并建模,可以辅助系统获得额外信息并提升整体性能。在中文数据集上通过引入预训练语言模型来构建通用的知识库问答系统。本文主要工作如下:(1)基于混合神经网络的人机对话意图分类模型本文针对意图识别领域的用户语音转化、内容具有特征稀疏性问题、文本长度分布不一致问题,分析了多个分类模型在意图分类任务上的优缺点。在此基础上,本文提出了一种新型的混合神经网络模型综合利用多个深度网络模型的多样性输出。在输入特征预处理上采用语言模型词向量,将语言模型拥有的语义挖掘能力应用到混合网络中,可以进一步提升模型的表达能力。本文提出的混合神经网络模型相对于最好的基准模型在两份数据集上分别取得2.95%和3.85%性能提升。新模型在两份数据集上都取得了最优的性能。(2)基于抽象语义建模的知识库问答方法在以往的基于知识库的问句表达研究中,阶段查询图生成是一种被广泛用于获取用户输入问题表示的方法。以这种方式实现的表示方法通常含有问题序列和句法信息,但没有深层语义信息。就我们所知,以前没有使用阶段查询图生成和语义解析一起获得问题表示的工作。在本文中,我们首次提出在知识库问答系统中为问题的抽象语义表示(AMR)结构建模。AMR是一种典型的语义形式表示,它将句子的语义编码成有向的类型图。我们设计了两种不同的方法将问题的AMR图编码成稠密向量,并与查询图生成的表示一起使用。在基准数据集上的实验结果表明,与以前的研究相比,集成AMR解析信息有助于获得新的最先进的性能。(3)基于中文知识图谱的问答系统本文针对大规模中文知识库问答,搭建了一个包含命名实体识别、实体链接和属性链接的问答系统。在经过基于语言模型和BiLSTM-CRF模型组件的命名实体识别后,我们提出两种简单的策略完成实体链接,最后使用基于语言模型的语义相似度计算完成属性链接。在一个公开测试数据上,我们的系统取得良好的性能。
面向军事知识问答的问题语义解析关键技术研究
这是一篇关于语义解析,问题解析,知识库问答,知识图谱问答的论文, 主要内容为知识图谱提出以来,凭借其在知识密度、表达能力、推理效率等方面的优势,在金融、安全、医药、农业等领域取得了长足发展。然而,知识图谱在军事领域的应用还主要停留在构建阶段,其深入应用仍需进一步探索。与此同时,问答系统以更直观、更友好的方式展示目标信息,能够实现对军事信息需求的高质量应对。为此,本文研究内容聚焦于面向军事知识问答的问题语义解析技术。问题语义解析旨在通过分析自然语言问题语义,将问题转换为可在知识库上执行的逻辑形式。然而,实现上述问题语义解析需要两个重要的前提即:1)一定规模的中文军事领域知识库及问答语料;2)表现优异的问题语义解析模型。因此,本文的主要工作实际上围绕准备该两项前提展开。然而,该过程面临着以下挑战:(1)针对知识库及问答语料。现有知识库和问答语料通常针对通用领域,需要面向军事领域构建新的知识库和问答语料。然而军事领域事实往往涉及时间、空间、数量、状态等要素,现有的以三元组形式表示知识的方法难以充分表达这些事实,同时对知识存储和更新造成障碍。此外,对这些事实的问答引入了新的复杂维度,而现有语料集难以支持该复杂维度。(2)针对问题语义解析模型。主流的问题语义解析模型大多基于序列到动作框架,这些模型取得了显著效果,但仍存在一定缺陷,如基于管道架构的动作序列生成和实例序列生成面临着错误累积问题;需要定义复杂的动作语法并为问题标注动作序列,开销较大;需要设计复杂模板将动作序列和实例序列转化为查询语句;解码过程难以充分融入序列类型信息;解码过程目标词表过大。为应对上述挑战,本文开展以下工作:(1)针对三元组知识表示方式的上述缺陷,本文提出通过向关系添加属性将三元组拓展为多元组,使用多元组表示知识。并定义使用传统三元组表示的知识为实体知识,定义由多元组表示的知识为广义上的事件知识。基于上述设定,本文构建了同时覆盖实体知识和事件知识的中文军事领域知识库Mil KB。基于Mil KB,本文构建了中文军事领域知识问答语料集Mil KBQA,该语料集问题类型丰富,涉及逻辑、数量、计算、概率等多种推理方式。重要地,Mil KBQA为知识问答引入了新的复杂维度,即面向事件知识的问答。本文采用近来表现最优的三个自然语言理解模型作为基准模型,采用另外两个自然语言理解数据集作为对比数据集,开展问题语义解析实验。实验表明Mil KBQA尤其是面向事件知识的问题具有更高的语义解析复杂度。(2)针对序列到动作模型的上述缺陷,本文提出一种面向逻辑结构特征的问题语义解析模型Form Cypher。Form Cypher基于Encoder-Decoder架构,使用问题格式代替语义图(树)表示问题逻辑结构,将问题语义解析任务分解为并行的两个子任务,即可看作分类任务的逻辑结构匹配和可看作生成任务的槽位序列生成,以解决错误累积、标注开销大以及不能直接得到查询语句等问题。在解码器部分,本文提出一种类型引导的序列解码器Type-guided GRU,使用序列类型引导解码过程,以在解码过程进一步融入序列类型信息;提出一种统一空间编码机制,将知识库本体元素以及问题语义提及编码在同一空间,以限制目标词表规模。本文采用序列到动作模型作为对比基准,在Mil KBQA上对Form Cypher的性能进行验证。实验表明,Form Cypher在Mil KBQA上的性能优于基准模型。同时,本文还通过实验证明了Form Cypher特定技术细节的有效性和必要性。本文基于问题语义解析路线,通过开展以上工作,构建了能够回答常见问题的军事领域问答模型。
知识库自然语言问答中的谓词映射方法研究
这是一篇关于知识库问答,谓词映射,语法结构,问句模板的论文, 主要内容为谓词映射作为知识图谱问答的一个关键环节,决定了知识图谱搜索空间和回答正确与否。许多通用领域的知识图谱问答系统及其谓词映射模块并不重视现实场景中常见的嵌套问题和反向问答,使得知识库问答系统在生产环境中并不友好可靠。此外,由于自然语言语义丰富且表达方式多样,谓词的语义感知和句式表达成为谓词映射的主要挑战。基于以上问题,语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型被设计用于知识库问答系统的谓词映射模块。语法增强的谓词映射模型利用长短期记忆单元和所设计的多输入长短期记忆单元动态构建问句的依存句法结构网络,抽取问句的语义特征并映射到知识图谱谓词路径,进而完成谓词映射。基于问句模板的逆向谓词映射模型则是通过序列到序列模型融合TransE训练的知识图谱的全局信息将知识图谱三元组转换为双向问句模板,将自然问句映射到问句模板上,逆向完成谓词映射。基于问句模板的逆向谓词映射模型通过构造问句模板解决嵌套问题和反向问答。同时,为了验证语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型的有效性,知识库问答系统PM2KBQA将其作为谓词映射模块,并构建了面向通用领域的知识库问答系统。除此之外,PM2KBQA被应用到制造领域中,构建了制造业知识图谱问答系统MIKBQA,以验证知识问答系统的可用性。语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型以及知识库问答系统PM2KBQA在SimpleQuestion和NLPCC ICCPOL 2016 KBQA两种中英文问答集进行测试。实验结果证明语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型在大多数情况下超越了目前最好的模型。更为重要的是,语法增强的谓词映射模型和基于问句模板的逆向谓词映射模型帮助PM2KBQA模型在大多数情况下击败了目前最好的知识库问答系统。此外,MIKBQA在制造领域知识图谱问答中取得了良好的测试结果。
基于深度学习的知识库问答建模研究
这是一篇关于知识库问答,知识表示学习,BERT模型,多任务学习的论文, 主要内容为知识库问答旨在通过解析用户的问句直接在知识库中提取出相应的答案,相比于传统的网页搜索可以极大提高用户的检索效率。传统知识库问答方法需要设计大量的规则和模板将用户的问句转化为结构化的表示,并不适用于大规模的知识库。深度学习凭借其强大的特征学习和提取能力,在知识库问答任务中取得了极为耀眼的成绩。然而,现有的基于深度学习的知识库问答依然遵循着实体检测和关系识别的步骤,但是此类方法忽略了知识库本身所蕴含的结构信息以及这两项任务之间的联系。本文致力于研究深度学习在知识库问答中的应用。针对现有知识库问答算法的缺陷和存在的问题,提出了两种基于深度学习的知识库问答方法及知识库问答系统的设计与实现。具体研究内容如下:(1)针对传统基于深度学习算法没有考虑知识库本身结构化信息方面的不足,提出了基于表示学习的知识库问答模型。在模型中首先应用知识表示模型将知识库中的实体与关系映射至低维的向量空间,然后通过神经网络将问句也嵌入相同的向量空间,并检测出问句中的实体,并在此向量空间内度量知识库三元组与问句的语义相似度。实验结果表明,该算法可以较大提升知识库问答的准确度,论证了知识库嵌入对于知识库问答任务的提升作用。(2)鉴于自然语言处理领域里程碑式的BERT模型在阅读理解、文本匹配等领域的卓越表现,提出将BERT模型应用至知识库问答。首先证明了BERT对于知识库问答各个子任务较为明显的提升作用,另外结合基于知识表示的问答任务的技术路线特点,对BERT模型的输入加以改造,将知识库问答的各个子任务融合进一个模型,并引入损失函数加权和迭代式训练的多任务训练策略进行训练。实验结果表明,可以通过对知识库问答的子任务进行组合训练来提高最终的问答准确率。(3)区别于传统网页检索系统,将知识库问答的检索过程及结果进行可视化,设计了知识库问答系统。首先将知识库导入图数据库,然后用前端开发框架Vue.js设计网页界面,并使用Flask对后台语言解析、图数据库调用等算法进行接口的封装。本文将上述两个知识库问答方法应用至Simple Question公开数据集上展开实验,通过多组对比实验来衡量模型的效果,并将实验结果与应用在对应公开数据集上的其他方法进行对比,结果表明本文提出的方法可以较大提升知识库问答的性能表现。另外本文设计的知识库问答系统也具有非常好的易用性和实用性。
融合知识图谱的实体链接的算法研究
这是一篇关于实体链接,知识图谱,深层语义匹配,多粒度LSTM,知识库问答的论文, 主要内容为随着移动互联网技术在全球范围内的快速普及与发展,网络上的文本数据呈现爆发式的增长。如何利用自然语言处理技术更加高效智能的分析处理这些数据成为学术界和工业界共同关注的焦点。实体链接作为自然语言处理领域最基础的一项技术,可以将自由文本中的实体指称链接到目标知识图谱中相应的实体,有效的解决自然语言中普遍存在的同义词、一词多义现象所造成歧义问题。它有助于机器真正理解命名实体的语义信息,对信息检索、自动问答和知识图谱扩充等相关领域的发展都具有重大的意义。本文主要围绕结构化知识图谱的实体链接中的核心问题,实体指称的候选实体排序问题进行了研究。并在此基础之上,设计实现了结合实体链接和关系抽取的基于知识图谱的问答系统。论文的主要工作和研究创新点总结如下:1.本文提出了融合知识图谱中结构化信息的深层语义匹配的实体链接算法(Deep Semantic Match Model,DSMM)。大部分传统的实体链接算法通过实体指称与候选实体的上下文文本,人工抽取两者的特征向量。然而这种方式得到的特征向量不能表示词或实体的内在语义信息,缺乏对不同场景的适应性,而且需要繁琐的特征工程和昂贵的计算代价。针对这些问题,DSMM算法利用字符粒度、词粒度的循环神经网络和知识表示学习方法,抽取表面形式和上下文语义两个层面的特征。实验结果表明,DSMM算法在CoNLL标准数据集上取得了 94.3%的实体链接准确率,对比主流基线模型92.6%的结果,有了一定程度上的提升。2.为进一步验证DSMM算法在实际应用的效果,在此基础上,本文设计实现了基于知识图谱的问答系统。该系统将知识图谱的问答任务分解为两部分:通过DSMM实体链接算法得到主题实体,再由关系抽取算法得到关系类型,在不影响召回的情况下,有效地降低了候选(主题实体,关系)对的数量。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/45357.html
