基于知识图谱嵌入和候选答案生成的多跳问答方法研究
这是一篇关于自然语言处理,多跳问答,知识图谱问答,知识图谱嵌入,链接预测的论文, 主要内容为问答系统对自然语言问句进行精准的回复,可以帮用户快速地获取问题答案,在信息爆炸性增长的今天具有重要意义。知识图谱问答是自然语言处理领域研究的热点,其中知识图谱以三元组的形式存储现实世界中的知识,以实体节点映射现实世界的事物或概念。知识图谱问答以知识图谱为数据源,按跳数可分为单跳问题和多跳问题,单跳和多跳问题分别用知识图谱中的一个和多个三元组作答。当前知识图谱问答研究仍存在一些困难。第一,大型知识图谱往往存在关系缺失而导致知识图谱不完整的问题,这给多跳问答提出了挑战。第二,在知识图谱多跳问答中,传统方法往往先找到问题中的主题实体,然后从知识图谱中找到主题实体的几跳邻居作为候选答案。然而随着跳数的增加,引入的实体节点可能呈指数上升趋势且引入了大量无关实体。本研究针对以上两个挑战,提出了基于候选答案生成和知识图谱嵌入的CAG-KBQA(Candidate Answer Generation Knowledge Base Question Answering)模型,主要做了以下工作:(1)采用知识图谱嵌入的方法,在知识表示训练过程中为每个实体及关系学习到一个低维向量表示,并将输入的自然语言问句编码到同一向量空间,把搜索答案实体的过程转换为预测三元组的存在是否合理的链接预测;(2)选定问句主题实体所在知识图谱附近几跳邻居实体节点作为子图,然后使用预训练语言模型估计子图中每个实体对于给定问句的重要性,选取更相关的实体作为候选答案,从而减少候选实体的数量并提高相关性。在中文和英文知识图谱多跳数据集上进行了实验,在NLPCC 2016 KBQA单跳问答数据集上取得了89.54的F1分值,在NLPCC-MH多跳数据集上取得了69.15的F1分值,相较对比模型方法取得了最好的F1得分。在英文多跳数据集Web Question SP上进行了实验,验证了CAG-KBQA模型在不完整知识图谱上处理关系缺失的有效性。
基于深度学习的智能问答算法研究
这是一篇关于深度学习,知识图谱问答,生成模型,曝光偏差的论文, 主要内容为智能问答是一种人工智能技术,其目的是让计算机能够像人类一样理解并回答自然语言问题。智能问答技术整合了自然语言处理、深度学习和知识图谱等多种技术手段,通过分析和理解用户提出的问题,从知识库中获取相关信息,为用户提供准确、有用和满意的答案。在此过程中,知识图谱发挥着重要的作用,它将来自互联网各种异构非结构化数据融合为一个统一的知识库,为问答系统提供了一个可靠的知识来源。通过与知识图谱的结合,智能问答系统能够更好地理解问题并提供精准的答案。目前,基于知识图谱的问答模型大多基于pipeline形式进行构建,由多个子模型组成,每个子模型负责完成知识图谱问答中的一个或多个子任务。这种方法需要为每个子任务单独设计模型和算法,并对样本进行单独的数据标注。本文在序列到序列框架的基础上提出了一种端到端的生成式知识图谱问答模型,可以更好地适应知识图谱问答任务。同时,本文在模型训练和推理过程中进行了一些创新和改进。本文的改进主要包括以下两个方面。(1)本文提出了GKRE知识图谱问答模型,将知识图谱问答任务看作一个生成式任务,通过端到端的方式进行建模,实现了对整个问答过程的一体化处理。并引入了因果掩码机制,在单个模型中隐式地实现了编码器和解码器的功能。为了保证生成答案的合理性,本文还设计了一种受限集束搜索解码方案,通过压缩后的知识图谱前缀编码表示对解码过程进行约束。(2)本文提出了适用于GKRE模型训练和推理阶段的MIX策略,从模型训练和模型推理两个角度对模型进行优化。GKRE模型基于序列到序列框架进行设计,因此存在着曝光偏差问题。本文设计了一种融合并行采样和正则化方法的训练策略,从而减小模型在训练和推理阶段的不一致性。在模型推理阶段,针对知识图谱问答中不同子任务的差异性,提出了原句增强和局部检索两个新的解码策略。并在此基础上,提出了一种融合多种策略的分阶段的模型推理算法,从而提升模型的答案生成效果。
基于知识图谱的新冠问答系统研究与应用
这是一篇关于知识图谱问答,实体提及识别,实体消歧,关系预测的论文, 主要内容为随着软硬件技术的飞速发展,大规模知识图谱的构建和存储成为了可能,并为问答系统、药物发现等人工智能应用提供了知识基础。问答系统作为人工智能领域一项前景广阔的落地应用受到人们的广泛关注。与通过搜索引擎获取知识的方式相比,问答系统能更加智能和高效地给出确切的答案。基于知识图谱的问答系统(Knowledge Based Question Answering,KBQA)结合二者的优势,将用户的查询解析为逻辑形式,进而在知识图谱中检索并返回答案。本文围绕KBQA的关键技术和落地应用进行了研究,主要内容如下:实体提及识别、实体消歧和关系预测是KBQA任务中的关键技术。首先,针对开放域知识图谱中实体和关系数量繁多,且中文问句与事实三元组在表现形式上存在差异的问题,提出一种基于特征增强的BERT的流水线式问答系统BERT-CKBQA来解决单一关系事实类问题。采用BERT-CRF模型识别问句中提及的实体;提出候选实体关系特征增强BERT-CNN模型进行实体消歧;提出通过注意力机制引入答案实体关系特征的BERT-Bi LSTM-CNN模型进行关系预测。该方法结合预训练模型与关系特征有效改善了子任务的性能表现,并在NLPCC-2016-KBQA数据集上取得了88.75%的平均F1值,提高了问答准确率。其次,针对复杂问题问答中关系预测步骤召回的候选路径数量随关系跳数成指数级增加的问题,本文提出一种逐跳关系预测框架,将关系预测任务拆分为两个主要的子任务:停止决策任务和路径相似度计算任务,采用延伸和聚合操作分别解决链式问题与多实体问题。在CCKS-2019问答数据集上实验验证了该方法的有效性,在取得了与现有方法相比有竞争力的性能的同时,逐跳机制能显著减少了候选规模,提升系统整体性能与效率。最后,时值2020年新型冠状病毒肺炎疫情爆发,为了让医疗人员以及非计算机专业人士方便快捷地获取新冠开放知识图谱中蕴含的大量珍贵的关于新型冠状病毒的信息,降低获取医学专业知识的门槛,本文结合Open KG发布的多个新冠开放知识图谱与开放域知识图谱问答关键技术,构建了基于新冠开放知识图谱的问答系统。本文将该系统划分为问题分类、实体链接、关系预测和基于问句相似度的FAQ等模块,并基于Web技术将其封装,提供接口以便投入实际应用。
基于知识图谱的复杂问答系统的研究与实现
这是一篇关于多跳问答,知识图谱问答,知识图谱问题生成,深度学习的论文, 主要内容为随着知识图谱技术的进步,基于知识图谱的问答技术应运而生,成为学术界和工业界的研究热点。该问答系统可以接受用户的自然语言问句,以知识图谱作为数据支撑,利用图谱丰富的语义关联信息理解用户意图,直接返回准确答案,显著提升了用户获取信息的效率。面向垂直领域构造高可用的问答系统,是许多行业实现智能化转型的重要方向。现有的研究在回答简单问题时表现优异,但在回答复杂问题如多跳问题上时则表现不佳。此外,复杂问题训练数据过少,亟需优质数据集用以训练模型。本文针对上述问题展开研究,主要包括:(1)设计并实现了名为CT-KGQA的复杂KGQA模型。模型引入知识图谱嵌入模型ComplEx对图谱进行建模,使用预训练语言模型mT5理解问句语义。将问题实体、问句、候选答案实体嵌入到相同复数空间中,利用ComplEx打分函数对候选实体进行排序,从而得到答案。模型脱离了邻边束缚,在知识图谱极度稀疏的情况下也有很好的表现,在与基线模型的比较中,取得了最好性能。(2)提出了一种多跳问题的生成方法,本文提出Multi-KGQG任务作为预训练语言模型mT5全新的下游任务,基于知识图谱实现了多跳问题的生成。(3)从数据获取开始,通过命名实体识别、关系抽取、实体消歧、属性融合等技术手段,构建了一个台海人物领域知识图谱,并基于这个图谱构建了含有超过3700个问题的多跳问题数据集。(4)将本文提出的模型应用于KGQA,结合现有工程技术,设计并实现了面向台海人物领域的自动问答系统。
基于知识图谱的推理问答算法研究与设计
这是一篇关于多跳推理,因果推理,知识图谱,知识图谱问答的论文, 主要内容为传统面向知识图谱的问答主要集中于“如何从知识图谱中获取简单问题答案”的研究。这些研究虽然保证了问答的准确率,并被应用到各种问答系统中,但是存在着以下问题:1)难以回答具有复杂逻辑的问题,并且答案缺乏可解释性。2)无法回答在知识图谱中不存在的答案。针对以上两个问题,本文研究并设计了基于知识图谱的推理问答方法,主要包括以下两方面的研究内容。(1)基于知识图谱的多跳推理问答方法。该方法以“用户问题中蕴含多层逻辑关系”为研究前提,通过设计推理网络来克服传统知识图谱问答方法回答复杂逻辑问题准确率低且缺乏解释性的问题。该方法以知识图谱嵌入技术、EncoderDecoder框架、Attention机制为基础,构建了一个end-to-end的多跳推理网络模型。其中,end-to-end网络架构可以保证知识图谱中信息与问题的语义一致性;EncoderDecoder框架中,Encoder部分利用预训练语言模型和Attention机制生成可代表该问题中多层逻辑关系的语义向量,Decoder部分利用知识图谱嵌入技术得到的实体向量和多层逻辑语义向量生成问题所对应的关系路径;最后利用实体向量和语义向量对知识图谱中的实体评分,作为答案选择的依据。(2)基于知识图谱的因果推理问答方法。针对现有知识图谱问答方法不能为问题提供知识图谱中不存在的节点作为答案的现状,本文重点研究了“利用知识图谱中问题目标的相关信息来生成答案”的问题,提出一种流水线形式的知识图谱因果推理问答方法。该方法由问句分析模块、因果推理模块、答案预测模块组成。问句分析模块应用图神经网络和条件随机场等方法从问题中提取待求关系及目标实体,以此作为从知识图谱中抽取相关信息的依据;因果推理模块以知识图谱中的相关信息为基础估计每条信息的倾向分数和条件期望;答案预测模块利用每条信息的倾向分数和条件期望计算问题中待求关系的因果效应,并在目标实体的基础上预测问题的答案。通过在“多跳推理数据集”上进行实验,证明了基于知识图谱的多跳推理问答方法与其它相关算法VRN和KVMem相比,在正确率和解释性方面具有更好的效果;通过在“因果推理数据集”上进行实验,证明了基于知识图谱的因果推理问答方法的有效性,为知识图谱中不存在问题答案的情况提供了一种解决方法。
基于序列到序列框架的知识图谱问答系统设计与实现
这是一篇关于知识图谱问答,序列到序列框架,复杂计数问题,对偶学习的论文, 主要内容为随着互联网、云计算等信息技术的迅猛发展,整个信息社会已进入大数据时代。网络大数据在规模与复杂度上快速增长,这些数据中蕴含了大量有价值的信息。谷歌、百度等传统搜索引擎能帮助用户较快地检索利用这些信息,但只能对其进行一些简单的筛选和排序。相比传统搜索引擎,问答系统能直接给出相应的回答,其中,知识图谱问答系统利用结构化知识源,能给出更加精准简洁的答案。近年来深度学习迅速发展,序列到序列框架在自然语言处理任务上已取得较好的效果。将自然语言问句映射为特定的查询语句是知识图谱问答的关键任务,这是一个序列到序列的过程。本文设计并实现了基于序列到序列框架的知识图谱问答系统。本文系统主要分为Web服务模块、问题处理模块、答案推导模块、答案生成模块、知识图谱存取模块和日志与存储模块。在实现答案推导模块时,针对复杂计数问题,本文设计并实现了一种改进的基于序列到序列框架的知识图谱问答方法。该方法包括编码和解码两个阶段,在编码阶段,结合基于卷积神经网络的文本分类模型进行多任务学习,约束问句的编码过程;在解码阶段,利用“键-字典”存储机制,在推导过程中与知识图谱实时交互,将自然语言问句映射为自定义查询语句,实现含计数信息的答案推导。此外,为了解决监督数据不足的问题,针对序列到序列框架的知识图谱问答算法,本文提出了基于对偶学习的训练方式,利用知识图谱中抽取出来的无监督信息,优化知识图谱问答算法。本文针对提出的基于序列到序列框架的知识图谱问答方法,在公开数据集WebQuestionSP上进行了测试。实验结果表明,与现有工作相比,本文提出的方法解决了复杂计数问题,提升了知识图谱问答的准确性,并在一定程度上解决了监督数据不足的问题。
基于表征学习的知识图谱问答研究
这是一篇关于知识图谱问答,知识图谱嵌入,路径遍历,自注意机制的论文, 主要内容为随着互联网和人工智能技术的快速发展,传统的搜索引擎已经无法快速获取准确的信息。在大数据爆发的时代,知识图谱应运而生,通过知识图谱来获取相关的问题答案会更加快速准确。但现今的技术还不能构建非常完善的知识图谱,通过人工构造的知识图谱存储量比较小,耗时耗力。因此,现有的知识图谱仍然面临着不完整的问题,这会导致基于知识图谱问答的准确率不高。随着表征学习技术的发展,一些研究将知识图谱嵌入技术应用于知识图谱问答领域,但这种方法忽视了知识图谱中超节点的影响。因此,本文探讨了在补全知识图谱的过程中如何消除超节点的影响,提出了基于路径遍历的知识图谱问答方法。本文的主要研究内容和工作如下:(1)基于深度学习技术的知识图谱补全研究。针对知识图谱存在的不完整、超节点等问题,本文研究了在知识图谱嵌入空间中通过路径遍历补全知识图谱的性能。知识图谱嵌入空间的路径遍历主要包括路径查找和路径推理两个步骤,通过路径查找获取每个节点的翻译向量;通过路径推理对获取的翻译向量进行分析,得到头实体和目标实体之间存在关系的概率。最后进行了大量的对比实验。实验结果表明,在NELL-995数据集上的MAP达到了0.934,在FB15K-237数据集上的MAP达到了0.864,在WN18RR数据集上的MAP达到了0.848,均高于基线模型,因此,在知识图谱嵌入空间中进行路径遍历预测链接的性能更好。(2)基于自注意机制的问题实体识别研究。本文基于BiLSTM-CRF,提出了基于自注意机制的BiLSTM-CRF问题实体识别模型。本文使用自注意机制来对句子中的单词进行过滤和编码。首先,模型会使用GloVe对问题进行词嵌入,然后将词嵌入依次送入BiLSTM层、self-attention层和CRF层。实验结果表明,加入了自注意机制的BiLSTM-CRF在实体识别上的F1值达到了89.27%,比直接使用BiLSTM-CRF高出0.37%,表现出更好的效果。(3)基于路径遍历的多跳知识图谱问答研究。本文将遍历知识图谱嵌入空间的方法应用于多跳知识图谱问答中,并提出TrEKBQA方法。该方法主要包括知识图谱补全、多跳知识图谱问答和答案选择三个模块。通过遍历知识图谱嵌入空间的方法来补全知识图谱,然后进行问答,最后根据hits@1的值选择合适的答案。实验结果表明TrEKBQA在原本的MetaQA-1hop、MetaQA-2hop、MetaQA-3hop和WebQSP数据集上的hits@1分别达到了98.3%、99.4%、96.1%和73.2%,在模拟不完整的MetaQA-1hop、MetaQA-2hop、MetaQA-3hop和WebQSP数据集上的hits@1分别达到了85.1%、92.3%、70.9%和54.7%,均比基线模型高,表明了TrEKBQA在知识图谱问答中的有效性。
基于GAT的小样本知识图谱补全研究与实现
这是一篇关于知识图谱补全,链接预测,小样本学习,图注意力网络,知识图谱问答的论文, 主要内容为随着大数据、移动互联网产业的迅猛发展,越来越多的异质网络信息资源亟待研究和开发。知识图谱(Knowledge Graph,KG)的出现为异质网络信息资源的提取、存储和利用提供了有效技术支撑,是众多下游应用的基础。然而,知识图谱通常存在不完整的情况。为了让知识图谱覆盖更多信息,向知识图谱中添加实体和关系对知识图谱进行补全是一项至关重要的工作。由于知识图谱中存在大量长尾关系,基于嵌入的知识图谱补全方法需要为每个关系提供大量的训练实例,因此,在只有少量关联三元组的关系上表现不佳。目前,许多研究开始利用关系图卷积网络编码小样本知识图谱中的局部图结构。然而,现有的工作通常将各个邻居节点对目标实体的贡献进行平均,一定程度上限制了链接预测的效果。针对这些问题,本文提出一种基于图注意力网络(Graph Attention Network,GAT)的小样本知识图谱补全(Few-shot Knowledge Graph Completion,FKGC)方法。本文的主要工作内容如下:(1)本文采用基于匹配度量的方法,将图注意力网络引入小样本知识图谱补全任务,提出了一种基于图注意力网络的小样本知识图谱补全方法GFKGC。该方法通过图注意力网络的特征嵌入方法捕获局部邻域的特征表示,通过其注意力机制为不同的邻居赋予不同的权重,生成更强大的特征表示;将候选实体补全到查询集中与参考集做相似度度量,通过匹配网络得到查询集与参考集之间的相似度,选择相似度度量分数最高的候选实体作为补全后的尾实体补全到知识图谱中。本文在Nell-one和FB15k237-one两个小样本数据集上进行了链接预测实验,分析了针对小样本知识图谱补全效果最好的参考集中参考三元组数量。实验结果表明,本文提出的基于图注意力网络的小样本知识图谱补全模型对小样本知识图谱中缺失的链接能够进行有效的预测。(2)设计并实现了一个特定领域的知识图谱问答系统,在问答系统中针对用户在该系统中检索缺失答案的问题进行了研究。针对不完整三元组,采用本文提出的小样本知识图谱补全模型GFKGC对知识图谱进行补全来提高知识问答的准确性,同时将知识图谱补全前后的问答效果向用户进行可视化显示。本系统采用爬虫等技术手段采集数据,并将数据存储到图形数据库Neo4j以便于用户查询答案。针对用户提出的问题,首先通过问题预处理模块进行问句分析,然后生成问题三元组,再通过答案生成模块生成查询语句在知识图谱中进行检索并获取答案,并将答案反馈给用户。
基于大规模知识图谱的自动问答技术研究
这是一篇关于自动问答,知识图谱问答,深度学习,语义匹配,多任务学习的论文, 主要内容为随着大规模知识图谱的构建,基于知识图谱的自动问答成为自然语言处理领域的研究热点。该任务旨在用知识图谱中的三元组回答用户问题,使用户能够高效、准确地获取知识。然而,知识图谱问答由于知识图谱规模庞大、问题和答案数据异构而存在挑战。目前大量工作关注于分段式建模问题与三元组的局部匹配,从而进行答案选择。然而这样忽略了不同匹配子任务之间的关联,容易带来误差传播问题。此外,由于缺乏大规模无偏标注数据,模型遇到低频或者未登录关系时效果容易变差。因此,本文利用深度学习方法进行模型改进,利用外部数据和逆任务进行模型提升。本文主要工作包括如下几个方面:·基于序列标注模型的子图检索 利用整个知识图谱作为候选答案是不切实际的,因此需要检索出与问题相关的子图,减小模型的搜索空间。本文首先构建了基于Bi-LSTM的序列标注模型识别问题的主题实体,接着设计了启发式算法进行主题实体和知识图谱中候选实体的匹配,该算法结合了融入先验知识的扩展匹配和基于Jaccard的模糊匹配,旨在修改该阶段的误差,从而扩大实体召回,产生高质量的候选答案集合。·基于多任务学习的候选重排模型 在候选答案重排阶段,本文针对现有的问题答案匹配框架进行改进,缓解其中的误差传播问题。其一,基于多任务学习构建一个具有共享编码层的联合匹配模型,使实体匹配和关系匹配两个子任务共同学习。其二,我们在模型中设计了一个对称互补注意力机制模块,旨在捕捉两个子任务之间的关联信息,区分问题的在不同子任务中的语义表示。实验证明模型在整体任务和各个子任务上都有效果的提升。·融入外部文本和逆任务的模型提升 为缓解缺乏标注数据问题,本文探究了两种模型提升方法。其一是融入外部文本数据的模型改进,其中主要包括融入文本信息的关系编码模块和融入子图信息的实体编码模块,使三元组考虑上下文环境得到更准确的编码表示。其二是利用知识图谱问题生成模型自动生成问答数据进行数据增强,然后对原预训练好的问答模型进行微调。最后实验分析了两种提升方法的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码港湾 ，原文地址：https://m.bishedaima.com/lunwen/47844.html
