面向生物医学领域的复杂实体关系抽取
这是一篇关于关系抽取,SBEL语句,联合学习,语料迁移的论文, 主要内容为近年来,生物医学文献作为生物医学领域知识的主要来源,其数量急速增长,其中生物医学实体关系是最突出的表现形式之一。从文献中挖掘出生物医学实体关系对研究人员进行系统的生物医学研究具有重要意义,它不仅有助于领域内构建知识图谱,也能推动新药研发和精准医疗。在生物医学领域中,除了存在两个实体之间的二元关系之外,还有多个实体参与的关系,甚至一个实体关系作为另一个关系的论元,本文把这类实体关系称为复杂实体关系。在BioCreativeV组织的共享任务4(BEL任务)中,用BEL语句表达的生物医学实体因果关系就是这样一类复杂实体关系,因此本文把这种因果关系抽取作为复杂实体关系抽取的研究对象,主要研究内容如下:第一,基于SBEL语句和BERT模型的因果关系抽取。针对BEL语句在表达生物医学实体因果关系方面的复杂性,本文提出了基于中间形式SBEL(简化BEL)和BERT预训练神经网络模型的方法来改善BEL语句抽取性能。从实验结果可以看出,该方法能够对BEL语句的抽取起到显著的促进作用。第二,基于关系抽取和功能检测联合学习的因果关系抽取。为了捕捉实体功能与实体关系之间的依赖性,本文将SBEL语句抽取中的关系抽取和功能检测这两个子任务进行联合学习和决策。实验结果表明,两个子任务共同决策的实体关系抽取方法能够更好地提高BEL语句的抽取性能。第三,基于事件抽取语料迁移的因果关系抽取。生物医学文献中的领域知识之间密切相关,本文将GENIA中的事件信息映射到BEL语句中的实体功能,以此提高功能检测子任务的性能。实验表明,基于迁移语料和融合语料的实体因果关系抽取都取得了较好的性能。
面向中文医学的深度学习信息抽取研究
这是一篇关于深度学习,实体识别,关系抽取,多任务学习,联合学习的论文, 主要内容为在中文医学信息抽取领域,由于实体标注语料匮乏,传统的命名实体识别模型难以达到较好的精度和F1值。因此,在该领域,常用迁移学习和多任务学习来克服标注语料稀缺的问题。然而,在以往的工作中,采用多任务学习的命名实体识别模型在共享任务数据和共享网络层时,会出现一些任务之外的噪声以及忽略了独立于任务之外的交互信息。信息抽取领域通常将命名实体识别任务和关系抽取任务作为两个相对独立的子任务。在关系抽取和实体识别联合训练中,会出现错误传播以及信息冗余等问题。本文分析了当前国内外的研究现状以及现存的不足,从神经网络共享以及标注策略的角度出发,提出了新的多任务模型和实体关系联合抽取模型。主要的工作内容如下:1、针对中文医学标注语料稀缺,以及现有的多任务模型忽略的问题,提出一种具有交叉共享结构的多任务命名实体识别模型,用于获取独立于目标任务之外的交互特征,并使用预训练语言模型增强语料,提高了实体识别的性能。本文模型在CCKS2017和CCKS2018上实验,F1值分别达到了90.23和87.68,证明了本文提出模型的有效性。另外,因中文分词工具在中文医学领域存在分割错误的问题,本文设计了一种结合中文分词任务的命名实体识别模型,该方法能在有限的数据集上得到更高的实体识别率,缓解了因分词错误导致实体识别率不高的问题。2、在实体关系联合抽取的任务中,针对传统流水线模型出现的信息冗余,错误传播的问题,构建了新的分解标注策略以及实体关系抽取规则,在模型的输入层引入了中文笔画ELMO模型,并通过注意力机制来缓解标注策略带来的类别不平衡的问题。模型在中文糖尿病数据集上的实验取得了72.17的F1值,相较于其它联合抽取模型取得了最好的性能。3、构建与实现中文医学问答系统。本文通过Neo4j搭建中文医学知识图谱,并在中文医学知识图谱上实现问答系统。本系统集成了医学知识问答、实体识别查询、医学知识检索、实体关系抽取查询和知识图谱可视化等系统功能。
面向电力通信设备故障信息的知识图谱构建方法研究
这是一篇关于知识图谱,联合学习,多实体分割,故障研判,检索推荐,智能电网的论文, 主要内容为随着智能电网及能源互联网的快速发展,海量异构的电力通信设备不断接入到电力基础设施中,极大地促进了电网的数字化建设。然而,一旦电力通信设备出现故障可能引起电网扰动,威胁电网安全。海量的设备使得故障研判数据呈指数级增长,且由于设备功能各异,故障千差万别、影响不一,导致运维过程中出现监管实效差、故障信息定位难等问题。而现有电力故障数据库结构冗余、关联复杂难以分析,故障信息检索效率低、准确率差,其对电网智能化、数字化发展产生极大阻碍。针对上述问题本文面向电力通信设备的故障信息,深入研究了电力通信设备故障的知识抽取方法,构建电力通信设备的故障知识图谱,实现电力通信设备故障信息的可视化管理。并以此为基础研究故障信息的快速检索方法,实现电力通信设备故障的精准定位,为电网智能化运维提供技术支持。针对电力通信设备故障实体关系不明确和内容不完备的问题,本文提出了基于ALBERT-Bi LSTM(A Lite Bidirectional Encoder Representation from Transformers,Bidirectional Long Short-Term Memory,ALBERT-Bi LSTM)预训练与共享编码模型对故障数据进行词嵌入转换解决文本信息流失问题。并通过参数层共享对语料特征的深度挖掘汲取上下文关系增强量子任务之间的耦合,实现实体关系信息联合编码;提出多故障实体分割方法(Multi-Entity Knowledge Joint Extraction,MEKJE)对设备故障进行多个故障实体间的关系抽取,实现故障实体和关系的联合获取。针对电力通信设备故障检索定位缺乏领域数据库和特征学习的问题,本文以电网调度业务为核心对电力知识图谱的本体层重构设计,形成科学合理故障业务调度本体层,并通过知识图谱构建软件实现电网通信设备故障知识图谱的可视化。并以此为基础提出了电力故障检索与推荐模型(Power Fault Retrieval and Recommendation Model,PF2RM)提高电力通信设备的故障检索与定位的查询效果。其中,电力故障检索方法(Power Fault Retrieval method,PFR)方法通过设计图邻故障实体簇增强故障实体的聚合程度,解决冷启动故障定位问题。同时,用户多态推荐方法(User-Polymorphic Retrieval Recommendation method,UPRR)形成过去状态和当前状态的用户检索子图,实现常规故障检索的准确预测。本文在SDH光通信设备数据集与Cluener数据集上分别对MEKJE与Bi LSTMCRF等多种经典知识抽取模型对比评估,本模型F1值达到78.6%,准确率提高了5%,召回率提高8%。并以电力通信设备故障知识图谱为基础,将PF2RM与Ripple Net等多种检索算法对比评估,在NDCG和AUC上提高了2%-10%,在准确率,多样性,召回率和F1值等方面有10%,6%,8%和2%的提升,为电网数字化、智能化提供有效解决方案。
融合知识图谱特征学习的协同过滤推荐系统设计与实现
这是一篇关于推荐系统,协同过滤,隐式反馈,知识图嵌入,联合学习的论文, 主要内容为随着大数据时代的到来,网络上的信息量以近乎指数级别的方式飞速增长,使用户淹没在无尽的产品、新闻和电影等信息洪流之中。推荐系统以用户的历史交互数据为基础,为用户提供个性化的推荐服务,已成为解决信息过载问题中不可或缺的重要工具。然而,传统的协同过滤推荐算法仅依赖用户的非结构化数据,存在数据稀疏性问题。为解决这一问题,许多推荐算法开始使用结构化知识图谱数据作为辅助信息以生成更加准确的推荐结果。本文主要阐述了基于知识图嵌入的协同过滤推荐系统所涉及的相关技术原理,着重对知识图谱辅助的隐式反馈推荐算法进行了讨论,并针对知识图谱语义特征提取方面存在的缺点和不足,对传统的知识图嵌入算法进行了改进和优化,最终实现了融合知识图谱的协同过滤推荐系统。主要工作如下:(1)对近年来与推荐系统相关的技术研究进行了系统地文献综述,特别是基于知识图谱辅助推荐的各项研究。对基于知识图谱辅助的协同过滤推荐中所涉及的隐式反馈数据建模、知识图嵌入技术进行了总结,并对其中包含的相关算法进行了分析和对比。(2)针对结构化知识获取和项目语义特征提取两个关键问题以及协同过滤算法所面临的稀疏性问题,提出了一种基于知识图嵌入的协同过滤推荐算法(KGECF)。该算法首先从Freebase知识图谱中提取与项目相关的知识信息,并与历史交互项目进行链接,构建子知识库;然后通过基于Trans R的Xavier-Trans R方法得到子知识库中实体、关系表征;设计一种端到端的联合学习模型,将结构化信息与历史偏好信息嵌入到统一的向量空间中;最后利用协同过滤方法进一步计算这些向量并生成精确的推荐列表。(3)在Movielens-1M和Amazon-Book两个公开数据集上对所提出的算法进行了实验分析,结果表明该算法在推荐准确率、召回率、F1值和NDCG四个指标上均优于基线方法,能够集成大规模的结构化和非结构化数据,同时获得高精度的推荐结果。(4)设计并实现了融合知识图谱的协同过滤推荐系统,其中使用Neo4j图数据库进行知识子图的构建,使用Python进行系统交互界面的搭建。
事件的触发词与论元联合抽取方法研究
这是一篇关于事件抽取,触发词抽取,论元抽取,联合学习,预训练模型的论文, 主要内容为随着互联网信息量的爆炸式增长,如何充分利用这些具备海量、多样、低价值密度特性的信息,来为社会、经济、技术的进一步发展提供推动力,成为了摆在研究者面前的一个重大的挑战。为解决这一问题,以从非结构化文本中抽取出人们关心的结构化信息为目标的信息抽取技术愈发重要,而事件抽取正是信息抽取领域的重要研究任务之一。事件抽取的目标是从非结构化的文本中提取出半结构化的事件,来直接运用或者服务于下游的研究和应用。事件抽取可进一步细分为两个子任务,第一个子任务为对文本中最能代表事件发生的字段进行抽取,该字段被称为触发词;第二个子任务为对参与事件的人物、时间、物品等要素进行抽取,这些要素被称为论元。事件抽取的成果对于文本摘要、问答系统、知识图谱构建等应用均具有十分重要的意义。以事件抽取为研究主题,本文的主要研究内容如下:首先,研究了事件触发词的抽取,该子任务又可称为事件检测。现有的事件检测方法仅仅将文本对应的实体类别信息作为文本信息的辅助,忽略了实体类别序列中可能蕴含的序列特征。本文提出了一个事件检测模型ETEED,充分挖掘实体类别的序列特征,并设计了一个触发词-实体交互关系学习模块,将文本序列特征与实体序列特征进行融合,提升了触发词抽取的效果。其次,研究了事件触发词与论元的联合抽取方法。目前大多数事件抽取研究都将论元抽取和触发词抽取分成两个相对独立的抽取阶段,即先对触发词抽取模型进行训练和应用,然后将触发词抽取的结果作为输入,传输到论元抽取的模型之中。此类事件抽取研究方法被称为流水线方法。这类方法优点在于模型的设计和训练相对简单,缺点在于触发词抽取结果的错误会在论元抽取模型中传播,且分阶段的训练会增大事件抽取任务的时间成本。因此,本文采用联合学习思路,通过共享实体类别信息的方式将触发词抽取和论元抽取模块进行连接,并融合预训练语言模型BERT的优势,构建了联合抽取模型PJEE,提高了事件触发词与论元抽取效果和效率。最后,本文就上述事件检测模型ETEED与事件联合抽取模型PJEE的效果进行了实验验证。在ACE 2005这一公开测评数据集上进行的大量实验表明,本文提出的事件检测模型和事件联合抽取模型能够有效地利用实体类别信息,并在各项评测指标上优于现有的事件检测和事件抽取方法。
基于联合学习的实体识别与关系抽取研究
这是一篇关于实体与关系,联合学习,双编码器,最小风险训练,高阶共指消解的论文, 主要内容为在知识图谱构建、任务型对话机器人等自然语言综合应用任务中,作为信息抽取子任务的实体识别和关系抽取起着十分重要的作用,也是许多其他下游自然语言处理任务的基础环节,因此探究提升实体识别和关系抽取模型性能的方法,对于改善自然语言处理领域的上层任务也有着极大地促进作用。此外,由于联合学习模式能够改善流水线模式存在冗余信息和误差累积的缺陷,所以本文分别从句子级别和文档级别来研究基于联合学习模式的实体识别与关系抽取模型,目的在于提升实体识别与关系抽取任务的性能。1、针对单个编码器不足以捕获同一空间中两个关联任务所需信息的缺陷。本文提出了一种融合双编码器模型和最小风险训练算法的句子级别实体与关系联合学习模型,其中双编码器模型通过使用序列编码器和表格编码器来获取实体标签和关系标签,并且序列编码器使用表格引导的注意力来学习表格编码器的工作,而表格编码器的核心是利用多向多维循环神经网络来获取多维度和多方向的信息。此外,本文还在双编码器模型的基础上引入最小风险训练算法来构建一个能让实体模块和关系模块一起进行反向传播的全局损失函数,以此来加强实体模块和关系模块之间的联系。最后在四个句子级别数据集ACE04、ACE05、Co NLL04和ADE上实验得出,本文提出的句子级别模型在基线模型Two-Encoders的基础上分别提升了3.8%、3.3%、1.8%和2.3%的F1值,证实了全局损失函数有助于优化联合学习模型参数的更新,以及双编码器模型在实体与关系抽取任务上的优势。2、针对目前大多数文档级别的实体与关系联合学习模型存在输出结果冗余的问题。本文提出了一种从文档中提取实体以及实体级别关系的联合学习模型NJEREx,该模型采用完全可微的高阶推理结构来迭代更新跨度表示,这种高阶共指消解模型可以改善基线共指消解模型容易预测出局部一致但全局不一致实体簇的缺陷,而粗略因子的引入则用于缓解高阶结构导致的矩阵计算量大幅增加。此外,NJEREx模型的关系分类模块通过多示例学习结合全局实体信息和局部提及信息的多级表示来收集关系特征,并且输出实体级别关系。最后在文档级别数据集Doc RED上实验得出,NJEREx模型在基线模型JEREX的基础上提升了3.0%的F1值,验证了高阶共指消解对于提升模型性能的有效性,以及结合全局实体与局部提及的多级表示在关系分类模块中的优势。
动态网络及异质信息网络链路预测算法的研究
这是一篇关于动态网络,异质信息网络,链路预测,非负矩阵分解,联合学习的论文, 主要内容为随着互联网的发展,以及数据的爆炸式增长,人、计算机以及它们之间的关系构成了复杂系统。网络科学是研究和描述复杂系统的有效手段之一,利用网络可以对复杂系统的结构进行刻画,并且可以从复杂的数据中提取出有效的信息。利用观察到的网络结构信息,链路预测可以发掘网络节点之间的潜在关系,预测未发生连边的节点在未来发生连边的可能性,还可以识别网络中的虚假连边。在实际应用中,链路预测可以在社交网络中对用户之间的关系进行预测,在推荐系统中对用户进行合适的商品推荐,在生物网络中预测药物之间的组合关系等等。因此链路预测的研究具有重大的理论和应用意义。然而目前大部分链路预测算法仅针对于没有时间信息的单层网络,或者单一类型节点和连边的同质网络。但是,现实世界中的复杂系统是会随着时间而动态变化的,同时也由多种类型的节点和多种类型的连边构成。前者会随着时间动态变化的网络称为动态时序网络,而后者由多种类型节点和连边组成的网络称为异质信息网络。本论文研究基于非负矩阵分解的网络嵌入算法,在链路预测问题中的应用,基于网络嵌入的链路预测认为,两个节点的低维表示越接近,则两个节点之间越有可能发生连边。本论文针对目前链路预测研究中存在的问题,分别在动态网络和异质网络上进行链路预测算法的研究,构建能准确预测网络连边关系的模型。主要内容和创新点总结如下:(1)动态网络链路预测算法的设计:真实网络往往是随着时间而动态变化的,为了设计更有效的链路预测算法,我们需要在挖掘网络拓扑结构的同时,保留网络的动态变化信息。本文提出联合多标签学习、Deep Walk嵌入以及时序平滑正则化的动态网络链路预测模型。该模型的大致思想:首先利用等价于Deep Walk的矩阵分解算法提取网络的拓扑结构信息;然后,基于时序平滑思想以及多标签学习分类器来预测下一时间段的网络连边情况;最后通过联合学习,使得两个模块互相促进,相互影响。在大量以及不同规模的人工数据集以及真实世界数据集上进行了实验,并且实验研究表明,本文所提的动态网络链路预测算法的准确性要高于其他链路预测经典算法。同时还测试了算法的参数敏感性,验证了联合学习是使得该算法表现优越的主要原因。(2)异质网络链路预测算法的设计:复杂系统往往是具有异质性的,也就是说网络的节点和节点之间的关系是多类型的,那么在挖掘异质网络的信息时,不仅需要考虑网络的拓扑结构,还需要考虑类型不同所带来的重要性不同(这称为语义信息)。本文提出基于元路径的非负矩阵分解以及带核支持向量机分类器的异质网络链路预测模型,该模型通过联合学习来进一步提升算法精确度。模型的大致思想为:首先利用先验知识选择合适的元路径,根据不同的元路径构建相应的邻接矩阵;然后利用非负矩阵分解提取各语义子网络的拓扑结构信息,再将各子网络的拓扑信息聚合在一起,组成为最终的节点嵌入;通过带多项式核函数的支持向量机来进行链路预测;最后将以上所有过程联合在一起。本论文收集了目前最具权威的药物组合数据集,并将之构建为异质网络,在该药物组合预测问题的实验中,算法的组合预测准确性远高于其他药物组合预测算法,通过实验分析可以发现,算法的提升的主要来自于核函数的选择以及联合学习过程。
基于机器阅读理解的生物医学文本挖掘
这是一篇关于机器阅读理解,命名实体识别,关系抽取,联合学习的论文, 主要内容为近年来,随着生物医学文献数量的飞速增长,如何从这样庞大的生物医学文献资料中快速高效地抽取出有价值的信息是当前急切需要解决的问题。生物医学领域中的命名实体识别(如疾病、化学物、基因/蛋白质等)和关系抽取,对生物医学知识图谱的构建、精准医学和新药研发等工作具有非常重要的意义。本文在生物医学领域的文本挖掘领域进行了以下三个方面的研究工作:(1)基于机器阅读理解(Machine Reading Comprehension,MRC)的跨类别命名实体识别。相比于传统的序列标注方法,采用机器阅读理解框架的命名实体识别可以通过在问题中嵌入先验知识来提升识别性能,并且可以通过不同的问题来联合多个语料同时训练,从而提高模型共享部分的训练语料。实验结果表明,该方法在常用生物医学命名实体识别语料上能够取得更好的性能。(2)基于机器阅读理解和实体片段分类的关系抽取。在机器阅读理解框架的基础上,利用已知的实体信息直接进行建模,避免了传统MRC方法所带来的假正例问题,从而更好地识别实体间的关系。实验结果表明,该方法在化学物-蛋白质关系抽取(CPI)和药物药物关系抽取(DDI)等两个任务上均取得了更好的性能。(3)基于机器阅读理解的生物医学实体关系联合抽取。利用机器阅读理解框架对生物医学领域的实体识别和关系抽取两个任务进行联合学习,并制定了一些规则来约束关系抽取的结果。联合学习充分利用了两个任务之间的依赖关系,促进了关系抽取性能的提高。在CPI和DDI两个任务上的实验表明,实体识别和关系抽取的联合学习方法在性能上优于单一任务的关系抽取。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计客栈 ，原文地址：https://m.bishedaima.com/lunwen/49196.html
