异质图表示学习算法研究及应用
这是一篇关于异质图,图神经网络,图表示学习,元路径,离职预测的论文, 主要内容为现实生活中,很多事物都可以表示为包含多种类型节点和不同交互关系的异质图的形式,如推荐系统、知识图谱等。异质图表示学习方法旨在将其丰富的结构和语义信息映射到低维向量空间,进而将这些特征用于下游的节点分类、链接预测等任务。异质图神经网络模型作为一种结合了深度学习技术的表示学习方法,近年来受到学者的广泛关注,其关键在于如何挖掘并融合异质的结构、语义以及节点属性等信息。此外,现实网络往往具有高度动态性,如何捕获网络的时间敏感特征也成为研究的重点方向之一。本文通过对现有的异质图表示学习模型进行对比分析,并针对其不足提出了相应的解决方案,主要的研究内容包括以下两个方面:(1)在异质图神经网络模型方面,现有的研究往往基于同质邻居之间的信息传递,舍弃了异质邻居丰富的结构和属性信息,或者不加区分地对待同质和异质邻居节点,使得模型的表达能力不足。针对该问题,本文提出了一种基于元路径子图学习的异质图神经网络模型HMSG。具体而言,本文首先通过属性变换将异质节点多维度属性信息映射到相同维度的潜在向量空间;然后按照元路径的规则将异质图分解为多个同质子图和异质子图,每个子图含有其独特的结构和语义信息;接着分别对每个子图应用相应的消息聚合方法,这样不仅可以保留同质子图的结构和语义信息,还可以挖掘到更多的异质属性和结构信息;最终将每个节点在不同子图中的表征进行融合获得完整的特征向量。为了验证所提出模型的效果,本文分别在节点分类、节点聚类、链接预测等任务中使用多个数据集进行实验评估。实验结果显示,本文提出的异质图神经网络模型可以挖掘到更多的信息,与基线模型相比在各项指标中的性能均处于最优。(2)针对现实网络高度动态的特点,本文提出了一种动态二分图表示学习模型DBGE。首先,通过时序随机游走规则进行采样获得按照时序递增排列的节点序列集合,然后应用skip-gram模型获取每个节点的低维向量表示。本文将上述模型应用于员工离职预测问题,具体来说,先将员工的工作记录表示为动态二分图的形式,然后在该二分图上应用DBGE模型学习节点的低维特征表示,最后结合员工基本属性特征,并使用机器学习分类模型进行预测。本文通过对比只使用基本属性特征和结合表示学习特征两种情况下模型的预测效果,验证所提出的动态二分图表示学习模型对员工离职预测问题的有效性。同时利用多个数据集进行了链接预测和可视化实验,验证模型相对于基线模型的优势。
基于图注意力网络的嵌套命名实体识别研究与实现
这是一篇关于知识图谱,嵌套实体识别,同质图,异质图,注意力机制的论文, 主要内容为互联网技术的高速发展促进了信息的交流与传播,但是网络空间中大量非结构化的文本数据影响搜索和推理等互联网应用的效率和质量。基于知识图谱的搜索和推理技术能够有效提升互联网搜索的效率和性能,嵌套命名实体识别作为知识图谱中命名实体识别的子任务之一,主要作用是识别出嵌套在命名实体中的实体,能够有效地提升命名实体识别的质量,实现构建全面、正确、真实的知识图谱的目标。图神经网络在建模非结构化文本时能够充分获取文本序列上下文信息,在同质图神经网络中,主要存在的问题有边界检测困难、计算复杂度高和难以处理异质信息,而在异质图神经网络中,主要问题在于难以确定中心节点、约束邻居节点采样域。本文基于图神经网络提出了基于同质图注意力机制和基于异质图注意力机制的嵌套命名实体识别方法来解决图神经网络在嵌套实体识别任务中的问题。同时,本文实现了一个基于上述两种方法的嵌套实体识别系统,本系统也采用条件随机场和BERT模型进行训练和推理,并对比了四种模型的评估指标和推理时长,直观展示了本文所提出模型的实验结果和优越性能。+首先,本文提出一种基于同质图注意力机制的嵌套命名实体识别方法来解决英文文本序列分割、边界表示和嵌套实体识别等问题。该方法将文本序列中的单词与单词、单词与短语、单词短语上下文关系在同质图上进行注意力计算从而完成同质图中节点的编码工作,最后通过双向嵌套实体解码层逐层抽取文本序列中的嵌套实体,得到嵌套实体解码结果。基于同质图注意力机制的嵌套命名实体识别方法在处理异质信息方面存在天然的缺陷,同时每次计算均需加载全图到计算机中,故时空复杂度也较高。+第二,本文提出引入文本的词性信息的异质图注意力模型来解决嵌套实体识别问题。该方法首先通过文本的词性信息对文本进行异质图节点初始化,然后本文设计了基于词性路径的节点采样算法对当前节点进行邻居节点采样并结合注意力机制对当前节点进行更新,最后通过前文所述的双向嵌套实体解码层进行逐层的嵌套实体解码。在计算过程中,两种图注意力方法均采用负对数似然函数计算模型损失。该方法能够在异质图上进行非结构化文本的建模,同时在小图上进行中心节点采样和邻居节点的更新可以降低图计算的时空复杂度,而基于词性路径的节点采样算法可以有效解决异质图计算过程中存在的难以确定中心节点以及邻居节点采样域约束问题。第三,基于两种图注意力网络的研究内容,本文开发了一个面向生物学领域文本的嵌套命名实体识别系统。该系统能够对生物学领域的普通实体和嵌套实体进行抽取,提升知识图谱的质量,提升知识图谱中推理和搜索等任务的性能。同时,该系统也展示了所述模型的评估指标和运行时长,直观展示模型的运行结果。本文所提出的同质图注意力模型和异质图注意力模型在召回率和F1分数上相比同类型模型均有所提升,同时异质图注意力模型的时间复杂度也低于同类型方法。本文最终实现一个基于图注意力神经网络的嵌套命名实体识别系统,该系统主要包括基于同质图注意力机制的嵌套命名实体识别方法和基于异质图注意力机制的嵌套命名实体识别方法,该系统同时也展示了模型的评估指标和运行时间。最终结果显示,本文所设计的方法与系统能够有效地抽取生物学领域中的普通实体与嵌套实体。
异质图表示学习算法研究及应用
这是一篇关于异质图,图神经网络,图表示学习,元路径,离职预测的论文, 主要内容为现实生活中,很多事物都可以表示为包含多种类型节点和不同交互关系的异质图的形式,如推荐系统、知识图谱等。异质图表示学习方法旨在将其丰富的结构和语义信息映射到低维向量空间,进而将这些特征用于下游的节点分类、链接预测等任务。异质图神经网络模型作为一种结合了深度学习技术的表示学习方法,近年来受到学者的广泛关注,其关键在于如何挖掘并融合异质的结构、语义以及节点属性等信息。此外,现实网络往往具有高度动态性,如何捕获网络的时间敏感特征也成为研究的重点方向之一。本文通过对现有的异质图表示学习模型进行对比分析,并针对其不足提出了相应的解决方案,主要的研究内容包括以下两个方面:(1)在异质图神经网络模型方面,现有的研究往往基于同质邻居之间的信息传递,舍弃了异质邻居丰富的结构和属性信息,或者不加区分地对待同质和异质邻居节点,使得模型的表达能力不足。针对该问题,本文提出了一种基于元路径子图学习的异质图神经网络模型HMSG。具体而言,本文首先通过属性变换将异质节点多维度属性信息映射到相同维度的潜在向量空间;然后按照元路径的规则将异质图分解为多个同质子图和异质子图,每个子图含有其独特的结构和语义信息;接着分别对每个子图应用相应的消息聚合方法,这样不仅可以保留同质子图的结构和语义信息,还可以挖掘到更多的异质属性和结构信息;最终将每个节点在不同子图中的表征进行融合获得完整的特征向量。为了验证所提出模型的效果,本文分别在节点分类、节点聚类、链接预测等任务中使用多个数据集进行实验评估。实验结果显示,本文提出的异质图神经网络模型可以挖掘到更多的信息,与基线模型相比在各项指标中的性能均处于最优。(2)针对现实网络高度动态的特点,本文提出了一种动态二分图表示学习模型DBGE。首先,通过时序随机游走规则进行采样获得按照时序递增排列的节点序列集合,然后应用skip-gram模型获取每个节点的低维向量表示。本文将上述模型应用于员工离职预测问题,具体来说,先将员工的工作记录表示为动态二分图的形式,然后在该二分图上应用DBGE模型学习节点的低维特征表示,最后结合员工基本属性特征,并使用机器学习分类模型进行预测。本文通过对比只使用基本属性特征和结合表示学习特征两种情况下模型的预测效果,验证所提出的动态二分图表示学习模型对员工离职预测问题的有效性。同时利用多个数据集进行了链接预测和可视化实验,验证模型相对于基线模型的优势。
基于异质图的推荐模型研究
这是一篇关于推荐系统,异质图,知识图谱,注意力机制,递归神经网络的论文, 主要内容为协同过滤推荐算法仅从用户与项目的历史交互数据中挖掘用户的偏好信息,其优点是计算简单,但存在数据稀疏性问题,即用户与项目交互数据中存在大量的零值或缺失值。当前的研究趋势是在推荐算法中引入辅助信息来解决上述问题,进而提升推荐性能。知识图谱是一种异质信息网络图,蕴含大量的关系语义信息,能弥补用户与项目交互数据的稀疏或缺失,因此可以作为辅助信息融合到推荐系统中。本文对基于异质图的推荐模型展开了研究,其主要工作和创新如下:针对传统协同过滤推荐算法存在的数据稀疏性问题,本文提出了一种基于知识图谱的邻居信息聚合推荐模型。一方面,该模型将用户的历史偏好和候选项目分别与知识图谱中的实体匹配,并作为中心节点,沿着不同的链接关系向外扩展至更多的邻居实体,采用图卷积网络聚合邻居信息以丰富用户和项目特征表示;另一方面,考虑到如果无差别地聚合所有邻居信息,易导致中心节点的特征信息缺乏表示能力,本文引入自注意力机制关注节点之间的链接关系,从而有偏重地聚合节点的邻居信息。本文在两个公开地数据集上对模型进行了实验验证,其结果表明,在点击率预测和Top-K推荐任务中,该模型与现有的推荐模型相比,推荐准确率有较大的提升。针对推荐系统中的数据稀疏性问题,本文提出了一种基于递归神经网络和知识图谱的推荐模型。考虑到现有的基于图嵌入的推荐模型忽略了用户与项目交互的重要性,以至于学习的嵌入表示不能有效地表达用户兴趣。本文首先使用改进的递归神经网络从用户的历史交互序列中提取用户局部兴趣特征和项目潜在特征,这样有利于获取真实的用户偏好;其次,为了将知识图谱中的实体信息传递至用户和项目原始特征中,本文提出了一个新的实体感知嵌入方法,直接将用户与历史项目之间的协作信息融合到实体中,从全局角度探索用户的兴趣特征;最后通过集成用户的局部兴趣特征和全局兴趣特征完成推荐任务。本文在两个真实数据集上进行实验,实验结果证明了该模型与现有的推荐模型对比,有更高的推荐准确率。
异质图表示学习算法研究及应用
这是一篇关于异质图,图神经网络,图表示学习,元路径,离职预测的论文, 主要内容为现实生活中,很多事物都可以表示为包含多种类型节点和不同交互关系的异质图的形式,如推荐系统、知识图谱等。异质图表示学习方法旨在将其丰富的结构和语义信息映射到低维向量空间,进而将这些特征用于下游的节点分类、链接预测等任务。异质图神经网络模型作为一种结合了深度学习技术的表示学习方法,近年来受到学者的广泛关注,其关键在于如何挖掘并融合异质的结构、语义以及节点属性等信息。此外,现实网络往往具有高度动态性,如何捕获网络的时间敏感特征也成为研究的重点方向之一。本文通过对现有的异质图表示学习模型进行对比分析,并针对其不足提出了相应的解决方案,主要的研究内容包括以下两个方面:(1)在异质图神经网络模型方面,现有的研究往往基于同质邻居之间的信息传递,舍弃了异质邻居丰富的结构和属性信息,或者不加区分地对待同质和异质邻居节点,使得模型的表达能力不足。针对该问题,本文提出了一种基于元路径子图学习的异质图神经网络模型HMSG。具体而言,本文首先通过属性变换将异质节点多维度属性信息映射到相同维度的潜在向量空间;然后按照元路径的规则将异质图分解为多个同质子图和异质子图,每个子图含有其独特的结构和语义信息;接着分别对每个子图应用相应的消息聚合方法,这样不仅可以保留同质子图的结构和语义信息,还可以挖掘到更多的异质属性和结构信息;最终将每个节点在不同子图中的表征进行融合获得完整的特征向量。为了验证所提出模型的效果,本文分别在节点分类、节点聚类、链接预测等任务中使用多个数据集进行实验评估。实验结果显示,本文提出的异质图神经网络模型可以挖掘到更多的信息,与基线模型相比在各项指标中的性能均处于最优。(2)针对现实网络高度动态的特点,本文提出了一种动态二分图表示学习模型DBGE。首先,通过时序随机游走规则进行采样获得按照时序递增排列的节点序列集合,然后应用skip-gram模型获取每个节点的低维向量表示。本文将上述模型应用于员工离职预测问题,具体来说,先将员工的工作记录表示为动态二分图的形式,然后在该二分图上应用DBGE模型学习节点的低维特征表示,最后结合员工基本属性特征,并使用机器学习分类模型进行预测。本文通过对比只使用基本属性特征和结合表示学习特征两种情况下模型的预测效果,验证所提出的动态二分图表示学习模型对员工离职预测问题的有效性。同时利用多个数据集进行了链接预测和可视化实验,验证模型相对于基线模型的优势。
中医实体表示学习与中药推荐技术
这是一篇关于中医,异质图,知识图谱,主题模型,表示学习,推荐系统的论文, 主要内容为中医是我国传统医学,在医疗保健领域发挥了重要的积极作用。近年来,以机器学习为代表的人工智能技术飞速发展,为中医实现现代化、信息化、智能化带来了机遇。利用机器学习技术开发中药推荐模型,即实现根据一组症状,智能化地输出一组中药,可以帮助医生在中医临床实践中更准确、更科学地制定医疗决策,同时促进中医更好发展。目前主流的中药推荐方法多以主题模型为基础,仅利用症状、中药间的共现信息,不能很好的建模二者的联系。因此,将中医领域知识引入中药推荐任务,可以更好地建模症状、中药之间的关联,从而提升中药推荐模型的性能。本文深入对如何融合中医领域知识以更好地进行中药推荐这个问题展开研究。首先利用知识图谱技术,建模、组织多源异构的中医领域知识,以便高效利用;进一步提出基于中医异质图的表示学习方法以获得更有效的中医实体表示,支撑中药推荐任务;最后提出融合中医实体表示和中药配伍知识的主题模型,以进行中药推荐任务,实现中医临床诊断的智能化。本文主要工作总结如下:·建立了信息丰富的中医领域知识图谱。利用知识图谱技术,基于多源异构数据,以自顶向下的模式构建中医领域知识图谱,实现对中医领域知识的统一组织;·提出了中医异质图表示学习算法(TCM Entity Enembedding Model Based on Heterogeneous Network,简称为TCME)。针对中医信息异质性的建模、中医实体高阶联通性的建模等中医实体表示学习的主要问题,提出TCME模型,获取基于异质图的中医实体向量,更好地支撑中药推荐任务;·提出了融合中医实体表示的基于主题模型的中药推荐算法(TCM Entity Em-bedding Enhanced Topic Moldel,简称为 TCMETM)。创新性地将中 医实体向量表示引入中药推荐任务,更好地建模症状与中药的关联;同时引入中医配伍知识,提出 HC-TCMETM 模型(Herbal compability TCMETM),使中药推荐结果更加有效且合理。
异质图网络算法研究及应用
这是一篇关于异质图,异质图神经网络,专利知识图谱,位置编码,长尾问题的论文, 主要内容为异质图适合描述具有不同类型实体和关系的现实世界数据,有效扩展了网络的概念。异质图神经网络作为一种新型技术,用来捕获异质图中的异质信息,能够有效地将消息传递机制和异质图中复杂的语义结合起来,在异质图挖掘领域取得巨大成功。然而,异质图本身存在一些通用问题,例如:无初始特征问题和节点度数的长尾问题等。知识图谱是异质图的一种特殊情况,基于两者提出的图建模和图表示方法却鲜有交叉,这是值得关注的方向。专利知识图谱能够建模大量专利间的交互,利用异质图技术分析专利知识图谱也面临着专利特征缺失,长尾等通用问题。针对上述挑战,本文对异质图神经网络的关键技术开展深入研究。首先,研究异质图的两个关键的通用问题,即特征缺失和长尾问题,分别设计相应的异质图神经网络进行解决。其次,研究了融入异质图语义的专利知识图谱构建方法。最后,进一步探究了异质图神经网络在专利知识图谱中的应用。综上,本文的主要研究内容及创新点如下所示:(1)针对如何为无初始特征或难以生成特征的异质图生成高质量的特征问题,提出异质图神经网络的位置编码(Position Encoding for Heterogeneous Graph Neural Network,PE)。具体来说,使用图嵌入获得节点拓扑嵌入,以节点间的拓扑关系为指导,计算子图中节点之间的位置,并将位置信息编码为特征作为初始特征或附加特征用于后续的节点聚合。本研究是一个异质图通用框架,易于与现有的优秀异质聚合模型相结合。在三个基准数据集上进行的大量实验表明提出的异质图神经网络框架的优越性。(2)针对异质图中节点度数的长尾问题,设计了长尾节点信息补全的异质图神经网络(Heterogeneous Graph Neural Network with Tail Node Completion,HGNNTC)。具体来说,执行节点内容转换将异质节点投影到同一特征空间,然后学习目标头节点的丰富异质邻域生成全局关系,对头尾节点进行对比生成额外信息用于尾节点聚合。本研究也是一个异质图的通用框架,易于与任意的异质聚合模型相结合。在两个基准数据集上的广泛实验表明提出的异质图神经网络模型在尾节点分类任务的有效性。(3)针对专利数据的海量属性及孤岛特性,提出融入异质语义的专利知识图谱构建方案。首先对从专利数据库中采集的专利数据进行多步骤清洗。其次引入异质图语义规则,以专利为中心设计了专利知识图谱的本体。基于定义好的本体,将清洗好的数据映射成实体和关系,存储在图数据库中,实现专利知识图谱的构建。最后基于构建的专利知识图谱抽取专利异质图,使用提出的异质图神经网络对专利知识图谱中的专利执行高效率高准确率的分类应用。
异质图表示学习算法研究及应用
这是一篇关于异质图,图神经网络,图表示学习,元路径,离职预测的论文, 主要内容为现实生活中,很多事物都可以表示为包含多种类型节点和不同交互关系的异质图的形式,如推荐系统、知识图谱等。异质图表示学习方法旨在将其丰富的结构和语义信息映射到低维向量空间,进而将这些特征用于下游的节点分类、链接预测等任务。异质图神经网络模型作为一种结合了深度学习技术的表示学习方法,近年来受到学者的广泛关注,其关键在于如何挖掘并融合异质的结构、语义以及节点属性等信息。此外,现实网络往往具有高度动态性,如何捕获网络的时间敏感特征也成为研究的重点方向之一。本文通过对现有的异质图表示学习模型进行对比分析,并针对其不足提出了相应的解决方案,主要的研究内容包括以下两个方面:(1)在异质图神经网络模型方面,现有的研究往往基于同质邻居之间的信息传递,舍弃了异质邻居丰富的结构和属性信息,或者不加区分地对待同质和异质邻居节点,使得模型的表达能力不足。针对该问题,本文提出了一种基于元路径子图学习的异质图神经网络模型HMSG。具体而言,本文首先通过属性变换将异质节点多维度属性信息映射到相同维度的潜在向量空间;然后按照元路径的规则将异质图分解为多个同质子图和异质子图,每个子图含有其独特的结构和语义信息;接着分别对每个子图应用相应的消息聚合方法,这样不仅可以保留同质子图的结构和语义信息,还可以挖掘到更多的异质属性和结构信息;最终将每个节点在不同子图中的表征进行融合获得完整的特征向量。为了验证所提出模型的效果,本文分别在节点分类、节点聚类、链接预测等任务中使用多个数据集进行实验评估。实验结果显示,本文提出的异质图神经网络模型可以挖掘到更多的信息,与基线模型相比在各项指标中的性能均处于最优。(2)针对现实网络高度动态的特点,本文提出了一种动态二分图表示学习模型DBGE。首先,通过时序随机游走规则进行采样获得按照时序递增排列的节点序列集合,然后应用skip-gram模型获取每个节点的低维向量表示。本文将上述模型应用于员工离职预测问题,具体来说,先将员工的工作记录表示为动态二分图的形式,然后在该二分图上应用DBGE模型学习节点的低维特征表示,最后结合员工基本属性特征,并使用机器学习分类模型进行预测。本文通过对比只使用基本属性特征和结合表示学习特征两种情况下模型的预测效果,验证所提出的动态二分图表示学习模型对员工离职预测问题的有效性。同时利用多个数据集进行了链接预测和可视化实验,验证模型相对于基线模型的优势。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设客栈 ,原文地址:https://m.bishedaima.com/lunwen/49263.html