异质图表示学习算法研究及应用
这是一篇关于异质图,图神经网络,图表示学习,元路径,离职预测的论文, 主要内容为现实生活中,很多事物都可以表示为包含多种类型节点和不同交互关系的异质图的形式,如推荐系统、知识图谱等。异质图表示学习方法旨在将其丰富的结构和语义信息映射到低维向量空间,进而将这些特征用于下游的节点分类、链接预测等任务。异质图神经网络模型作为一种结合了深度学习技术的表示学习方法,近年来受到学者的广泛关注,其关键在于如何挖掘并融合异质的结构、语义以及节点属性等信息。此外,现实网络往往具有高度动态性,如何捕获网络的时间敏感特征也成为研究的重点方向之一。本文通过对现有的异质图表示学习模型进行对比分析,并针对其不足提出了相应的解决方案,主要的研究内容包括以下两个方面:(1)在异质图神经网络模型方面,现有的研究往往基于同质邻居之间的信息传递,舍弃了异质邻居丰富的结构和属性信息,或者不加区分地对待同质和异质邻居节点,使得模型的表达能力不足。针对该问题,本文提出了一种基于元路径子图学习的异质图神经网络模型HMSG。具体而言,本文首先通过属性变换将异质节点多维度属性信息映射到相同维度的潜在向量空间;然后按照元路径的规则将异质图分解为多个同质子图和异质子图,每个子图含有其独特的结构和语义信息;接着分别对每个子图应用相应的消息聚合方法,这样不仅可以保留同质子图的结构和语义信息,还可以挖掘到更多的异质属性和结构信息;最终将每个节点在不同子图中的表征进行融合获得完整的特征向量。为了验证所提出模型的效果,本文分别在节点分类、节点聚类、链接预测等任务中使用多个数据集进行实验评估。实验结果显示,本文提出的异质图神经网络模型可以挖掘到更多的信息,与基线模型相比在各项指标中的性能均处于最优。(2)针对现实网络高度动态的特点,本文提出了一种动态二分图表示学习模型DBGE。首先,通过时序随机游走规则进行采样获得按照时序递增排列的节点序列集合,然后应用skip-gram模型获取每个节点的低维向量表示。本文将上述模型应用于员工离职预测问题,具体来说,先将员工的工作记录表示为动态二分图的形式,然后在该二分图上应用DBGE模型学习节点的低维特征表示,最后结合员工基本属性特征,并使用机器学习分类模型进行预测。本文通过对比只使用基本属性特征和结合表示学习特征两种情况下模型的预测效果,验证所提出的动态二分图表示学习模型对员工离职预测问题的有效性。同时利用多个数据集进行了链接预测和可视化实验,验证模型相对于基线模型的优势。
基于图神经网络的异质图嵌入方法及其应用研究
这是一篇关于异质图嵌入,图神经网络,元路径,关系图卷积,点击率预估,多字段分类特征,因子分解机,高阶特征交互的论文, 主要内容为异质图嵌入方法旨在将图上节点表示为低维稠密的向量并保留图中的异质结构信息和语义信息,从而更好地服务于如节点分类、节点聚类、推荐系统等下游任务中。随着图神经网络在同质图嵌入领域取得了卓越的效果,研究者开始提出基于图神经网络的异质图嵌入方法,从而借助图神经网络强大的表征能力来更有效地挖掘图中的信息,以提升下游任务预测的准确性。主流的异质图嵌入方法多通过元路径来建模图中独特的异质结构信息与语义信息。然而现有基于元路径的异质图嵌入方法通常将预先定义的多个元路径视为相互独立,这种方式过度强调了元路径自身的局部结构却忽略了元路径之间的全局相关性,因此捕获的异质结构信息有限。另一方面,得益于异质图独特的结构以及异质图嵌入方法在图分析任务上卓越的效果,一些研究人员尝试将异质图嵌入应用于如自然语言处理、推荐系统等领域中,然而点击率预估作为推荐领域中最重要的任务之一,却几乎没有看到异质图嵌入方法的应用。针对上述问题,本文以异质图嵌入为研究基础,结合近年来飞速发展的图神经网络,提出了以下两点创新:首先,现有的基于元路径的异质图嵌入模型通常假设给定的元路径是相互独立的,这种分别为每个元路径生成节点嵌入后再融合的方式只关注了每个元路径的局部结构,而忽略了元路径间的全局相关性,因此模型预测效果有限。针对以上问题,本文提出一种基于元路径的关系选择图神经网络(Metapath-based Relational Selection Graph Neural Network,MRSGNN)。模型首先将异质图转化为基于元路径的多关系图,利用提出的关系选择图卷积层直接在多关系图上聚合邻居信息以建模元路径间的全局相关性,并结合注意力机制对多关系下的邻居信息进一步筛选以区分各元路径关系对后续任务的重要性。在三个公开异质图数据集的节点分类任务上,MRSGNN分别取得了94%、92%、61%的预测准确率,均优于最新的基于元路径的异质图嵌入模型。随后,本文将异质图嵌入与点击率预估任务相结合,针对现有的基于多字段分类特征的点击率预估模型默认将不同字段下的特征映射到统一的特征嵌入空间来构造高阶特征交互,这种方式忽略了不同字段的语义性差异以及同字段下特征间相关性。因此本文提出在点击率预估任务中引入异质图,通过将输入特征转化为异质特征图,并利用所提出的基于异质图神经网络的特征交叉模型(Feature interaction via Heterogeneous Graph Attention Network,Fi-HGAN)在建模不同字段特征之间交互关系的同时,对字段间的语义性差异进行考虑。在两个公开数据集上的点击率预估任务上,Fi-HGAN分别取得了0.8084和0.7766的AUC指标值,均优于最新的点击率预估模型。
异构信息网络中融合LDA与元路径的用户相关性度量方法研究
这是一篇关于异构信息网络,知识图谱,链路预测,用户相关性,LDA,元路径,度量的论文, 主要内容为随着社交网络、新媒体网络、文献网络等由多种类型、相互关联的对象组成的大规模异构网络的急剧发展,异构信息网络(Heterogeneous Information Networks,HIN)分析已经成为数据挖掘中一个重要且热门的研究方向。相关性搜索作为异构网络挖掘中重要研究方向之一,受到越来越多学者的关注。相关性搜索旨在从大规模异构信息网络中挖掘出相关的对等实体,从而为异构网络研究提供依据,尤其是为相关用户推荐工作打下了基础。然而,面对异构信息网络的数据量呈指数级增长的现状,用户往往难以从大量的数据中挖掘出感兴趣的信息,这就是所谓的“信息过载”问题。此问题大大降低了信息的使用效率。通过不同的元路径可以定义对象之间的不同关系,因此基于元路径的实体相关性度量方法应运而生,该方法可以从大量的数据集中发现与查询对象最为相关的对象信息,并且作为开展异构信息网络相关研究的基础与核心,现已在许多实际场景中得到了广泛的应用。目前在基于元路径的相关性方法研究中主要存在两个问题:一是在大规模复杂异构信息网络中,由于节点数目众多、边的类型复杂,无法定义或枚举所有的元路径,使其实体相关性的度量计算效率及准确率都受到了很大的挑战。二是现有的用户相关性度量方法由于未充分开展多维度分析和链路分析,其准确性尚存在提升空间。针对上述问题,本文提出了一种异构信息网络中融合LDA与元路径的用户相关性度量方法,一方面,在复杂的异构网络中自动获取重要元路径;另一方面,在获得的元路径集中挖掘节点语义信息,以此来提高基于元路径的用户度量精确性。主要工作分为以下两部分:(1)提出基于扩展树的元路径自动生成算法(Extended Tree based Meta Path Generation,ETMPG)。首先,将知识图谱建模成一个异构信息网络;然后,根据节点连接概率的大小顺序自动从架构丰富的HIN中提取出元路径;最后,利用对数极大似然函数的权重学习方法训练元路径权重,选取最重要的元路径集合。(2)提出了一种融合LDA与元路径分析的用户相关性度量方法(User Relevance Measure Method Combining LDA and Meta Path Analysis,LPUSim)。该方法首先利用LDA进行主题建模,通过分析网络中节点内容计算节点的相关性;然后,引入元路径来刻画节点间关系类型,通过关联度量(DPRel)方法对重要元路径中的用户进行相关性测量;最后,将节点的相关性融入到用户相关性度量计算中,全面考虑节点语义信息,从而提高用户相关性度量精确性。本文通过在Yago数据库和IMDB电影数据集上开展了充分的实验,对本文所提出异构信息网络中融合LDA与元路径的用户相关性度量方法进行了详细评估。在知识图谱上的链路预测实验和在电影数据集上的用户相关性度量实验结果表明,此方法相较目前主流方法,元路径挖掘的时间效率和精确度都有显著提升,并且能够克服数据稀疏性弊端,从而提高用户相关性度量的准确性。通过对实验结果的分析可以得出本文所提方法具有更为高效与稳定的优势。
异质图表示学习算法研究及应用
这是一篇关于异质图,图神经网络,图表示学习,元路径,离职预测的论文, 主要内容为现实生活中,很多事物都可以表示为包含多种类型节点和不同交互关系的异质图的形式,如推荐系统、知识图谱等。异质图表示学习方法旨在将其丰富的结构和语义信息映射到低维向量空间,进而将这些特征用于下游的节点分类、链接预测等任务。异质图神经网络模型作为一种结合了深度学习技术的表示学习方法,近年来受到学者的广泛关注,其关键在于如何挖掘并融合异质的结构、语义以及节点属性等信息。此外,现实网络往往具有高度动态性,如何捕获网络的时间敏感特征也成为研究的重点方向之一。本文通过对现有的异质图表示学习模型进行对比分析,并针对其不足提出了相应的解决方案,主要的研究内容包括以下两个方面:(1)在异质图神经网络模型方面,现有的研究往往基于同质邻居之间的信息传递,舍弃了异质邻居丰富的结构和属性信息,或者不加区分地对待同质和异质邻居节点,使得模型的表达能力不足。针对该问题,本文提出了一种基于元路径子图学习的异质图神经网络模型HMSG。具体而言,本文首先通过属性变换将异质节点多维度属性信息映射到相同维度的潜在向量空间;然后按照元路径的规则将异质图分解为多个同质子图和异质子图,每个子图含有其独特的结构和语义信息;接着分别对每个子图应用相应的消息聚合方法,这样不仅可以保留同质子图的结构和语义信息,还可以挖掘到更多的异质属性和结构信息;最终将每个节点在不同子图中的表征进行融合获得完整的特征向量。为了验证所提出模型的效果,本文分别在节点分类、节点聚类、链接预测等任务中使用多个数据集进行实验评估。实验结果显示,本文提出的异质图神经网络模型可以挖掘到更多的信息,与基线模型相比在各项指标中的性能均处于最优。(2)针对现实网络高度动态的特点,本文提出了一种动态二分图表示学习模型DBGE。首先,通过时序随机游走规则进行采样获得按照时序递增排列的节点序列集合,然后应用skip-gram模型获取每个节点的低维向量表示。本文将上述模型应用于员工离职预测问题,具体来说,先将员工的工作记录表示为动态二分图的形式,然后在该二分图上应用DBGE模型学习节点的低维特征表示,最后结合员工基本属性特征,并使用机器学习分类模型进行预测。本文通过对比只使用基本属性特征和结合表示学习特征两种情况下模型的预测效果,验证所提出的动态二分图表示学习模型对员工离职预测问题的有效性。同时利用多个数据集进行了链接预测和可视化实验,验证模型相对于基线模型的优势。
基于时空行为轨迹的兴趣点预测研究
这是一篇关于知识图谱,元路径,图嵌入算法,兴趣点推荐的论文, 主要内容为近年来,随着GPS定位技术的广泛使用,极大地增强了基于地理位置的社区网络服务的发展。尤其是手机等信息通讯设备的普及,使得人们可以随时随地的使用在线社交网络平台分享所在的位置及评论内容,形成了基于位置的社交网络(Location Based Social Network,简称LBSN)。与传统社交网络服务相比,该服务提供了用户签到机制,签到行为将用户社交行为和位置信息结合起来,能够从多维角度反映用户偏好,生成用户画像。传统的网络研究面向结构单一的同质网络,且大数据分析模式偏向结构化数据,无法反映社会服务的动态空间特性。但是,大多数应用面对的是从现实世界中抽离得出的蕴含多种类型的异构实体。为了更好的应对复杂多变的社会服务数据,深入研究多元异构条件下关于时空轨迹的用户兴趣点推荐问题是十分必要的。本文主要通过挖掘用户签到轨迹中具有特定含义的元路径,实现异构知识网络多因素条件下用户兴趣点预测任务,主要工作如下:1)基于时空语义知识构建用户出行轨迹知识图谱。针对用户兴趣点预测领域中多源异构数据难以综合分析等问题,本论文利用知识图谱复杂语义关联的优势,建立关于用户签到轨迹的知识图谱,作为后续推荐应用的底层知识表示。同时,在概念层面设计并抽象出规范的实体和关系本体模型,用以指导知识图谱的构建和存储。2)基于元路径信息构建异质网络表示学习模型。针对现有的复杂网络难以挖掘和向量化的问题,本文根据用户签到轨迹的特点改进了传统的图嵌入算法,提出使用以元路径为基础的图嵌入技术将实体转化为向量,获得抽象的用户的行为特征。尤其是利用异构条件下的随机游走策略生成有意义的节点序列进行网络嵌入表示的方式融合了时间和空间信息,达到了良好的向量化表示效果。3)以时空条件为背景建立混合推荐模型。针对传统的推荐系统中存在的数据稀疏、冷启动和缺乏解释性的问题,并且满足在不同的时空条件下为用户推荐合适的兴趣点的要求,本文提出了一种基于元路径语义信息的混合推荐算法。4)本文的实验使用Foursquare数据集来评估所提出的方案。实验结果表明,使用本文提出的基于时空网络的推荐模型(Spatio-Temporal Network-Based Recommender STNBR)框架能够很好地整合时间和空间特征,准确的挖掘和表达用户的行为偏好,相比于不考虑时空特性或只考虑单一影响因素的算法在推荐的准确性和性能上较优,尤其是在多因素融合计算的条件下获得了较好的推荐效果。
基于交互特征表达的MOOC资源推荐方法研究
这是一篇关于推荐系统,异构信息网络,元路径,注意力机制,图神经网络的论文, 主要内容为随着互联网的高速发展,MOOC教育开始作为一种主流的在线教学方式,聚集了大量用户以及优质的教育资源。推荐有效学习视频以满足个性化的学习需求已成为当前教育领域的一个研究热点。在MOOC平台上,一门课程可能存在多个与课程内容相对应的教学视频,每个视频的侧重点也可能不同,如何向用户推荐一个用户满意的视频,需要我们充分对用户信息建模,挖掘用户兴趣。针对在线教育推荐的现状,本文进行了深入的研究,提出了一种基于交互特征表达的MOOC资源推荐方法,主要内容如下:(1)提出了一种基于元路径注意力机制的实体特征表达模型MOOCrec。一方面,学习者和MOOC资源之间的关系可以用异构信息网来描述,进而可以使用元路径来表达学生和视频之间的交互关系;另一方面,利用注意力机制可以捕捉学生、视频、元路径的特征对学习兴趣的影响情况。具体地,MOOCrec模型包括两层注意力机制:第一层是节点注意力层,通过邻居的特征加权,联合节点自身的特征,利用多头注意力分别得到实体在元路径下的特征表示;第二层是路径注意力层,融合在不同元路径的指导下学习到的实体的特征表示,来捕捉实体在不同兴趣下的特征表示。(2)提出了基于MA-GNN兴趣模型的MOOC资源推荐方法。该方法主要由三个模块构成:用户短期兴趣挖掘模块,用户长期兴趣挖掘模块与长短期兴趣融合模块;根据用户一定时间内的交互序列,使用两层GNN来捕获用户的短期兴趣;用带记忆网络的注意力机制来捕获用户的长期兴趣;最后,采用了类似LSTM模型里的门机制进行了兴趣融合。该模型可以充分挖掘用户兴趣,提高推荐的准确性。(3)在MOOCCube,MOOCdata数据集对基于MOOCrec模型和MA-GNN模型的推荐结果进行验证。实验结果表明,相比其他的实体嵌入模型,MOOCrec模型可以充分挖掘语义信息,特征表征效果更加丰富;同时,仅仅建模用户的通用兴趣是不准确的,将用户的兴趣区分为长期兴趣与短期兴趣,可以提高推荐的准确性,进而,使用融合机制将长期兴趣和短期兴趣组合再一起,也可以带来性能上的提升。
异构信息网络中基于图神经网络的序列推荐算法研究
这是一篇关于序列推荐,图神经网络,异构信息网络,元路径,Transformer的论文, 主要内容为推荐系统在社会生产、生活中有着丰富的应用场景,推荐技术也在不断追求极致结果和高品质的用户体验,面对数据内容的日益增加,数据特征变得越来越稀疏,并且人们对平台个性化需求不断提高,机器学习、协同过滤等传统推荐算法和基于马尔可夫过程、循环神经网络的序列推荐算法都已无法很好满足需求。针对以上这些情况,本文从如何有效缓解数据稀疏性问题和提高推荐算法个性化的能力两方面入手,从序列推荐的角度入手,结合用户与物品的历史交互行为序列,深入研究推荐算法,以提升推荐算法的有效性,满足用户个性化需求。首先,针对海量数据导致的数据稀疏性的问题,本文提出了一种基于深度图神经网络且端到端的序列推荐算法。该算法首先将传统数据根据不同实体间的联系建模为图结构的数据,结合实体间不同关系的同时也会把用户与物品历史交互序列抽象为图数据,结合节点已有的属性信息和图数据中的上下文结构信息,通过图神经网络的融合生成节点的表示向量,并进一步预测用户与物品的交互概率。其次,为了充分满足用户对推荐算法个性化的需求,进一步捕捉用户在长期的兴趣偏好信息,进而提升推荐算法推荐个性化的能力。基于图数据结构的图神经网络,本文提出了融合和基于循环神经网络的改进的Transformer编码器结构的端到端的深度神经网络序列推荐算法。该算法使用图神经网络抽取节点属性信息、上下文结构信息的同时,使用改进的Transformer来抽取用户与物品较长序列的序列信息和图中丰富的节点信息,最后预测用户与物品的交互概率,不仅提高了推荐算法的个性化能力,同时也更进一步提升了算法面对数据稀疏时的能力。最后是对本文提出方法的实验验证,基于多个公开真实的数据集上,以多个角度、多个指标的实验对比了本文提出的方法与相关基线算法,并对实验结果进行了深入分析,分析了本文方法取得较好结果的原因。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工坊 ，原文地址：https://m.bishedaima.com/lunwen/48210.html
