基于图注意力模型的网络表示学习研究

这是一篇关于网络表示学习,图注意力网络,动态网络,节点分类,链接预测的论文, 主要内容为大数据时代下,事物与事物间的联系大多以网络的形式呈现,网络广泛存在于人们的现实生活中,例如推荐系统中的个性化推荐、社区发现、交通预测、道路规划以及社区检测等,如何挖掘这些网络中的信息是当前的研究热点。在现实生活中构成网络的节点和链接通常随着时间不断变化,随着这些网络节点和链接的添加、删除和更改,网络也随着时间的推移不断变化。但是目前大多数网络表示学习的研究都集中在静态网络上,在很大程度上忽略了网络的时间动态性。本文提出基于图注意力神经网络和时序属性信息挖掘的动态网络表示学习方法。针对时序网络的动态表征学习,本文提出一种基于时序信息的模型GATGAN。该模型采用基于生成对抗网络的深度框架,首先采用GAT网络编码网络中节点的深度非线性特征,然后结合长短期记忆网LSTM和注意力机制提取和保留图中关键的时间序列信息,捕获整个动态网络的时间依赖性。通过对抗模块与图注意力模型联合学习,能够同时学习动态网络中的非线性时空特征。针对属性网络的动态表征学习,本文提出一种基于属性信息的模型GATVAE。该方法首先使用VAE将潜在特征低维化,然后设计一个具有多个图注意力层的网络编码器捕获网络结构和节点属性,之后使用结构解码器重构原始网络结构,使用属性解码器重构原始节点属性,最后采用LSTM学习每个节点连接状态的时序信息,融合网络的时间属性。该方法可以有效地学习网络节点的自身属性。针对风速预测问题,本文提出一种基于GAT-VAE模型的风速预测方法。首先利用VAE来减少特征空间的维度,将多个风场构建为空间网络结构,然后通过GAT网络学习数据的空间相关性,利用LSTM网络提取气象数据的时间相关性。经过实验验证,风速预测模型具有较好的预测效果。

融合多特征的动态网络链接预测

这是一篇关于动态网络,链接预测,节点表示序列,时序感知注意,局部子图结构的论文, 主要内容为在网络中,链接预测任务是指在已知网络拓扑结构的基础上,预测未观测链接的状态。网络链接预测中,节点和链接随时间发生变化,节点间链接关系的形成不仅受节点所处网络结构的影响,还受网络演化过程的影响,构成复杂的动态网络演化过程,在此背景下的链接预测问题称为动态网络链接预测。动态网络链接预测是网络态势感知、序列推荐、知识图谱信息补全等应用领域的共有关键问题,具有非常重要的研究意义。动态网络数据由节点在不同时间点形成的链接构成。传统方法忽略了网络演化的时序信息,将形成的拓扑结构看成静态网络,研究链接预测任务。最近,一些研究设置时间窗口,将动态网络划分为不同的时间片,根据历史时间片信息预测未来时刻网络的链接状态,考虑到网络结构变化的时序信息。但针对每个时间窗口内的网络来说,未考虑到连边的时效性。此外,多数动态网络链接预测方法利用的局部结构信息不够丰富,具有丰富特征的链接表示可以被更好地判断链接存在的状态。为了更好地提升链接预测的准确性,本文设计融合多特征的动态网络链接预测模型。论文的主要贡献如下:(1)提出了融合节点表示序列和局部邻居表示的动态网络链接预测模型。为了更好地利用网络的时间属性,本文建立了节点表示序列的机制。节点表示序列机制引入网络表征技术和门控循环神经网络,学习不同时间片中节点的低维表示向量;为了充分利用链接的局部邻居特征,建立了目标节点对的共同邻居表示。最终,未来时间片链接的表示不仅包含了历史数据特征和预测得到的新特征,同时还增加了节点对的局部邻居特征。在五个数据集上的实验结果表明,所提出模型在AUC(Area Under ROC Curve)和AP(Average Precision)均优于其他基准方法。进一步地,在两种网络表征模型和三种分类器上进行测试,结果表明本模型鲁棒性强。(2)提出了基于链接时效性和局部子图结构的动态网络链接预测模型。在学习网络的时序特征时,建立了时序感知注意力模块,挖掘每个时间窗口内链接的时间特征;为了增强链接周围的局部结构特征表示,本文基于图同构算法(Palette Weisfeiler Lehman,PWL),建立了局部子图结构模块,得到包含局部子图结构特征的链接表达。最后,融合两种特征,提升动态网络链接预测性能。经实验验证,本算法所提出的融合链接时效性和局部子图结构特征明显提升了链接预测的准确率;选取的时序特征越多(最近时间片数量),预测准确性越高;局部子图结构中的邻居数目,在5-30范围内变化对于链接预测准确性影响较小。

基于图注意力模型的网络表示学习研究

这是一篇关于网络表示学习,图注意力网络,动态网络,节点分类,链接预测的论文, 主要内容为大数据时代下,事物与事物间的联系大多以网络的形式呈现,网络广泛存在于人们的现实生活中,例如推荐系统中的个性化推荐、社区发现、交通预测、道路规划以及社区检测等,如何挖掘这些网络中的信息是当前的研究热点。在现实生活中构成网络的节点和链接通常随着时间不断变化,随着这些网络节点和链接的添加、删除和更改,网络也随着时间的推移不断变化。但是目前大多数网络表示学习的研究都集中在静态网络上,在很大程度上忽略了网络的时间动态性。本文提出基于图注意力神经网络和时序属性信息挖掘的动态网络表示学习方法。针对时序网络的动态表征学习,本文提出一种基于时序信息的模型GATGAN。该模型采用基于生成对抗网络的深度框架,首先采用GAT网络编码网络中节点的深度非线性特征,然后结合长短期记忆网LSTM和注意力机制提取和保留图中关键的时间序列信息,捕获整个动态网络的时间依赖性。通过对抗模块与图注意力模型联合学习,能够同时学习动态网络中的非线性时空特征。针对属性网络的动态表征学习,本文提出一种基于属性信息的模型GATVAE。该方法首先使用VAE将潜在特征低维化,然后设计一个具有多个图注意力层的网络编码器捕获网络结构和节点属性,之后使用结构解码器重构原始网络结构,使用属性解码器重构原始节点属性,最后采用LSTM学习每个节点连接状态的时序信息,融合网络的时间属性。该方法可以有效地学习网络节点的自身属性。针对风速预测问题,本文提出一种基于GAT-VAE模型的风速预测方法。首先利用VAE来减少特征空间的维度,将多个风场构建为空间网络结构,然后通过GAT网络学习数据的空间相关性,利用LSTM网络提取气象数据的时间相关性。经过实验验证,风速预测模型具有较好的预测效果。

基于图神经网络的组链路预测算法的研究

这是一篇关于复杂网络,动态网络,链路预测,组链路预测,图神经网络的论文, 主要内容为现实世界中的许多复杂系统都可以被建模表示成复杂网络。系统中的实体被表示为节点,实体之间的关系被表示为边。作为复杂网络分析中的一个基本问题,链路预测在过去的十几年间得到了广泛的研究。链路预测的目标是根据当前观察到的网络信息推断出已经存在但未知或者未来可能产生的链接。由于链路预测有助于人们理解现实世界网络的内在特征和演化机制,其已被广泛应用于许多实际场景,如友谊和物品推荐、知识图谱补全和生物反应重构。然而,现有的链路预测方法大多集中在推断单个实体之间的链接。尽管有一些组链路预测工作尝试探究单个实体和多个实体(即组)之间的联系,但它们对个体和组之间关系和组演变复杂过程的理解十分有限,且忽略了一些有助于提升预测性能的潜在信息。为了更加有效地解决组链路预测问题,本文首次提出了一个基于图神经网络的组链路预测算法GroupLP。GroupLP利用含采样策略的图神经网络学习一个通用的聚合函数从而以归纳学习的方式为网络中的节点生成嵌入向量,然后对一个组中各成员的向量进行求和,得到该组对应的向量表示。最后,GroupLP利用组的向量学习到一个关于候选成员的条件概率分布,并成功找出目标节点。四个真实数据集上的实验结果验证了GroupLP算法的有效性和优越性。考虑到组链路预测场景中的时间动态性,本文提出了一个关于探索动态场景中个体和组之间关系的新问题,该问题被称为动态组链路预测。为了解决动态组链路预测问题,本文在GroupLP算法的基础上进一步提出了一个新的动态组链路预测算法DynGLP。首先,作为DynGLP的输入,个体和组之间的历史交互数据被自然地表示为动态交互网络。其次,对于一个给定的组,DynGLP采用一个新的动态图神经网络DynGNN,通过迭代聚合局部图邻域信息来获得节点的嵌入,其中聚合权重由一个新的动态聚合函数DynAgg计算得到。然后,本文提出三个组建模函数用于将组中成员的嵌入向量统一建模为相应组的向量。给定一个组的向量,DynGLP最终输出一个条件概率分布,该概率分布上的元素代表所有候选成员和组连接的概率,其中数值最大的元素对应的索引即为目标成员的索引。四个真实数据集上的实验结果表明,DynGLP算法明显优于对比方法。具体来说,DynGLP算法的平均性能比最好的基线方法高63.6%,最佳性能比最先进的方法好197.8%。

动态异质信息网络表示学习研究

这是一篇关于动态网络,异质信息网络,网络表示学习,网络分析,推荐系统的论文, 主要内容为网络表示学习的快速发展为网络数据分析提供了新颖的研究思路,有效提升了数据挖掘任务的表现。传统网络表示学习方法大多聚焦于静态、同质的信息网络,即假设网络是静止不变、节点和边类型单一。然而,真实世界的网络往往是动态变化、节点和边类型多样的,即所谓的动态、异质信息网络,这使得传统方法无法有效建模网络的真实特性,学到的节点向量表示很难适用于真实场景。因此,本文立足于研究动态、异质的信息网络表示学习算法。具体而言,本文首先研究了网络的动态性问题,并提出结合微观和宏观动态性的动态网络表示学习算法M2DNE。其次,本文研究了网络的异质性问题,并提出关系结构感知的异质信息网络表示学习算法RHINE。然后,本文研究了网络的动态性和异质性问题,并提出了动态异质信息网络表示学习算法DyHNE。最后,本文在微信“看一看”的文章推荐场景下,研究了好友增强的推荐问题,并提出社交影响力专注的神经网络SIAN,以验证异质信息网络表示学习在真实场景下的有效性。真实世界中,动态网络是非常常见的,其通常随着时间在微观和宏观层面不断演化。微观动态性细致地描述了网络结构的形成过程,而宏观动态性表示网络规模的演变模式,两种动态性都是刻画网络演变的重要因素。但是,如何准确地在网络表示学习中捕获两者,尤其是宏观动态性,还没有被很好的研究。因此,为了研究网络的动态性问题,本论文提出了结合微观和宏观动态性的动态网络表示学习算法(Temporal Network Embedding with Micro-and Macro-Dynamics,简称M2DNE)。对于微观动态性,M2DNE构建时序注意力点过程来捕获网络结构的形成过程。对于宏观动态性,M2DNE定义由网络嵌入表示参数化的的动力学方程。时序动态网络中,微观动态性和宏观动态性的交互的演变交替地影响节点表示的学习过程。在三个真实的动态网络上,丰富的实验验证M2DNE显著地优于最新方法。另一方面,信息网络往往是异质的,即网络中包含多类型的节点和边,称作异质信息网络。现有的大多数异质信息网络表示学习方法通常使用单一模型不加以区分地建模所有关系,这必然会削弱网络嵌入表示的能力。因此,为了研究网络的异质性问题,本论文考虑了异质关系的结构特征并提出了一个新颖的关系结构感知的异质信息网络表示学习模型(Relation Structure-aware Heterogeneous Information Network Embedding,简称RHINE)。通过对多个真实异质信息网络数据透彻的数学分析,本论文提出了两种结构相关的度量方法,这两种方法将异质关系一致地划分为两类:隶属关系(Affiliation Relations,ARs)和交互关系(Interaction Relations,IRs)。为了建模关系中有区别的特征,本论文提出两种特别设计的模型分别处理ARs和IRs,以此捕获网络拓扑结构和语义信息。最后,联合各个子模型统一训练优化RHINE。在四个数据集上,多个任务证明了 RHINE的有效性。更进一步地,网络的动态性和异质性是普遍共同存在的,即动态异质信息网络。动态异质信息网络的演变包括多类型节点和边的增加/删除,而一个微小变化会影响整个网络结构和语义信息的变化。为了捕获网络的动态演变,传统异质信息网络表示学习方法需要在每个时间步上重新训练,这是非常耗时且不切实际的。因此,为了研究网络的动态性和异质性,本论文提出了基于元路径相似性的动态异质信息网络表示学习算法(Dynamic Heterogeneous Information Network Embedding with Meta-path based Proximity,简称 DyHNE)。当网络动态演变时,DyHNE利用元路径增强的邻接矩阵捕获网络变化。然后通过解决广义特征值问题来学习节点表示,并利用特征值摄动计算节点表示的更新,而不需要重新训练模型。在三个真实动态异质信息网络上,多个任务结果表明模型在有效性和效率性上均优于最新方法。异质信息网络表示学习的强大建模能力也促进了工业界业务场景的发展。为了验证异质信息网络在真实应用场景中的有效性,本文进一步在微信“看一看”的文章推荐场景下,研究了好友增强的推荐问题,并提出社交影响力专注的神经网络(Social Influence Attentive Neural Network for Friend-Enhanced Recommendation,简称 SIAN)。为了融合异质信息,SIAN从异质社交网络的角度建模推荐场景,构建了注意力特征聚合器。更重要的是,SIAN设计了一个社交影响力耦合器,以捕捉好友推荐圈的影响力。实验结果表明,在两个真实数据集上,所提出的SIAN模型优于的最新的一些比较方法。

动态异质信息网络表示学习研究

这是一篇关于动态网络,异质信息网络,网络表示学习,网络分析,推荐系统的论文, 主要内容为网络表示学习的快速发展为网络数据分析提供了新颖的研究思路,有效提升了数据挖掘任务的表现。传统网络表示学习方法大多聚焦于静态、同质的信息网络,即假设网络是静止不变、节点和边类型单一。然而,真实世界的网络往往是动态变化、节点和边类型多样的,即所谓的动态、异质信息网络,这使得传统方法无法有效建模网络的真实特性,学到的节点向量表示很难适用于真实场景。因此,本文立足于研究动态、异质的信息网络表示学习算法。具体而言,本文首先研究了网络的动态性问题,并提出结合微观和宏观动态性的动态网络表示学习算法M2DNE。其次,本文研究了网络的异质性问题,并提出关系结构感知的异质信息网络表示学习算法RHINE。然后,本文研究了网络的动态性和异质性问题,并提出了动态异质信息网络表示学习算法DyHNE。最后,本文在微信“看一看”的文章推荐场景下,研究了好友增强的推荐问题,并提出社交影响力专注的神经网络SIAN,以验证异质信息网络表示学习在真实场景下的有效性。真实世界中,动态网络是非常常见的,其通常随着时间在微观和宏观层面不断演化。微观动态性细致地描述了网络结构的形成过程,而宏观动态性表示网络规模的演变模式,两种动态性都是刻画网络演变的重要因素。但是,如何准确地在网络表示学习中捕获两者,尤其是宏观动态性,还没有被很好的研究。因此,为了研究网络的动态性问题,本论文提出了结合微观和宏观动态性的动态网络表示学习算法(Temporal Network Embedding with Micro-and Macro-Dynamics,简称M2DNE)。对于微观动态性,M2DNE构建时序注意力点过程来捕获网络结构的形成过程。对于宏观动态性,M2DNE定义由网络嵌入表示参数化的的动力学方程。时序动态网络中,微观动态性和宏观动态性的交互的演变交替地影响节点表示的学习过程。在三个真实的动态网络上,丰富的实验验证M2DNE显著地优于最新方法。另一方面,信息网络往往是异质的,即网络中包含多类型的节点和边,称作异质信息网络。现有的大多数异质信息网络表示学习方法通常使用单一模型不加以区分地建模所有关系,这必然会削弱网络嵌入表示的能力。因此,为了研究网络的异质性问题,本论文考虑了异质关系的结构特征并提出了一个新颖的关系结构感知的异质信息网络表示学习模型(Relation Structure-aware Heterogeneous Information Network Embedding,简称RHINE)。通过对多个真实异质信息网络数据透彻的数学分析,本论文提出了两种结构相关的度量方法,这两种方法将异质关系一致地划分为两类:隶属关系(Affiliation Relations,ARs)和交互关系(Interaction Relations,IRs)。为了建模关系中有区别的特征,本论文提出两种特别设计的模型分别处理ARs和IRs,以此捕获网络拓扑结构和语义信息。最后,联合各个子模型统一训练优化RHINE。在四个数据集上,多个任务证明了 RHINE的有效性。更进一步地,网络的动态性和异质性是普遍共同存在的,即动态异质信息网络。动态异质信息网络的演变包括多类型节点和边的增加/删除,而一个微小变化会影响整个网络结构和语义信息的变化。为了捕获网络的动态演变,传统异质信息网络表示学习方法需要在每个时间步上重新训练,这是非常耗时且不切实际的。因此,为了研究网络的动态性和异质性,本论文提出了基于元路径相似性的动态异质信息网络表示学习算法(Dynamic Heterogeneous Information Network Embedding with Meta-path based Proximity,简称 DyHNE)。当网络动态演变时,DyHNE利用元路径增强的邻接矩阵捕获网络变化。然后通过解决广义特征值问题来学习节点表示,并利用特征值摄动计算节点表示的更新,而不需要重新训练模型。在三个真实动态异质信息网络上,多个任务结果表明模型在有效性和效率性上均优于最新方法。异质信息网络表示学习的强大建模能力也促进了工业界业务场景的发展。为了验证异质信息网络在真实应用场景中的有效性,本文进一步在微信“看一看”的文章推荐场景下,研究了好友增强的推荐问题,并提出社交影响力专注的神经网络(Social Influence Attentive Neural Network for Friend-Enhanced Recommendation,简称 SIAN)。为了融合异质信息,SIAN从异质社交网络的角度建模推荐场景,构建了注意力特征聚合器。更重要的是,SIAN设计了一个社交影响力耦合器,以捕捉好友推荐圈的影响力。实验结果表明,在两个真实数据集上,所提出的SIAN模型优于的最新的一些比较方法。

基于网络表示学习的推荐算法研究

这是一篇关于推荐算法,网络表示学习,文本属性信息,深度学习,动态网络的论文, 主要内容为互联网技术的蓬勃发展为人类生活提供了丰富多样的服务,但信息过载的问题也随之而来。个性化推荐系统可以对海量的信息进行过滤,进而自动推荐符合主体意愿的内容,因此被视作该问题的解决方案之一。近年来,网络表示学习技术的快速发展为推荐算法的改进开辟了新的方向。针对静态同质网络和动态二分网络这两种场景下的推荐问题,本文利用网络表示学习技术分别提出了相应的算法方案,主要工作如下。针对静态同质网络的推荐问题,本文提出了一种关联文本信息的随机游走网络表示学习方法(Graph Embedding based on Random walk Associated Text,Gerate)。具体来说,该算法在随机游走阶段,考虑到了节点文本间的相似度,联合结构和文本信息对下一游走节点进行筛选。然后在网络表示学习部分融合上下文文本信息,引入注意力矩阵,对文本信息矩阵中的向量进行加权表示。最后,将生成的节点向量应用于推荐任务中,并在多个数据集上与多种经典算法进行对比,证明了该算法可以有效地提升推荐精度。针对动态二分网络的推荐问题,考虑到时间因素在用户兴趣变化过程中的重要性,本文提出了一种基于长短期记忆网络的动态二分网络表示学习算法(Dynamic Bipartite Network Embedding based on Long Short-term Memory,BiDYNE)。具体来说,该算法首先将二分网络分解为不同时间节点下的用户同质网络和物品同质网络,并利用Gerate算法得到融合了文本属性信息的初步特征矩阵。然后利用大规模的LSTM模型学习大跨度时间邻域内的网络信息。最后,将用户和物品的融合特征矩阵输入MLP模型进行训练并预测用户与物品的交互概率,实现推荐任务。在多个公开数据集上进行对比实验后,验证了该算法的有效性。

基于图注意力模型的网络表示学习研究

这是一篇关于网络表示学习,图注意力网络,动态网络,节点分类,链接预测的论文, 主要内容为大数据时代下,事物与事物间的联系大多以网络的形式呈现,网络广泛存在于人们的现实生活中,例如推荐系统中的个性化推荐、社区发现、交通预测、道路规划以及社区检测等,如何挖掘这些网络中的信息是当前的研究热点。在现实生活中构成网络的节点和链接通常随着时间不断变化,随着这些网络节点和链接的添加、删除和更改,网络也随着时间的推移不断变化。但是目前大多数网络表示学习的研究都集中在静态网络上,在很大程度上忽略了网络的时间动态性。本文提出基于图注意力神经网络和时序属性信息挖掘的动态网络表示学习方法。针对时序网络的动态表征学习,本文提出一种基于时序信息的模型GATGAN。该模型采用基于生成对抗网络的深度框架,首先采用GAT网络编码网络中节点的深度非线性特征,然后结合长短期记忆网LSTM和注意力机制提取和保留图中关键的时间序列信息,捕获整个动态网络的时间依赖性。通过对抗模块与图注意力模型联合学习,能够同时学习动态网络中的非线性时空特征。针对属性网络的动态表征学习,本文提出一种基于属性信息的模型GATVAE。该方法首先使用VAE将潜在特征低维化,然后设计一个具有多个图注意力层的网络编码器捕获网络结构和节点属性,之后使用结构解码器重构原始网络结构,使用属性解码器重构原始节点属性,最后采用LSTM学习每个节点连接状态的时序信息,融合网络的时间属性。该方法可以有效地学习网络节点的自身属性。针对风速预测问题,本文提出一种基于GAT-VAE模型的风速预测方法。首先利用VAE来减少特征空间的维度,将多个风场构建为空间网络结构,然后通过GAT网络学习数据的空间相关性,利用LSTM网络提取气象数据的时间相关性。经过实验验证,风速预测模型具有较好的预测效果。

基于动态网络的医疗命名实体识别方法研究

这是一篇关于医学命名实体识别,中文电子病历,动态网络,多语义词典,多模态树的论文, 主要内容为近年来,随着人工智能技术的高速发展,医疗健康与人工智能的交叉研究成为炙手可热的研究方向,出现了大量的新型智能医疗设备和电子医疗系统。电子医疗系统中包含着丰富的医疗健康数据,为医学研究和医疗实践奠定了强大的数据基础。但是,如何充分利用这些数据进行探索和分析,更好地支持临床决策和大众健康仍然面临着诸多挑战。其中,医疗文本中的命名实体识别(Named Entity Recognition,NER),尤其是中文医疗文本的命名实体识别即是关键挑战之一。尽管命名实体识别(NER)在各个领域都引起了极大关注,但是由于中文医学文本的复杂性、资源稀少和实体嵌套等问题,医学领域的中文NER更加具有挑战性。为了应对医学领域NER任务中的挑战,本论文提出了基于动态网络的医疗命名实体识别方法,对电子病历数据及命名实体识别的关键技术进行了大量分析和研究,并进行了实验验证。本论文的主要创新成果如下:(1)针对医疗文本的语义缺失问题,论文提出了一种基于多语义词典和多模态树的命名实体识别方法(MSD＿DT＿NER)。该方法可以在树形结构中,采用四种不同的路径方式,获取不同长度的单词信息,将单词信息和字符信息进行拼接,可以实现多粒度特征的融合,丰富语义嵌入表达。(2)针对中文医疗文本的资源不足问题,论文提出了一种基于图神经网络和跨语言的命名实体识别方法(GC＿NER)。采用跨语言知识迁移方法,将高资源语言知识迁移到中文医疗文本中,进行知识补充,借助外部语言知识监督中文医疗文本的NER任务。(3)针对医疗文本的命名实体嵌套问题,论文提出了一种基于依存句法分析和动态堆叠网络命名实体识别方法(SD＿NER)。该方法可以根据实体嵌套的层数进行自适应网络堆叠,利用内嵌实体的特征帮助外部实体的识别,实现嵌套实体的动态堆叠式识别。本论文方法在全国知识图谱与语义计算大会(Chinese Conference on Knowledge Graph and Semantic Computing,CCKS)的电子病历评测数据集合上进行了广泛实验,并利用多项指标评价了方法的性能。结果证明,与目前多项最新成果相比,本论文提出的一系列医疗命名实体识别方法具有更好的效果。