基于网络采样与特征编码的图表示学习算法设计与实现
这是一篇关于表示学习,网络采样,特征编码,节点分类,图结构数据的论文, 主要内容为表示学习可以将图结构数据中的信息编码到低维向量空间中,以便计算机对图结构数据进行处理与计算,这不仅对基于图结构数据的知识推理计算具有重要意义,而且能有效促进知识图谱在社会智能化发展中的落地应用。本文通过总结当前表示学习领域研究现状,提出基于网络采样与特征编码的图表示学习算法框架,同时发现当前算法存在几个不足:第一,以整个网络为算法输入易忽略同一个节点在不同局部网络结构中的不同特征,导致模型在复杂图结构数据中难以区分部分相邻节点;第二,基于节点和属性均匀采样的模型不能有效区分不同属性对节点间产生关联的重要性,导致在单个节点的有限次采样中,所得采样序列蕴含的网络信息有限。针对上述问题,本文分别从多重网络分析与属性加权采样两个方面提出了解决方案,同时研究如何设计有效的特征编码模型提取采样序列特征。主要创新与贡献点如下:(1)提出了基于多重网络分析的表示学习算法,在节点属性混合采样的基础上通过设置不同跳数获得包含不同子网结构的采样子序列,实验结果表明,该算法可有效区分不同局部网络结构下的节点特征,且在三个公开数据集上的节点分类实验结果表现明显优于相关工作,整体平均准确率性能提升约12.59%;(2)提出了基于节点与加权属性混合采样的表示学习算法,一方面,该算法通过节点间的共有属性分布计算属性采样权重,再通过节点与加权属性混合采样得到采样序列,实验结果表明,该混合采样方法可以区分不同属性对节点间关联信息的重要性,使采样序列中含相同标签的节点采样概率增加,从而令网络采样序列中包含更多有效信息;另一方面,提出一种结合双向长短期记忆与注意力机制的特征编码模型,用于提取采样序列中的网络结构和语义特征,实验结果发现,该表示学习算法在三个公开数据集上的节点分类平均准确率为82.41%,性能表现比相关工作高1.20%。基于上述工作,本文开发了一个表示学习算法应用验证系统,该系统通过可视化方式实现了不同算法在图结构数据上的应用效果对比与分析。结合实际应用表明,本文所提算法可在一定程度上缓解大规模网络和含属性的稀疏网络中的节点特征提取问题,提高图结构数据的向量表达质量与下游任务性能。
基于图表示学习的节点聚合方式优化
这是一篇关于图表示学习,图神经网络,PageRank,节点分类,马尔可夫扩散核的论文, 主要内容为图结构数据在现实生活中广泛存在,能够广泛的构建实体与实体之间的联系,现实生活中很多网络,如社交网络,引文网络,交通网络,推荐系统,生物化学中蛋白质的构建等,都可以用图结构数据所表示。节点聚合方式是指将邻居节点的信息汇总到中心节点,生成新的节点向量表示的过程,优化节点聚合方式可以提高图表示学习的性能,是图表示学习领域最重要的问题之一。随着深度学习在各领域获得了成功,将深度学习迁移到图表示学习上已经成为当前研究的一个热点。在当前的图表示学习中,常用的节点聚合方式为图神经网络,具体为:图卷积网络(GCN)、简化图卷积(SGC),图注意力网络(GAT)、PPNP等。然而,这些方法仍然存在一些问题,现有图神经网络在处理图结构数据中不够强大,无法充分挖掘图结构数据中潜在信息和潜在联系。在传播过程中,邻域大小往往难以扩展,且节点的传播只考虑了最近的邻居节点,在进行多次卷积操作之后,传统图神经网络有着过平滑,泛化性能差等问题。为了解决这些问题,本文进行了以下工作:(1)针对图神经网络无法充分提取出节点特征和图结构中的相关信息,存在过平滑等问题,本文提出一种基于Page Rank的图混合随机网络方法(PMRGNN)。为了能够有效的聚合多阶邻域信息,提出一个带有Page Rank的随机传播策略的图数据随机增强模块,其次,设计了混合网络结构,通过多层感知机(MLP)和卷积层相结合,使得节点和其邻居的信息得到有效利用。此外设计了特征提取器损失和图正则化项,通过最小化两个特征提取器之间的距离,使两个特征提取器提取出的信息保持一致性,同时加入图正则化项,有效利用节点与其邻居信息,提高了模型的泛化性能。(2)针对传统图神经网络算法存在着过平滑,泛化性能差,鲁棒性不高的特点,本文提出了基于马尔可夫扩散核的自适应图随机神经网络(ARM-net)。首先,使用伯努利分布对特征矩阵进行随机数据增强,使节点对特定邻域不敏感,从而提高模型的鲁棒性。其次,引入可学习参数,基于马尔可夫扩散核定义自适应传播过程,在传播过程中,将传播和特征转换分离,先进行传播,再进行特征转换。通过解耦传播和特征转换,有效拓展了节点的邻域,使得节点和其邻居的信息得到有效利用,平衡了来自每个节点的局部和全局邻域信息,也降低了过平滑的风险。最后本文设计了图正则化项,一定程度上降低了过拟合,增强了模型的泛化性能。为了验证论文中模型的有效性,在Cora,Citeseer,Pubmed三个数据集上分别进行了实验,并对实验结果进行综合性分析,在不同的评价指标下,本文所提出的方法都有较好的效果。
基于图表示学习的节点聚合方式优化
这是一篇关于图表示学习,图神经网络,PageRank,节点分类,马尔可夫扩散核的论文, 主要内容为图结构数据在现实生活中广泛存在,能够广泛的构建实体与实体之间的联系,现实生活中很多网络,如社交网络,引文网络,交通网络,推荐系统,生物化学中蛋白质的构建等,都可以用图结构数据所表示。节点聚合方式是指将邻居节点的信息汇总到中心节点,生成新的节点向量表示的过程,优化节点聚合方式可以提高图表示学习的性能,是图表示学习领域最重要的问题之一。随着深度学习在各领域获得了成功,将深度学习迁移到图表示学习上已经成为当前研究的一个热点。在当前的图表示学习中,常用的节点聚合方式为图神经网络,具体为:图卷积网络(GCN)、简化图卷积(SGC),图注意力网络(GAT)、PPNP等。然而,这些方法仍然存在一些问题,现有图神经网络在处理图结构数据中不够强大,无法充分挖掘图结构数据中潜在信息和潜在联系。在传播过程中,邻域大小往往难以扩展,且节点的传播只考虑了最近的邻居节点,在进行多次卷积操作之后,传统图神经网络有着过平滑,泛化性能差等问题。为了解决这些问题,本文进行了以下工作:(1)针对图神经网络无法充分提取出节点特征和图结构中的相关信息,存在过平滑等问题,本文提出一种基于Page Rank的图混合随机网络方法(PMRGNN)。为了能够有效的聚合多阶邻域信息,提出一个带有Page Rank的随机传播策略的图数据随机增强模块,其次,设计了混合网络结构,通过多层感知机(MLP)和卷积层相结合,使得节点和其邻居的信息得到有效利用。此外设计了特征提取器损失和图正则化项,通过最小化两个特征提取器之间的距离,使两个特征提取器提取出的信息保持一致性,同时加入图正则化项,有效利用节点与其邻居信息,提高了模型的泛化性能。(2)针对传统图神经网络算法存在着过平滑,泛化性能差,鲁棒性不高的特点,本文提出了基于马尔可夫扩散核的自适应图随机神经网络(ARM-net)。首先,使用伯努利分布对特征矩阵进行随机数据增强,使节点对特定邻域不敏感,从而提高模型的鲁棒性。其次,引入可学习参数,基于马尔可夫扩散核定义自适应传播过程,在传播过程中,将传播和特征转换分离,先进行传播,再进行特征转换。通过解耦传播和特征转换,有效拓展了节点的邻域,使得节点和其邻居的信息得到有效利用,平衡了来自每个节点的局部和全局邻域信息,也降低了过平滑的风险。最后本文设计了图正则化项,一定程度上降低了过拟合,增强了模型的泛化性能。为了验证论文中模型的有效性,在Cora,Citeseer,Pubmed三个数据集上分别进行了实验,并对实验结果进行综合性分析,在不同的评价指标下,本文所提出的方法都有较好的效果。
基于图神经网络的社交网络节点分类研究
这是一篇关于节点分类,信息提取,信息融合,图卷积网络,社交网络的论文, 主要内容为社交网络节点分类在社交网络相关研究中居于上游,将网络中代表着人的节点进行精确分类,可以使下游许多研究任务如链路预测,推荐系统等获得实质性进展,具有很大的研究价值。现有节点分类方法存在信息提取不完整,模型分类效果不佳的问题,本文在现有社交网络节点分类研究基础上,对社交网络进行深入分析,深刻理解已有神经网络模型,在其基础上进行改进,进而提高社交网络节点分类精确度。针对传统图卷积网络(Graph Convolutional Networks,GCN)存在的信息提取不完整,社交网络节点分类精确度有待提升的问题,提出融合多角度信息和图卷积网络的社交网络节点分类模型(Multi-Angle Information Fusion-GCN,MAIF-GCN)。首先,利用特征向量和邻接矩阵,分别构造包含节点间同质信息的矩阵和共引信息的矩阵;其次,分别在正则化后的三个矩阵空间进行两层图卷积,得到输入特征在三种空间里的嵌入;接着,将得到的嵌入求和,并且使用注意力机制,实现邻接最近邻、同质最近邻、共引最近邻及三者组合的多角度信息的融合;最后通过训练获得节点分类器。实验结果表明,与现有的GCN变体模型相比,提出的MAIF-GCN模型在社交网络实验数据集上分类准确率提高1%及以上,证明了MAIF-GCN模型具有良好的信息挖掘和信息融合能力。MAIF-GCN的工作有效提高了社交网络节点分类的精确度,但由于其模型固定,在引入更多有效信息后难以复用,不够灵活。为了解决这个问题,进一步提出一种融合多元信息的图卷积网络节点分类模型(Integrating Multiple Information-GCN,IMIGCN)。首先,在上述方法提取出同质信息矩阵和共引信息矩阵的基础上,分析网络中的三角结构,通过转换公式构造包含节点间三角信息的三角信息矩阵。提取三类信息的同时,融入节点自身信息。接着,改进传统的GCN模型。将GCN的单核改进为适应性多核,通过注意力机制将多核学习的结果自适应融合为一个嵌入,达到一次卷积同时融合多元信息的效果。为了学习更多信息,将模型过程中的嵌入设计为多头,通过多头嵌入注意力自适应学习多头嵌入的权重分配。实验结果表明,与现有较优的节点分类模型相比,提出的IMIGCN模型在社交网络上的分类精确度提高0.98%～4%,F1指标提升1%～4%,证明了提出的IMIGCN模型合理有效。
基于表示学习的论文分类方法研究
这是一篇关于表示学习,节点分类,社交网络,人工神经网络的论文, 主要内容为网络表示学习旨在通过算法自动学习实体的特征来为下游任务提供信息量更加丰富、更加便于利用的实体表示,目前已经在计算机视觉、自然语言处理和推荐系统等多个领域的研究中得到了大量的应用。图卷积神经网络(GCN)是一种具有代表性的结合了神经网络的表示学习方法,可以针对特定的下游任务学习合理的网络实体特征。但是普通的图卷积神经网络主要侧重于特征在网络结构中的传输和聚合,忽视了实体在特征空间中的相对位置,从而使得表示能力存在不足。此外,普通的图卷积神经网络基于平均操作来聚合特征信息,在可解释性方面有一定的欠缺。这些问题限制了图卷积神经网络在各项下游任务中所取得的效果的进一步提高。针对图卷积神经网络所存在的上述缺陷,本文在学术网络领域内提出了一种改进的基于网络表示学习的论文分类算法,它同时利用文本的特征信息以及论文引用网络中的链接信息来进行半监督学习,从而达到仅仅使用数量比较少的标注数据和比较多的无标注数据就能训练出一个拥有较高分类性能的论文分类器的目的。具体而言,本文提出了一种新型的图卷积神经网络结构RW-GCN,它通过谱图卷积的方式进行节点之间的特征聚合,然后遵循神经网络的训练模式来对隐藏层的参数进行训练,与普通GCN相比,其主要优势在于,根据网络结构对节点的隐藏层特征在特征空间进行了动态的调整,因而获得了更强的结构信息学习能力。此外,RW-GCN通过随机游走的方式生成关系矩阵,然后进行特征聚合,这一操作相比于普通GCN获得了更强的可解释性。我们在三个广泛使用的学术文献引用网络数据集上进行了对比实验,以网络结构和属性特征信息作为输入来预测文献类别,并且以精确度作为评价指标。实验结果显示,与对比方法相比,在不同的数据集中,本文所提出的方法都获得了显著的准确率提升。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设小屋 ，原文地址：https://m.bishedaima.com/lunwen/54147.html
