基于社区关系强度和节点属性的链路预测研究及应用

这是一篇关于社区关系强度,节点属性,链路预测,社区检测,标签传播的论文, 主要内容为链路预测的主要任务是预测真实网络中节点间存在连边的可能性,对分析网络的演化机制和重构网络具有重要的理论价值,对理解蛋白质相互作用,社交平台好友推荐,电商网站个性化商品推荐等具有广泛的应用价值。传统的链路预测方法根据相似性指标来预测节点之间产生链接的可能性,忽视了社区结构信息对节点间产生链接的影响,导致预测效果不理想。针对以上问题,本文利用社区检测算法识别复杂网络的社区结构,融合社区关系强度和节点属性对复杂网络链路预测方法进行了深入研究,并将其应用于个性化音乐推荐系统。论文的主要工作如下:(1)针对基于标签传播的局部社区划分算法准确性不高、稳定性差的问题,将标签传播算法与社区检测算法(Community Detection,CD)相结合,建立了一种基于标签传播的社区检测算法LPAIS＿CD。该算法包括分区和合区两个阶段。针对CD算法只考虑到社区信息,没有考虑节点自身性质对社区的影响,造成社区划分的准确性低,分区阶段结合节点重要性和相似性,提出一种标签影响力的计算方法,根据标签影响力将网络划分为多个社区。为了提高检测算法的准确性和稳定性,合区阶段将未充分隔离的不稳定社区与其他合适社区合并。LPAIS＿CD算法综合了节点自身属性和社区信息,能够提高社区划分的准确性和稳定性。在2个人工网络和9个真实网络中进行实验,结果表明,LPAIS＿CD社区检测算法能够得到更优的社区结构,可以更加有效地提取出社区中的结构信息。(2)针对基于社区信息的链路预测算法仅考虑同一社区中节点间的链接影响,而忽视了社区关系对链路预测的影响,融合社区的关系强度和节点属性,提出了一种能够适应重叠社区与非重叠社区的链路预测算法CDICRS。首先使用LPAIS＿CD社区检测算法将原始网络划分为多个社区,然后提出一种社区关系度量指标衡量网络中各社区之间的关系强度,将社区关系强度指标与改进的相似性指标相融合以估计未连接节点对的连接似然分数。在10个不同规模大小的真实网络中进行实验,结果表明,本文所提算法具有更好的链路预测效果,并且具有更低的时间复杂度。(3)将提出的CDICRS链路预测算法应用于歌曲推荐,实现了个性化歌曲推荐原型系统。首先通过用户行为日志获取用户-歌曲相似度矩阵,构建用户-歌曲网络结构,然后利用CDICRS算法分别计算用户与用户、歌曲与歌曲以及用户与歌曲之间的似然分数,最后基于用户相似集对歌曲的喜好以及歌曲相似集来进行个性化歌曲推荐。

基于标签传播的加权网络社团划分方法研究

这是一篇关于加权网络,有向网络,节点相似度,节点重要性,标签传播,社团划分的论文, 主要内容为现实社会中许多事物之间的关系都可以抽象成复杂网络,社团结构是复杂网络的重要特性,而社团划分是理解网络结构和挖掘网络所蕴含的信息的有效途径。目前,国内外的社团划分算法的研究大多是基于无权无向网络的。相比无权网络,加权网络能反映更深层次的信息,研究加权网络的社团划分问题具有更广泛的应用价值。而有向网络也是对客观世界的一种抽象,对其社团结构的识别同样有着重要的现实意义。标签传播算法是一种简单高效的社团划分算法,其思想具有很高的借鉴价值。因此,本文对基于标签传播的加权网络社团划分方法进行研究,具体工作如下:针对无向加权网络:设计了一种基于相似度和标签传播的加权网络社团划分方法SLWCD。该方法沿用了LPA算法用标签代表节点所属社团和通过传播(迭代更新)标签实现社团划分的思想。但是,考虑到加权网络的特性以及LPA算法在初始标签分配和标签更新过程中存在的随机性会致使每一次的划分结果不尽相同(即不够稳定),在SLWCD方法中采用了新的初始标签分配策略和新的标签更新策略。初始标签分配策略引入了能涵盖节点间直接与间接关系的基于Jaccard的加权网络节点相似度,标签更新策略考虑了能反映节点间关系强弱的边权。在真实的Zachary空手道俱乐部网络和Lesmis网络,以及LFR人工合成网络上的社团划分结果都验证了SLWCD方法不仅能够准确地划分加权网络的社团,而且具有较高的稳定性和较低的时间复杂度。针对有向加权网络:设计了一种基于改进标签传播的有向加权网络社团划分方法ILDWCD。该方法仍然通过标签传播来划分社团,但是初始标签不是随机分配,而是引入适合有向加权网络的相似度,基于节点相似度将节点分组,再按组分配初始标签;标签传播过程中,用改进的k-shell算法计算节点重要性,依据节点重要性确定标签更新序列。在人工合成网络上的社团划分结果验证了ILDWCD方法的有效性。为了验证ILDWCD方法的应用价值,使用Spring Boot、Spring MVC和Mybatis框架开发了一个简单的微博用户推荐展示系统,用于展示基于ILDWCD方法的微博用户推荐过程和效果。

基于Spark的大规模复杂网络的社区发现算法的研究与改进

这是一篇关于复杂网络,社区发现,标签传播,算法同步化,Spark GraphX的论文, 主要内容为复杂网络是计算机学界比较经典的研究领域之一,研究者们将现实生活中的一些具体现象抽象为复杂网络,通过复杂网络的拓扑结构、节点或边包含的隐式或者显式的信息,来抽取出人们感兴趣并且能为社会带来巨大价值的信息。例如,通过人群接触的复杂网络确定某些传染病的传染源以及传播势头,利用知识图谱获取某一学科的发展趋势以及与其它学科的交叉情况等。在复杂网络领域中,社区发现是目前最基础、最广泛的研究。社区发现,是根据已有的知识将复杂网络划分为若干个子模块,一个模块成为一个社区,里面包含一些关系密切的节点与连接边。社区发现可以理解成一种基于复杂网络的无监督的聚类算法。随着模块度概念、谱聚类算法的提出,社区发现算法在21世纪初期迅猛发展,各种各样的社区发现算法被提出并得到论证。优秀的社区发现算法可以提高复杂网络社区划分的指标标准,从性能方面也可以提高发现效率,减少时间开销。但是随着大数据时代的降临,复杂网络的规模也是快速发展。在进行实际操作时,单机的计算能力无法满足人们的需求,即使进一步优化算法,在单机条件下也无法带来质的飞跃。因此,如果将计算交给大数据计算平台,就可以满足人们对规模巨大的复杂网络进行高效计算的需求。大数据时代产生了许多大数据计算框架平台,其中,Spark因为计算速度快,生态圈丰富,从而获得了大数据业内的广泛认可。并且,Spark计算平台拥有的相关图计算组件GraphX,可以帮助实现算法同步化。基于上述知识,本文提出基于Spark的大规模复杂网络的社区发现算法的研究与改进。本文首先对一个无权值的复杂网络进行加权预处理;其次选取经典的高效社区发现算法——标签传播算法,进行包括标签初始化、标签传播和标签更新策略、迭代收敛策略等多方面的优化工作,进而建立一个新的社区发现算法模型;然后,将算法接入Spark,通过GraphX编程实现算法同步化,并建立Spark实验平台;最后,通过经典的复杂网络数据和规模较大的复杂网络数据进行实验,与一些经典的社区发现算法进行对比,验证提出的算法是否有效,并且通过大规模复杂网络数据集来验证基于Spark GraphX平台确实大幅度提高了在复杂网络中进行社区发现的计算性能。

基于标签传播的加权网络社团划分方法研究

这是一篇关于加权网络,有向网络,节点相似度,节点重要性,标签传播,社团划分的论文, 主要内容为现实社会中许多事物之间的关系都可以抽象成复杂网络,社团结构是复杂网络的重要特性,而社团划分是理解网络结构和挖掘网络所蕴含的信息的有效途径。目前,国内外的社团划分算法的研究大多是基于无权无向网络的。相比无权网络,加权网络能反映更深层次的信息,研究加权网络的社团划分问题具有更广泛的应用价值。而有向网络也是对客观世界的一种抽象,对其社团结构的识别同样有着重要的现实意义。标签传播算法是一种简单高效的社团划分算法,其思想具有很高的借鉴价值。因此,本文对基于标签传播的加权网络社团划分方法进行研究,具体工作如下:针对无向加权网络:设计了一种基于相似度和标签传播的加权网络社团划分方法SLWCD。该方法沿用了LPA算法用标签代表节点所属社团和通过传播(迭代更新)标签实现社团划分的思想。但是,考虑到加权网络的特性以及LPA算法在初始标签分配和标签更新过程中存在的随机性会致使每一次的划分结果不尽相同(即不够稳定),在SLWCD方法中采用了新的初始标签分配策略和新的标签更新策略。初始标签分配策略引入了能涵盖节点间直接与间接关系的基于Jaccard的加权网络节点相似度,标签更新策略考虑了能反映节点间关系强弱的边权。在真实的Zachary空手道俱乐部网络和Lesmis网络,以及LFR人工合成网络上的社团划分结果都验证了SLWCD方法不仅能够准确地划分加权网络的社团,而且具有较高的稳定性和较低的时间复杂度。针对有向加权网络:设计了一种基于改进标签传播的有向加权网络社团划分方法ILDWCD。该方法仍然通过标签传播来划分社团,但是初始标签不是随机分配,而是引入适合有向加权网络的相似度,基于节点相似度将节点分组,再按组分配初始标签;标签传播过程中,用改进的k-shell算法计算节点重要性,依据节点重要性确定标签更新序列。在人工合成网络上的社团划分结果验证了ILDWCD方法的有效性。为了验证ILDWCD方法的应用价值,使用Spring Boot、Spring MVC和Mybatis框架开发了一个简单的微博用户推荐展示系统,用于展示基于ILDWCD方法的微博用户推荐过程和效果。

社交网络中基于链路预测的推荐系统研究

这是一篇关于社交网络,关系强度,链路预测,标签传播,推荐系统的论文, 主要内容为链路预测作为数据挖掘的一个领域,在复杂网络中有着广泛的研究。随着在线社交网络的蓬勃发展,潜在好友的推荐成为社交网络服务中的基础功能。链路预测是基于当前的网络结构和节点的属性去预测现在尚未结交的用户“倾向于成为朋友”,并将此结果作为“朋友推荐”发送给用户。因此,社交网络上的链路预测具有较好的实际应用价值,而且相比传统的复杂网络,社交网络有更多的信息可以利用,比如社团特征、文本信息等。一个好的链路预测方法往往需要一些好的网络特征或生长机制来支持,如网络的社团结构、偏好连接和弱连接效应等都可以很好的指导链路预测。在本文中,首先,我们根据社交网络的特点提出了一种基于关系强度的机制,并基于此机制改进了传统的链路预测算法。其次,考虑到用户的已有链路关系和兴趣偏好都是影响链路的重要因素,并通过结合社区发现算法做了进一步改进,该方法同时利用了用户的关系信息和兴趣偏好特征。最后,如何利用好这些网络信息与机制是影响链路预测准确率的关键。为此,本文设计了一个结合链路预测与标签传播社区划分算法的好友推荐系统。具体的研究内容如下:(1)针对传统链路预测只利用节点和网络的结构信息,忽略了社交网络上关系形成的原因,提出了一种改进的链路预测算法(Combining Node degree and Relationship Strength,简称CNRS)。首先发现了社交网络相对于复杂网络的独有特点,社交网络链路的产生基于各种各样的关系,本文通过共同邻居紧密度来间接度量关系强度这一概念;其次根据关系强度改进了局部链路指标,并详细说明了计算方法。实验证明,考虑关系强度越高的节点对之间未来产生链接的可能性确实更大,且社交属于越明显、平均度越高的网络,性能提升越显著。(2)偏好连接已经被证明是可以提高链路预测准确率的一种思想,在此基础上本文提出了结合标签传播和链路预测的算法。首先,收集用户的属性特征和文本信息发掘其潜在偏好并提取标签,以此构建用户特征向量模型计算用户间相似度;然后基于改进的多标签传播社区发现算法(Multi-Label Propagation Algorithm,简称MLPA)挖掘出相似社区;最后,在社区基础上利用链路预测找出关系强度最密切的节点对,选择Top-K潜在好友列表推荐给用户。该方法综合考虑了网络结构和节点属性信息,不仅进一步提高了准确率,也减小了链路预测计算规模,并在真实数据集上进行了评估。实验结果表明我们的算法要优于现有的局部指标方法。(3)应用结合算法做朋友推荐,设计实现了一个集成CNRS算法和MPLA算法的社交网络推荐系统。针对实际应用中的问题,本文充分考虑了数据采集与预处理,然后集成推荐模块。考虑到大数据技术已经应用于海量的社交数据处理,本文的推荐算法实现采用了分布式计算,因此具有一定的实际应用价值。

基于Spark的大规模复杂网络的社区发现算法的研究与改进

这是一篇关于复杂网络,社区发现,标签传播,算法同步化,Spark GraphX的论文, 主要内容为复杂网络是计算机学界比较经典的研究领域之一,研究者们将现实生活中的一些具体现象抽象为复杂网络,通过复杂网络的拓扑结构、节点或边包含的隐式或者显式的信息,来抽取出人们感兴趣并且能为社会带来巨大价值的信息。例如,通过人群接触的复杂网络确定某些传染病的传染源以及传播势头,利用知识图谱获取某一学科的发展趋势以及与其它学科的交叉情况等。在复杂网络领域中,社区发现是目前最基础、最广泛的研究。社区发现,是根据已有的知识将复杂网络划分为若干个子模块,一个模块成为一个社区,里面包含一些关系密切的节点与连接边。社区发现可以理解成一种基于复杂网络的无监督的聚类算法。随着模块度概念、谱聚类算法的提出,社区发现算法在21世纪初期迅猛发展,各种各样的社区发现算法被提出并得到论证。优秀的社区发现算法可以提高复杂网络社区划分的指标标准,从性能方面也可以提高发现效率,减少时间开销。但是随着大数据时代的降临,复杂网络的规模也是快速发展。在进行实际操作时,单机的计算能力无法满足人们的需求,即使进一步优化算法,在单机条件下也无法带来质的飞跃。因此,如果将计算交给大数据计算平台,就可以满足人们对规模巨大的复杂网络进行高效计算的需求。大数据时代产生了许多大数据计算框架平台,其中,Spark因为计算速度快,生态圈丰富,从而获得了大数据业内的广泛认可。并且,Spark计算平台拥有的相关图计算组件GraphX,可以帮助实现算法同步化。基于上述知识,本文提出基于Spark的大规模复杂网络的社区发现算法的研究与改进。本文首先对一个无权值的复杂网络进行加权预处理;其次选取经典的高效社区发现算法——标签传播算法,进行包括标签初始化、标签传播和标签更新策略、迭代收敛策略等多方面的优化工作,进而建立一个新的社区发现算法模型;然后,将算法接入Spark,通过GraphX编程实现算法同步化,并建立Spark实验平台;最后,通过经典的复杂网络数据和规模较大的复杂网络数据进行实验,与一些经典的社区发现算法进行对比,验证提出的算法是否有效,并且通过大规模复杂网络数据集来验证基于Spark GraphX平台确实大幅度提高了在复杂网络中进行社区发现的计算性能。

基于Spark的大规模复杂网络的社区发现算法的研究与改进

这是一篇关于复杂网络,社区发现,标签传播,算法同步化,Spark GraphX的论文, 主要内容为复杂网络是计算机学界比较经典的研究领域之一,研究者们将现实生活中的一些具体现象抽象为复杂网络,通过复杂网络的拓扑结构、节点或边包含的隐式或者显式的信息,来抽取出人们感兴趣并且能为社会带来巨大价值的信息。例如,通过人群接触的复杂网络确定某些传染病的传染源以及传播势头,利用知识图谱获取某一学科的发展趋势以及与其它学科的交叉情况等。在复杂网络领域中,社区发现是目前最基础、最广泛的研究。社区发现,是根据已有的知识将复杂网络划分为若干个子模块,一个模块成为一个社区,里面包含一些关系密切的节点与连接边。社区发现可以理解成一种基于复杂网络的无监督的聚类算法。随着模块度概念、谱聚类算法的提出,社区发现算法在21世纪初期迅猛发展,各种各样的社区发现算法被提出并得到论证。优秀的社区发现算法可以提高复杂网络社区划分的指标标准,从性能方面也可以提高发现效率,减少时间开销。但是随着大数据时代的降临,复杂网络的规模也是快速发展。在进行实际操作时,单机的计算能力无法满足人们的需求,即使进一步优化算法,在单机条件下也无法带来质的飞跃。因此,如果将计算交给大数据计算平台,就可以满足人们对规模巨大的复杂网络进行高效计算的需求。大数据时代产生了许多大数据计算框架平台,其中,Spark因为计算速度快,生态圈丰富,从而获得了大数据业内的广泛认可。并且,Spark计算平台拥有的相关图计算组件GraphX,可以帮助实现算法同步化。基于上述知识,本文提出基于Spark的大规模复杂网络的社区发现算法的研究与改进。本文首先对一个无权值的复杂网络进行加权预处理;其次选取经典的高效社区发现算法——标签传播算法,进行包括标签初始化、标签传播和标签更新策略、迭代收敛策略等多方面的优化工作,进而建立一个新的社区发现算法模型;然后,将算法接入Spark,通过GraphX编程实现算法同步化,并建立Spark实验平台;最后,通过经典的复杂网络数据和规模较大的复杂网络数据进行实验,与一些经典的社区发现算法进行对比,验证提出的算法是否有效,并且通过大规模复杂网络数据集来验证基于Spark GraphX平台确实大幅度提高了在复杂网络中进行社区发现的计算性能。

社交网络中基于链路预测的推荐系统研究

这是一篇关于社交网络,关系强度,链路预测,标签传播,推荐系统的论文, 主要内容为链路预测作为数据挖掘的一个领域,在复杂网络中有着广泛的研究。随着在线社交网络的蓬勃发展,潜在好友的推荐成为社交网络服务中的基础功能。链路预测是基于当前的网络结构和节点的属性去预测现在尚未结交的用户“倾向于成为朋友”,并将此结果作为“朋友推荐”发送给用户。因此,社交网络上的链路预测具有较好的实际应用价值,而且相比传统的复杂网络,社交网络有更多的信息可以利用,比如社团特征、文本信息等。一个好的链路预测方法往往需要一些好的网络特征或生长机制来支持,如网络的社团结构、偏好连接和弱连接效应等都可以很好的指导链路预测。在本文中,首先,我们根据社交网络的特点提出了一种基于关系强度的机制,并基于此机制改进了传统的链路预测算法。其次,考虑到用户的已有链路关系和兴趣偏好都是影响链路的重要因素,并通过结合社区发现算法做了进一步改进,该方法同时利用了用户的关系信息和兴趣偏好特征。最后,如何利用好这些网络信息与机制是影响链路预测准确率的关键。为此,本文设计了一个结合链路预测与标签传播社区划分算法的好友推荐系统。具体的研究内容如下:(1)针对传统链路预测只利用节点和网络的结构信息,忽略了社交网络上关系形成的原因,提出了一种改进的链路预测算法(Combining Node degree and Relationship Strength,简称CNRS)。首先发现了社交网络相对于复杂网络的独有特点,社交网络链路的产生基于各种各样的关系,本文通过共同邻居紧密度来间接度量关系强度这一概念;其次根据关系强度改进了局部链路指标,并详细说明了计算方法。实验证明,考虑关系强度越高的节点对之间未来产生链接的可能性确实更大,且社交属于越明显、平均度越高的网络,性能提升越显著。(2)偏好连接已经被证明是可以提高链路预测准确率的一种思想,在此基础上本文提出了结合标签传播和链路预测的算法。首先,收集用户的属性特征和文本信息发掘其潜在偏好并提取标签,以此构建用户特征向量模型计算用户间相似度;然后基于改进的多标签传播社区发现算法(Multi-Label Propagation Algorithm,简称MLPA)挖掘出相似社区;最后,在社区基础上利用链路预测找出关系强度最密切的节点对,选择Top-K潜在好友列表推荐给用户。该方法综合考虑了网络结构和节点属性信息,不仅进一步提高了准确率,也减小了链路预测计算规模,并在真实数据集上进行了评估。实验结果表明我们的算法要优于现有的局部指标方法。(3)应用结合算法做朋友推荐,设计实现了一个集成CNRS算法和MPLA算法的社交网络推荐系统。针对实际应用中的问题,本文充分考虑了数据采集与预处理,然后集成推荐模块。考虑到大数据技术已经应用于海量的社交数据处理,本文的推荐算法实现采用了分布式计算,因此具有一定的实际应用价值。

基于影响函数的图神经网络逃逸攻击研究

这是一篇关于图神经网络,对抗攻击,影响函数,标签传播的论文, 主要内容为近些年来,随着人工智能的快速发展,深度学习(Deep Learning)中的计算机视觉(Computer Vision,CV),自然语言处理(Natural Language Processing,NLP)等领域发展迅速,一些深度学习模型在目标检测,图像分割,推荐系统等方面具有强大的应用能力。在带来重大的社会经济效益的同时,大量研究表明,深度学习容易受到对抗样本(Adversarial Examples)的攻击影响,这使得模型的鲁棒性很差。与此同时,图神经网络(Graph Neural Networks,GNNs)在处理非欧式空间的图结构数据中表现出异乎寻常的学习效果,越来越多的研究工作者在这一领域深入研究。然而,最近的一些研究工作表明图神经网络也易受到对抗样本攻击的影响,即一个攻击者能够轻微的扰乱图结构来使得图神经网络模型性能下降。目前存在的一些图神经网络对抗攻击有如下一些缺点:大多数攻击仅限于两层图神经网络;攻击的效率一般不高,需要耗费大量时间;攻击者需要知道模型具体参数情况。基于上述的一些对抗攻击方式的局限性,本文提出一种基于影响函数的图神经网络逃逸(Evasion)攻击方法,具体来说,本文首先介绍影响函数(Influence Function),包括特征影响(Feature Influence)和标签影响(Label Influence),分别对应图神经网络和标签传播(Label Propagation),然后在影响关系层面,从数学上建立两者之间的近似等价关系。接着,本文重定义了图神经网络逃逸攻击的目标函数,以使得通过标签传播方式来计算标签影响,其中标签传播过程相对于图神经网络而言是不需要参数的。同时,本文也提出了一种高效快速的计算标签影响的方法。最后,在公开的三种数据集上去对比测试其他的攻击方法,实验结果表明,本文的攻击方法与表现效果最好的攻击方法相比具有可比性,并且攻击效率有了5-50倍的提升。同时,本文的攻击方法还可以有效的攻击多层GNN,并且具有可迁移性。