融合多特征的动态网络链接预测

这是一篇关于动态网络,链接预测,节点表示序列,时序感知注意,局部子图结构的论文, 主要内容为在网络中,链接预测任务是指在已知网络拓扑结构的基础上,预测未观测链接的状态。网络链接预测中,节点和链接随时间发生变化,节点间链接关系的形成不仅受节点所处网络结构的影响,还受网络演化过程的影响,构成复杂的动态网络演化过程,在此背景下的链接预测问题称为动态网络链接预测。动态网络链接预测是网络态势感知、序列推荐、知识图谱信息补全等应用领域的共有关键问题,具有非常重要的研究意义。动态网络数据由节点在不同时间点形成的链接构成。传统方法忽略了网络演化的时序信息,将形成的拓扑结构看成静态网络,研究链接预测任务。最近,一些研究设置时间窗口,将动态网络划分为不同的时间片,根据历史时间片信息预测未来时刻网络的链接状态,考虑到网络结构变化的时序信息。但针对每个时间窗口内的网络来说,未考虑到连边的时效性。此外,多数动态网络链接预测方法利用的局部结构信息不够丰富,具有丰富特征的链接表示可以被更好地判断链接存在的状态。为了更好地提升链接预测的准确性,本文设计融合多特征的动态网络链接预测模型。论文的主要贡献如下:(1)提出了融合节点表示序列和局部邻居表示的动态网络链接预测模型。为了更好地利用网络的时间属性,本文建立了节点表示序列的机制。节点表示序列机制引入网络表征技术和门控循环神经网络,学习不同时间片中节点的低维表示向量;为了充分利用链接的局部邻居特征,建立了目标节点对的共同邻居表示。最终,未来时间片链接的表示不仅包含了历史数据特征和预测得到的新特征,同时还增加了节点对的局部邻居特征。在五个数据集上的实验结果表明,所提出模型在AUC(Area Under ROC Curve)和AP(Average Precision)均优于其他基准方法。进一步地,在两种网络表征模型和三种分类器上进行测试,结果表明本模型鲁棒性强。(2)提出了基于链接时效性和局部子图结构的动态网络链接预测模型。在学习网络的时序特征时,建立了时序感知注意力模块,挖掘每个时间窗口内链接的时间特征;为了增强链接周围的局部结构特征表示,本文基于图同构算法(Palette Weisfeiler Lehman,PWL),建立了局部子图结构模块,得到包含局部子图结构特征的链接表达。最后,融合两种特征,提升动态网络链接预测性能。经实验验证,本算法所提出的融合链接时效性和局部子图结构特征明显提升了链接预测的准确率;选取的时序特征越多(最近时间片数量),预测准确性越高;局部子图结构中的邻居数目,在5-30范围内变化对于链接预测准确性影响较小。

基于深度学习的动态网络链路预测技术研究

这是一篇关于动态网络,链路预测,深度学习,自注意力机制,生成对抗网络的论文, 主要内容为网络结构随时间变化的动态网络在现实中广泛存在,链路作为动态网络结构的重要组成,蕴含着丰富的信息。动态网络链路预测可以促进网络演化机制的研究、推动网络科学的发展,同时还可以应用于推荐系统、生物实验等领域,具有重要的研究意义。但是以往的研究大都集中在静态网络上,许多链路预测的方法仅仅考虑网络的结构而忽视了网络的时间演化信息,导致了精度的限制,因此如何结合网络的结构信息和时态演化信息来提高动态网络链路预测的精度已经成为研究的热点;此外,网络中的链路可能含有权值属性,这些权值信息往往具有物理意义,对网络链路进行权值预测可以更加精准地刻画网络,但是由于权值预测时容易造成结构误差,如何平衡权值的精度与结构的准确性成为了当前研究的挑战性问题。本文主要基于深度学习技术,研究动态网络链路预测关键技术,针对无向无权的动态网络,提出了一个基于自注意力机制的动态网络链路预测模型;针对无向加权的动态网络,提出了一个基于生成对抗网络的动态网络权值预测模型;通过对照实验来验证所提模型的有效性。具体的工作如下:针对无向无权的动态网络的动态性,以图快照的方式描述动态网络,从而可以将动态网络的链路预测问题近似为时间序列分析的问题。基于目前深度学习在序列数据学习中的进展,采用自注意力机制学习网络的时态演化信息,利用自编码器学习网络的结构信息,从而构成了一个端到端的动态网络链路预测模型AESAN(Autoencoder and Self-Attention Network)。在Contact、Enron、Ant三个现实的动态网络数据集上进行了比较实验,与基于拓扑结构和指数平均加权的链路预测算法和其他深度学习模型进行了比较。实验结果表明,本文提出的AESAN模型在精度指标上相较于基于拓扑结构的算法有一定的优势;虽然在AUC、Precision等指标上不如使用长短期记忆网络的深度学习模型,但是在训练时间上有一定的优势,也即可以使用较短的时间得到相对较精准的预测结果。针对无向加权的动态网络的链路权值预测问题,受到生成对抗网络结构在序列数据预测以及图卷积网络在图表示学习中优异表现的启发,提出了一个基于生成对抗网络的动态网络链路权值预测模型Att-GAN(Attention based Generative Adversarial Network)。模型利用图卷积网络和自注意力机制构造生成器,利用全连接层构成判别器,在生成对抗训练过程中优化模型,得到高质量的预测结果。在UCSB、Enron、Cell-calls三个加权网络中进行了对照实验,与基于和合成网络的链路预测算法、基于矩阵分解的链路预测算法和其他深度学习模型相比,Att-GAN在衡量模型权值误差的指标上有一定的优势,在衡量结构误差的指标上表现很好,说明了模型可以生成高质量、稳健的预测结果。

基于动态异质网络表示学习的推荐系统研究

这是一篇关于网络表示学习,推荐系统,异质信息网络,图卷积网络,动态网络的论文, 主要内容为传统的推荐方法主要是抽取用户或项目的有效特征并利用矩阵分解技术学习用户和项目的隐向量矩阵。这类方法需要用户的显式反馈以及辅助特征,难以扩展至大规模数据,同时会因数据稀疏出现冷启动问题。由于推荐系统中用户和项目的交互数据本质上也可以抽象为非欧几里得空间的图(或网络),因此基于图学习的推荐系统得到了极大的关注。网络表示学习能够自动学习一个将节点映射到保留结构信息的低维稠密空间的函数,将其应用到推荐任务上可以获得用户和项目的表示。此类方法目前仍然存在以下挑战:(1)大多数研究基于用户的显式反馈构建网络,但是显式反馈较难获得从而导致交互数据过于稀疏;(2)大多方法忽视了用户偏好随时间演变的特性,将交互数据构建为一个静态网络。针对上述问题,本文系统性地进行了以下工作。(1)本文利用用户-项目之间大量的多类型隐式反馈构建多行为网络,提出了Ri Do TA模型。首先,将多行为网络分为一个基网络、多个源网络和一个目标网络;然后,基于随机游走联合优化来学习节点在各个网络中的嵌入表示;接着,为了学习不同的隐式反馈行为对目标行为(显式反馈)的影响,利用注意力机制自适应地学习各个源网络的权重;最后,将学习到的用户和项目的向量拼接,利用多层感知机学习用户和项目之间复杂的非线性关系并进行预测。(2)本文为了学习随时间演变的用户偏好,将动态网络表示学习融入推荐系统,提出了DBNRec模型。首先,利用用户-项目交互数据构建动态二分网络并且定义时序边权重;其次,利用图卷积网络聚合网络中两种类型节点的一阶邻居和高阶邻居信息,通过信息构建和信息传播更新节点的嵌入表示,同时考虑二分网络中节点的异质性,在两类节点嵌入矩阵相乘时引入了转换矩阵;最后,将用户和项目的节点表示进行拼接送入多层感知机获得预测得分。

基于深度学习的低光照图像增强方法研究

这是一篇关于低光照图像增强,全卷积神经网络,Retinex分解,动态网络,深度学习的论文, 主要内容为在夜晚、背光等低光照环境下,由于无法得到充足的曝光,导致成像设备拍摄的图像不仅存在严重的噪声,并且所包含信息量也极低。这不仅会影响人们的视觉体验和日常分享的需求,还会显著影响如目标检测、物体分类等计算机视觉任务的性能。低光照图像增强技术可以将欠曝光图像中的噪声降低、增强其光照强度、提高其对比度,有较高的研究和应用价值。近年来,低光照图像增强技术已经有了较大的发展,产生了以直方图均衡、伽马矫正和Retinex理论模型等为代表的传统方法和基于成对数据集、非成对数据集以及单图像数据集的深度学习方法。但是现有多数方法得到的结果仍存在对比度低、受噪声污染严重、细节缺失严重等问题;此外,很少有方法考虑到对于不同使用者其所期望的增强效果可能存在差异,这个低光照增强任务所具有的特点。针对以上问题,本文主要开展了以下工作:(1)基于全卷积神经网络的低光照图像增强。本文对全卷积神经网络的构成以及特性进行了详细的分析。基于Res-Net和U-Net构建了新的全卷积神经网络模型,并与目前主流的全卷积神经网络在低光照图像增强任务上进行了对比实验和分析,最终得出最适合本文任务的参数、损失函数以及网络。(2)基于图像分解的低光照图像增强。针对在极端情况下,大部分低光照图像增强方法的结果仍存在目标轮廓模糊、颜色昏暗、细节缺失以及色彩不连续的问题,本文在研究工作(1)的基础上根据Retinex理论模型构建了基于深度学习的图像分解模块、反射分量恢复模块以及亮度增强模块,分别实现将低光照图像分解为其反射分量与照度分量,对反射分量进行噪声去除以及颜色矫正,以及对照度分量进行增强。最后将恢复和增强后的反射分量与照度分量融合得到增强后的图像。通过分析并与同领域具有代表性的算法进行实验对比,验证了本文方法的有效性。(3)基于动态网络的低光照图像增强算法研究。针对使用传统深度学习方法进行低光照图像增强,无法同时满足不同用户主观需求的问题。本文设计了一个使用不同数据集分阶段训练不同参数的动态训练方法,实现了用户可以按照自身主观喜好对增强效果进行调节的动态网络模型。在不同数据集、不同亮度等级的图像上进行了主观、客观以及泛化性的对比实验,并且召集了志愿者对多种方法的增强结果进行评判,选出最符合其审美的图像。通过以上实验验证了本文的动态网络能满足不同使用者的主观喜好。

基于网络表示学习的推荐算法研究

这是一篇关于推荐算法,网络表示学习,文本属性信息,深度学习,动态网络的论文, 主要内容为互联网技术的蓬勃发展为人类生活提供了丰富多样的服务,但信息过载的问题也随之而来。个性化推荐系统可以对海量的信息进行过滤,进而自动推荐符合主体意愿的内容,因此被视作该问题的解决方案之一。近年来,网络表示学习技术的快速发展为推荐算法的改进开辟了新的方向。针对静态同质网络和动态二分网络这两种场景下的推荐问题,本文利用网络表示学习技术分别提出了相应的算法方案,主要工作如下。针对静态同质网络的推荐问题,本文提出了一种关联文本信息的随机游走网络表示学习方法(Graph Embedding based on Random walk Associated Text,Gerate)。具体来说,该算法在随机游走阶段,考虑到了节点文本间的相似度,联合结构和文本信息对下一游走节点进行筛选。然后在网络表示学习部分融合上下文文本信息,引入注意力矩阵,对文本信息矩阵中的向量进行加权表示。最后,将生成的节点向量应用于推荐任务中,并在多个数据集上与多种经典算法进行对比,证明了该算法可以有效地提升推荐精度。针对动态二分网络的推荐问题,考虑到时间因素在用户兴趣变化过程中的重要性,本文提出了一种基于长短期记忆网络的动态二分网络表示学习算法(Dynamic Bipartite Network Embedding based on Long Short-term Memory,BiDYNE)。具体来说,该算法首先将二分网络分解为不同时间节点下的用户同质网络和物品同质网络,并利用Gerate算法得到融合了文本属性信息的初步特征矩阵。然后利用大规模的LSTM模型学习大跨度时间邻域内的网络信息。最后,将用户和物品的融合特征矩阵输入MLP模型进行训练并预测用户与物品的交互概率,实现推荐任务。在多个公开数据集上进行对比实验后,验证了该算法的有效性。

基于图神经网络的组链路预测算法的研究

这是一篇关于复杂网络,动态网络,链路预测,组链路预测,图神经网络的论文, 主要内容为现实世界中的许多复杂系统都可以被建模表示成复杂网络。系统中的实体被表示为节点,实体之间的关系被表示为边。作为复杂网络分析中的一个基本问题,链路预测在过去的十几年间得到了广泛的研究。链路预测的目标是根据当前观察到的网络信息推断出已经存在但未知或者未来可能产生的链接。由于链路预测有助于人们理解现实世界网络的内在特征和演化机制,其已被广泛应用于许多实际场景,如友谊和物品推荐、知识图谱补全和生物反应重构。然而,现有的链路预测方法大多集中在推断单个实体之间的链接。尽管有一些组链路预测工作尝试探究单个实体和多个实体(即组)之间的联系,但它们对个体和组之间关系和组演变复杂过程的理解十分有限,且忽略了一些有助于提升预测性能的潜在信息。为了更加有效地解决组链路预测问题,本文首次提出了一个基于图神经网络的组链路预测算法GroupLP。GroupLP利用含采样策略的图神经网络学习一个通用的聚合函数从而以归纳学习的方式为网络中的节点生成嵌入向量,然后对一个组中各成员的向量进行求和,得到该组对应的向量表示。最后,GroupLP利用组的向量学习到一个关于候选成员的条件概率分布,并成功找出目标节点。四个真实数据集上的实验结果验证了GroupLP算法的有效性和优越性。考虑到组链路预测场景中的时间动态性,本文提出了一个关于探索动态场景中个体和组之间关系的新问题,该问题被称为动态组链路预测。为了解决动态组链路预测问题,本文在GroupLP算法的基础上进一步提出了一个新的动态组链路预测算法DynGLP。首先,作为DynGLP的输入,个体和组之间的历史交互数据被自然地表示为动态交互网络。其次,对于一个给定的组,DynGLP采用一个新的动态图神经网络DynGNN,通过迭代聚合局部图邻域信息来获得节点的嵌入,其中聚合权重由一个新的动态聚合函数DynAgg计算得到。然后,本文提出三个组建模函数用于将组中成员的嵌入向量统一建模为相应组的向量。给定一个组的向量,DynGLP最终输出一个条件概率分布,该概率分布上的元素代表所有候选成员和组连接的概率,其中数值最大的元素对应的索引即为目标成员的索引。四个真实数据集上的实验结果表明,DynGLP算法明显优于对比方法。具体来说,DynGLP算法的平均性能比最好的基线方法高63.6%,最佳性能比最先进的方法好197.8%。

基于动态网络的医疗命名实体识别方法研究

这是一篇关于医学命名实体识别,中文电子病历,动态网络,多语义词典,多模态树的论文, 主要内容为近年来,随着人工智能技术的高速发展,医疗健康与人工智能的交叉研究成为炙手可热的研究方向,出现了大量的新型智能医疗设备和电子医疗系统。电子医疗系统中包含着丰富的医疗健康数据,为医学研究和医疗实践奠定了强大的数据基础。但是,如何充分利用这些数据进行探索和分析,更好地支持临床决策和大众健康仍然面临着诸多挑战。其中,医疗文本中的命名实体识别(Named Entity Recognition,NER),尤其是中文医疗文本的命名实体识别即是关键挑战之一。尽管命名实体识别(NER)在各个领域都引起了极大关注,但是由于中文医学文本的复杂性、资源稀少和实体嵌套等问题,医学领域的中文NER更加具有挑战性。为了应对医学领域NER任务中的挑战,本论文提出了基于动态网络的医疗命名实体识别方法,对电子病历数据及命名实体识别的关键技术进行了大量分析和研究,并进行了实验验证。本论文的主要创新成果如下:(1)针对医疗文本的语义缺失问题,论文提出了一种基于多语义词典和多模态树的命名实体识别方法(MSD＿DT＿NER)。该方法可以在树形结构中,采用四种不同的路径方式,获取不同长度的单词信息,将单词信息和字符信息进行拼接,可以实现多粒度特征的融合,丰富语义嵌入表达。(2)针对中文医疗文本的资源不足问题,论文提出了一种基于图神经网络和跨语言的命名实体识别方法(GC＿NER)。采用跨语言知识迁移方法,将高资源语言知识迁移到中文医疗文本中,进行知识补充,借助外部语言知识监督中文医疗文本的NER任务。(3)针对医疗文本的命名实体嵌套问题,论文提出了一种基于依存句法分析和动态堆叠网络命名实体识别方法(SD＿NER)。该方法可以根据实体嵌套的层数进行自适应网络堆叠,利用内嵌实体的特征帮助外部实体的识别,实现嵌套实体的动态堆叠式识别。本论文方法在全国知识图谱与语义计算大会(Chinese Conference on Knowledge Graph and Semantic Computing,CCKS)的电子病历评测数据集合上进行了广泛实验,并利用多项指标评价了方法的性能。结果证明,与目前多项最新成果相比,本论文提出的一系列医疗命名实体识别方法具有更好的效果。

动态网络及异质信息网络链路预测算法的研究

这是一篇关于动态网络,异质信息网络,链路预测,非负矩阵分解,联合学习的论文, 主要内容为随着互联网的发展,以及数据的爆炸式增长,人、计算机以及它们之间的关系构成了复杂系统。网络科学是研究和描述复杂系统的有效手段之一,利用网络可以对复杂系统的结构进行刻画,并且可以从复杂的数据中提取出有效的信息。利用观察到的网络结构信息,链路预测可以发掘网络节点之间的潜在关系,预测未发生连边的节点在未来发生连边的可能性,还可以识别网络中的虚假连边。在实际应用中,链路预测可以在社交网络中对用户之间的关系进行预测,在推荐系统中对用户进行合适的商品推荐,在生物网络中预测药物之间的组合关系等等。因此链路预测的研究具有重大的理论和应用意义。然而目前大部分链路预测算法仅针对于没有时间信息的单层网络,或者单一类型节点和连边的同质网络。但是,现实世界中的复杂系统是会随着时间而动态变化的,同时也由多种类型的节点和多种类型的连边构成。前者会随着时间动态变化的网络称为动态时序网络,而后者由多种类型节点和连边组成的网络称为异质信息网络。本论文研究基于非负矩阵分解的网络嵌入算法,在链路预测问题中的应用,基于网络嵌入的链路预测认为,两个节点的低维表示越接近,则两个节点之间越有可能发生连边。本论文针对目前链路预测研究中存在的问题,分别在动态网络和异质网络上进行链路预测算法的研究,构建能准确预测网络连边关系的模型。主要内容和创新点总结如下:(1)动态网络链路预测算法的设计:真实网络往往是随着时间而动态变化的,为了设计更有效的链路预测算法,我们需要在挖掘网络拓扑结构的同时,保留网络的动态变化信息。本文提出联合多标签学习、Deep Walk嵌入以及时序平滑正则化的动态网络链路预测模型。该模型的大致思想:首先利用等价于Deep Walk的矩阵分解算法提取网络的拓扑结构信息;然后,基于时序平滑思想以及多标签学习分类器来预测下一时间段的网络连边情况;最后通过联合学习,使得两个模块互相促进,相互影响。在大量以及不同规模的人工数据集以及真实世界数据集上进行了实验,并且实验研究表明,本文所提的动态网络链路预测算法的准确性要高于其他链路预测经典算法。同时还测试了算法的参数敏感性,验证了联合学习是使得该算法表现优越的主要原因。(2)异质网络链路预测算法的设计:复杂系统往往是具有异质性的,也就是说网络的节点和节点之间的关系是多类型的,那么在挖掘异质网络的信息时,不仅需要考虑网络的拓扑结构,还需要考虑类型不同所带来的重要性不同(这称为语义信息)。本文提出基于元路径的非负矩阵分解以及带核支持向量机分类器的异质网络链路预测模型,该模型通过联合学习来进一步提升算法精确度。模型的大致思想为:首先利用先验知识选择合适的元路径,根据不同的元路径构建相应的邻接矩阵;然后利用非负矩阵分解提取各语义子网络的拓扑结构信息,再将各子网络的拓扑信息聚合在一起,组成为最终的节点嵌入;通过带多项式核函数的支持向量机来进行链路预测;最后将以上所有过程联合在一起。本论文收集了目前最具权威的药物组合数据集,并将之构建为异质网络,在该药物组合预测问题的实验中,算法的组合预测准确性远高于其他药物组合预测算法,通过实验分析可以发现,算法的提升的主要来自于核函数的选择以及联合学习过程。

基于深度学习的动态网络链路预测技术研究

这是一篇关于动态网络,链路预测,深度学习,自注意力机制,生成对抗网络的论文, 主要内容为网络结构随时间变化的动态网络在现实中广泛存在,链路作为动态网络结构的重要组成,蕴含着丰富的信息。动态网络链路预测可以促进网络演化机制的研究、推动网络科学的发展,同时还可以应用于推荐系统、生物实验等领域,具有重要的研究意义。但是以往的研究大都集中在静态网络上,许多链路预测的方法仅仅考虑网络的结构而忽视了网络的时间演化信息,导致了精度的限制,因此如何结合网络的结构信息和时态演化信息来提高动态网络链路预测的精度已经成为研究的热点;此外,网络中的链路可能含有权值属性,这些权值信息往往具有物理意义,对网络链路进行权值预测可以更加精准地刻画网络,但是由于权值预测时容易造成结构误差,如何平衡权值的精度与结构的准确性成为了当前研究的挑战性问题。本文主要基于深度学习技术,研究动态网络链路预测关键技术,针对无向无权的动态网络,提出了一个基于自注意力机制的动态网络链路预测模型;针对无向加权的动态网络,提出了一个基于生成对抗网络的动态网络权值预测模型;通过对照实验来验证所提模型的有效性。具体的工作如下:针对无向无权的动态网络的动态性,以图快照的方式描述动态网络,从而可以将动态网络的链路预测问题近似为时间序列分析的问题。基于目前深度学习在序列数据学习中的进展,采用自注意力机制学习网络的时态演化信息,利用自编码器学习网络的结构信息,从而构成了一个端到端的动态网络链路预测模型AESAN(Autoencoder and Self-Attention Network)。在Contact、Enron、Ant三个现实的动态网络数据集上进行了比较实验,与基于拓扑结构和指数平均加权的链路预测算法和其他深度学习模型进行了比较。实验结果表明,本文提出的AESAN模型在精度指标上相较于基于拓扑结构的算法有一定的优势;虽然在AUC、Precision等指标上不如使用长短期记忆网络的深度学习模型,但是在训练时间上有一定的优势,也即可以使用较短的时间得到相对较精准的预测结果。针对无向加权的动态网络的链路权值预测问题,受到生成对抗网络结构在序列数据预测以及图卷积网络在图表示学习中优异表现的启发,提出了一个基于生成对抗网络的动态网络链路权值预测模型Att-GAN(Attention based Generative Adversarial Network)。模型利用图卷积网络和自注意力机制构造生成器,利用全连接层构成判别器,在生成对抗训练过程中优化模型,得到高质量的预测结果。在UCSB、Enron、Cell-calls三个加权网络中进行了对照实验,与基于和合成网络的链路预测算法、基于矩阵分解的链路预测算法和其他深度学习模型相比,Att-GAN在衡量模型权值误差的指标上有一定的优势,在衡量结构误差的指标上表现很好,说明了模型可以生成高质量、稳健的预测结果。